Le château de Balleroy se dresse à Balleroy-sur-Drôme, dans le Calvados, à vingt-cinq minutes de Bayeux, près de la forêt et de l'abbaye de Cerisy. Le fief est acquis le 1er avril 1600 par Jean de Choisy, fils d'un marchand de vin de la cour d'Henri IV.

C'est son fils, chancelier de Gaston d'Orléans, qui confie le chantier à François Mansart. Les travaux commencent vers 1626 et s'achèvent en 1631. Il s'agit de la première grande commande civile de l'architecte, celui qui allait introduire le classicisme dans l'architecture française — symétrie rigoureuse, hautes fenêtres rythmant la façade, toiture d'ardoise à forte pente. Gaston d'Orléans fut si satisfait du résultat qu'il lui confia ensuite la reconstruction de son château de Blois.

Le village lui-même fut dessiné dans le même mouvement, formant avec le château un exemple précoce d'urbanisme concerté. Le jardin, attribué à Le Nôtre, figure parmi les trois cents plus beaux de France.

Épargné par la Révolution comme par la Seconde Guerre mondiale, l'édifice a conservé l'intégralité de ses dispositions extérieures du XVIIe siècle. Le château, les pavillons d'angle, les communs, les douves, les jardins et le parc sont classés monuments historiques depuis 1951 ; le parc et ses avenues le sont depuis 1943.

En 1970, Malcolm Forbes, propriétaire d'un groupe de presse américain, achète le domaine et le fait restaurer et remeubler. Passionné d'aérostation, il installe cinq ans plus tard dans les anciennes écuries le premier musée du ballon au monde : objets, photographies et documents retraçant l'histoire du vol en ballon depuis les frères Montgolfier, avec les récits de ses propres expéditions.

Le château se visite en une quarantaine de minutes, guidé, une dizaine de pièces meublées étant ouvertes. S'y ajoutent le musée des ballons en accès libre, le jardin à la française, le parc à l'anglaise, un colombier et un jardin fleuriste où sont exposées des œuvres d'Albert de Balleroy.