Antoine de Toulongeon avait épousé Françoise de Rabutin-Chantal, fille de Sainte Jeanne de Chantal, fondatrice de l’ordre de la Visitation. Ils eurent, entre autres enfants, une fille qui épousa Roger de Bussy-Rabutin, dont l’Histoire amoureuse des Gaules, lui valut d’être embastillé plusieurs années par Louis XIV. Bussy-Rabutin était le cousin de Madame de Sévigné. Ainsi, beaucoup de personnages célèbres du XVIIe siècle séjournèrent ou vinrent en visite au château de Toulongeon. Avant la Révolution, Toulongeon appartenait à Charles Gravier de Vergennes, ministre des Affaires étrangères de Louis XIV. A la Révolution, le château fut pillé et détruit. On a peine aujourd’hui à imaginer son antique splendeur dans les bâtiments d’habitation actuels qui intègrent dans leur ensemble une base de tour ronde et quelques éléments architecturaux.