Différentes familles ont occupé le château de Charpieux, « fief sans justice ». Les Garbot l’occupent depuis 1542, comme résidence principale ou de plaisance. Un épisode pittoresque oppose deux frères Garbot dans l’auberge Cazot en 1715. Le domaine passe ensuite à différents propriétaires. Il ne reste aujourd’hui que quelques vestiges de l’ancien château.