Jean Léon Gérome, peintre orientaliste et sculpteur aimait séjourner ici dans « sa maison de campagne » entouré de sa famille et ses amis.

Si Proust avait connu le château de Tout La Ville, c'est sans hésiter qu'il s'y serait installé pour écrire, puisant l'inspiration à la lumière de ses larges fenêtres ou à l'ombre d'un Hêtre centenaire.

Finalement, c'est son ami, le peintre Jacques Emile Blanche, contemporain de la période où Corot donnait naissance à l'impressionnisme, qui y séjournera durant l'été. Mais c'est en voyant le château avec sa magnifique façade tout en lits de silex noirs et gris, contrastée par une toiture rousse et audacieuse surmontée d'épis de faîtage en céramique colorés, que l'on comprend comment les artistes ont toujours puisés dans une certaine idée de l'harmonie.