Juliette Drouet installée depuis 1857 à La Fallue, maison toute proche de Hauteville House, qui avait été aménagée par Mauger en même temps que Hauteville House, du la quitter, non sans regret, en juin 1864.
Victor Hugo loua puis acheta le 20 Hauteville, où avait il avait vécu avec sa famille jusqu’en novembre 1856.
Baptisée Hauteville Fairy, ce fut un Hauteville House II. Les travaux eurent lieu pendant le printemps de 1864, et Juliette y emmenagea le 15 juin. Hugo en conçut le décor chinois où prit place le mobilier de la Fallue qu’il avait fait réaliser par Mauger.
Juliette était une passionnée comme Victor, c’est avec elle qu’il partait à la chasse aux vieux coffres, comme ils avaient fréquenté les brocanteurs de Paris, comme ils le firent à nouveau à Bruxelles à partir de 1861. Elle lui écrivait en 1851 : « Si vous voulez me faire une cour assidue et très tendre, je vous inonderai de lanternes et de coromandels ». En 1857 : « Je suis hideuse, mais vous êtes infâme, j’ai le sentiment du bric-à-brac, vous en avez le vice, je convoite discrètement la moindre babiole, vous demandez cyniquement les trépieds les plus exorbitants. Un jour, qui n’est peut être pas éloigné, viendra où je regorgerai de coffres, de tapisseries, de laques, d’écrans avec ou sans plumes ».
Hauteville Fairy n’existe plus, mais la salle à manger, démontée fut intégralement reconstituée à la Maison Victor Hugo de Paris, Place des Vosges. Le décor en est résolument chinois. Hugo abandonnant le gothique et le rococo a préféré recréer personnellement la Chine des ses rêveries qu’il avait plus ou moins bridées dans sa propre maison où le plus souvent il n’utilisait que les soieries, les laques et les vases. Il ne se contenta pas de présenter les objets qu’il appréciait, notamment des assiettes, il leur inventa un environnement. La cheminée et tous les murs, entièrement boisés, sont recouverts de petits panneaux pyrogravés de sa main et peints : ce ne sont que magots, fleurs, jeunes gens, barques, éventails, oiseaux…
La fantaisie et l’humour règnent sur ces panneaux. Par exemple ce gros mangeur attablé devant un poisson rouge, est nommé Shu Zan, en fait déformation du prénom Suzanne, la cuisinière de Juliette.
Ou encore, cet ange du panneau Harmonia qui joue de la trompette. Les initiales JD se dessinent sur cette dernière.
Tout concourt à faire de cette pièce un véritable « théâtre de la gaieté », les couleurs sont évidemment les plus vives : le vert, le rouge et l’or sur fond noir.
C’est chez Juliette Drouet que Victor Hugo préférait recevoir ses intimes ; à Hauteville House le cérémonial, à Hauteville Fairy la liberté.