Une maison pour Victor Hugo, se devait d'avoir un jardin, sans doute par nostalgie de celui des Feuillantines de son enfance. Il accorda beaucoup de soin à celui d'Hauteville. Il aimait s'y retrouver en famille, de nombreuses photographies en témoignent. Il lui consacra un poème qui ne fut publié qu'après sa mort, dans le recueil "Dernière Gerbe" :

"Dans le gazon qu'au sud abrite un vert rideau,
On voit, des deux côtés d'une humble flaque d'eau
Où nagent des poissons d'or et de chyroprase,
Deux aloès qui font très bien dans une phrase ;
Le bassin luit dans l'herbe, et semble, à ciel ouvert,
Un miroir de cristal bordé de velours vert ;
Un lierre maigre y rate un effet de broussailles ;
Et, bric à brac venu d'Anet ou de Versailles,
Pris à l'antre galant de quelques nymphe Echo,
Un vase en terre cuite, en style rococo,
Dans l'eau qui tremble avec de confuses cadences,
Mire les deux serpents qui lui tiennent lieu d'anses,
Et qui, jadis, voyaient danser dans leur réduit
Les marquises le jour, les dryades la nuit."

Sous ce climat très doux, humide et ensoleillé, que François Victor comparait à "un avril répandu", la nature est d'une abondance et d'une splendeur exceptionnelle. Dans ce jardin, partout des fleurs : camélias, lauriers roses, lys, géraniums, myrtes, hortensias, "une forêt de roses", lilas, glaïeuls, fuschias... De grands arbres : eucalyptus (disparu après une tempête en 1986), ormes, cytises, yuccas, chênes verts, un "laurier gigantesque" qui abritent de nombreux oiseaux. Les deux aloès, près desquels Hugo fut souvent photographié ont aussi malheureusement disparu.

Tout croissait en liberté dans ce vaste jardin : Hugo souffrait de voir couper une fleur. En effet il croyait en la métenpsychose, on trouve dans le poème "Ce que dit la bouche d'ombre" : "Tout, bête, arbre et roche, étant vivant sur Terre..". La branche d'un arbre ayant poussé en travers d'une allée, il fallait se baisser pour passer. Victor Hugo défendit qu'on la coupât : "Il ne faut pas contrarier les arbres".

En sortant par l'atelier ou le couloir aux faïences, à gauche on voit la mer. Une pelouse descend vers un bassin que surmonte une belle fontaine en terre cuite du XVIIIème siècle, aux anses en forme de serpents. Cette fontaine, "l'Urne d'Hauteville House", que le poète avait fait venir de France, se trouvait autrefois dans le jardin de la maison de la Place Royale (actuelle Place des Vosges).

Charles Hugo écrit en 1861 : "Ce bassin joue au petit Versailles, il a son jet d'eau et, pour cygnes, une paire d'honnêtes canards arrachés dernièrement au couteau de la cuisinière, qui les avait destinés à la table de ses maîtres. Ils font aujourd'hui l'ornement et la gaîté du jardin et prospèrent dans ce petit parc, sans se douter qu'ils ont échappé à un horizon de navets".

Plus tard, en 1878, Jeanne, la petite fille de Victor Hugo, mit des poissons rouges dans le bassin ; les goélands vinrent les manger et ce fut, paraît-il, son premier grand chagrin.

Sur le socle de la fontaine, face à la maison, une inscription : "Ubi spes ibi pax" (avec l'espoir, la paix). De l'autre côté du socle, une date : 17 octobre 1856, qui est celle de l'installation de la famille Hugo à Hauteville House.

Contre le mur de droite du jardin, un long banc de pierre, sur lequel brille, verte et bleue, une belle chimère chinoise, en faïence vernissée. Au-dessus du banc, une inscription tirée des "Contemplations" : "Immensité dit l'Etre. Eternité dit l'Ame".

De l'autre côté du jardin, le grand mât, au sommet duquel, le poète faisait flotter le drapeau tricolore. Près du mat, cachées par une rangée d'arbustes, une tonnelle et une serre que surmonte un petit belvédère à escalier de bois.

Au fond du jardin, se dresse un grand chêne. C'est le "Chêne des Etats-Unis d'Europe" que Victor Hugo planta le 14 juillet 1870, quelques jours avant la déclaration de guerre de la France à la Prusse.

"Aujourd'hui 14 juillet 1870, à une heure de l'après-midi, mon jardinier Tourtel m'assistant en présence de mon fils Charles, petit Georges et petite Jeanne étant là, j'ai planté dans mon jardin le gland d'où sortira le chêne que je baptise : "Chêne des Etats-Unis d'Europe".

Dans une lettre à Paul Meurice, il écrivit : " Il ne peut sortir de cette guerre que la fin des guerres et que les Etats-Unis d'Europe. Vous les verrez. Je ne les verrai pas. Pourquoi ? C'est parce que je les ai prédits. J'ai le premier, le 17 juillet 1851, prononcé (au milieu des huées) ce mot : "les Etats-Unis d'Europe". Donc j'en serai exclu. Jamais les Moïses ne virent les Chanaans".

Le 13 septembre 1870, de retour en France, il note : "Julie (jeune soeur de Madame Hugo qui continuera à habiter Hauteville après le départ de Victor Hugo en 1870) m'écrit de Guernesey que le gland planté par moi le 14 juillet a germé. Le chêne des Etats-Unis d'Europe est sorti de terre le 5 septembre, jour de ma rentrée à Paris".