Леопольда Гюго послали в Италию. Жозеф Бонапарт, мягкий человек, литератор, превратившийся против своей воли, но по воле знаменитого брата в полководца, получил приказ завоевать Неаполитанское королевство. Он знал майора Гюго, служившего под его началом в Люневиле, и благоволил к нему. В Париже министерство долго противилось какому бы то ни было продвижению офицера, скомпрометированного дружбой с Моро и Лагори. О муже, который жил где-то далеко и почти что в разводе с нею, Софи Гюго вспоминала лишь для того, чтобы попросить у него денег. Он с ворчанием посылал ей половину своего жалованья, а когда его субсидии становились нерегулярными, Лагори, еще имевший тайные резервы, брал на себя заботу о семье.
Наконец Леопольду Гюго выпал случай отличиться. Захват Неаполя вызвал в горах Калабрии восстание bravi - полупатриотов-полуразбойников. Самый смелый из их вожаков, Микеле Пецца, по прозвищу Фра-Диаволо, скорее партизан, чем бандит, боролся с оккупантами и был после кровавой стычки взят майором в плен. Это создало Леопольду Гюго "огромную славу" и дало основание Жозефу Бонапарту назначить его губернатором провинции Авеллино, а также произвести его в полковники.
А положение Лагори в это время (1807 г.) ухудшилось. Его денежные средства истощились. Ощущение затравленности придавало его лицу напряженное выражение, челюсти его, "как у больного столбняком", все время судорожно сжимались. Всегда находясь в лихорадочном возбуждении, в тревоге, он жалел о тех днях, когда солдаты Свободы весело входили в баварские и тирольские города, и проклинал "тирана", которым был теперь уже не Людовик XVI, а император Наполеон. Когда Софи Гюго увидела, что ее другу нельзя больше появляться в Париже, где его подстерегает Фуше, что у нее скоро не будет денег для пропитания детей, она написала мужу, что готова послушаться его увещеваний и вернуться к нему. Однако он уже не хотел этого. "Я вовсе и не думаю требовать, чтобы ты приехала... Ты сама виновата, что у меня пропало желание жить совместно с тобой, тем более что я не имею прочного положения..." Нужда пишет свои законы. Софи не посчиталась с таким заявлением и в октябре 1807 года, не предупредив мужа, отправилась к нему в Италию.
Маленькому Виктору было тогда только пять лет, но он был очень впечатлительный и наблюдательный мальчик. Ему на всю жизнь запомнилось, как он ехал через всю Францию в дилижансе; запомнился перевал Мон-Сени и то, как хрустели льдинки под полозьями саней, как подстрелили орла, как останавливались на привал, чтобы поесть, а главное, запомнились ему висевшие на деревьях обрубки человеческих тел, еще красные от крови; вместе с братьями он смотрел на них в окошко кареты, на которое они налепили от скуки крестики из соломинок. Ужас, который внушали ему смертная казнь, пытки и виселицы, антитеза - виселица и крест, - все эти мысли, преследовавшие его до самой смерти, первые свои корни пустили в его душе еще в детстве, пищу им дали сильные впечатления ребенка.
Госпожу Гюго, любившую бретонские сады больше, чем пышные цветы Юга, занимали только поиски пристанища, но дети были очарованы Неаполем, "сверкающим на солнце в белом своем одеянии с голубой бахромой...". А с какой гордостью они увидели в конце своего путешествия отца, встретившего их в полковничьем парадном мундире, да почувствовали, что они сыновья губернатора и принадлежат к стану победителей:
Средь народов покорных я был без охраны,
Удивляясь вниманью и робости странной
Неужели ребенок внушил им испуг?..
Имя Франции я называл, и нежданно
Чужеземцы бледнели вокруг
[Виктор Гюго, "Мое детство" ("Оды и баллады")].
По правде сказать, полковника Гюго, проживавшего в губернаторской резиденции совместно с девицей Тома, ошеломил нежданный приезд жены, но он был славный человек, он любил своих сыновей. Семью он устроил в Неаполе и на несколько дней открыл ей двери своего дома в Авеллино, предварительно выпроводив оттуда Катрин Тома.