Из четырех братьев Люсьен, несомненно, был самым счастливым и удачливым. В 1811 году у него все складывалось наиболее благополучно. Лишенный возможности потерять какой-либо трон и располагавший немалыми личными средствами, он стал жить как английский провинциальный джентльмен и сделал свой дом местом встреч ученых, астрономов и местных эсквайров с литературными и артистическими вкусами. Люсьен больше не был заключенным в подлинном смысле этого слова, и захватившие его люди относились к нему с глубоким уважением. После гордого отказа быть причисленным к врагам его брата он был переведен в замок Ладлоу и отдан под ответственность главы судебной и исполнительной власти Сейлопа. Ему разрешили передвигаться в пределах двухмильной округи замка. И там, в Ладлоу, он оказывал всяческое сопротивление уговорам англичан, которые на основании его истории повстанца рассматривали Люсьена как возможного ценного союзника. Тем, кто пытался заручиться его поддержкой против Наполеона, Люсьен с предельной ясностью выразил свою позицию: он не был прислужником Наполеона и не имел никакого желания быть включенным в ряды врагов его родной страны. Люсьен просил лишь одного — оставить его в покое и позволить заниматься многочисленными культурными интересами. Его не угнетало содержание в средневековой крепости, которая когда-то была домом злополучных детей Эдуарда IV. Через некоторое время тюремщики смягчились, Люсьену было разрешено покинуть замок и купить себе поместье в Торнгрове по дороге в Ворчестер. Вот там-то он и превратил свой дом в салон и студию, которые стали местом паломничества мелкопоместных дворян со всей округи. Имение, купленное у французского эмигранта, обошлось ему в 18 000 гиней, но он мог с легкостью позволить себе это и начал украшать дом некоторыми из фамильных портретов и сокровищами этрусков, которые привез из Италии. Люсьен и его жена были совершенно счастливы, и у них регулярно рождались дети, всего девять вместе с двумя дочерьми от первой жены Кристины. Всерьез заинтересовавшись астрономией, он купил себе огромный телескоп за 50 000 франков и установил его в своей личной обсерватории. Закончив работу над длинной эпической поэмой о Карле Великом, он написал драму, а потом и пару комедий, которые были поставлены в его частном театре перед аудиторией их двух сотен соседей. Его жена и старшие дети принимали участие в этих спектаклях, а Люсьен наблюдал за ними, отмечая, что, пожалуй, от этих скромных постановок можно было получить большее удовлетворение, чем от бал-маскарадов, устраиваемых его братом в Сен-Клу. Он проявлял большой интерес к образованию своих детей и при семейном таланте к администрированию каждым воскресным утром разрабатывал план их недельных занятий. Воскресные вечера посвящались концертам, исполнителями на которых выступали дети и гости. С учетом всего этого жизнь Люсьена представлялась вполне приятной, и среди его почитателей того времени был герцог Норфолкский и дочь Хершеля, знаменитого астронома. Насколько мог судить Люсьен, ему предстояло оставаться там на протяжении всей жизни. Война между Англией и Францией велась (с одним коротким перемирием) с 1793 года и, казалось, не было перспектив ее завершения. Он, должно быть, значительно смягчился со времени своей ссылки в Рим, так как заводил дружбу с мелкопоместными дворянами, которые бы пришли в ужас от его республиканских речей прошлого времени. Занимаясь сочинительством в Торнгрове, он вкладывал подобные речи в уста своих героев.
В Теплице, австрийском городе, куда приехал Луи после бегства из Голландии, он продолжал сопротивляться своему гонителю. Для наблюдателей теперь было очевидно, почему он столь поспешно покинул свой трон. Цель его заключалась в том, чтобы поставить Наполеона в затруднительное положение перед каждым из королевских дворов Европы, и в этом он достиг успеха, так как император был как громом поражен, получив сообщение, что Луи отказался от власти, которой ему было запрещено пользоваться. Для человека, ценившего свои политические суждения намного выше советов всех своих подчиненных, Наполеон проявлял странную слабость в одном отношении. Он не мог переносить критику его взаимоотношений с родственниками и теперь опасался того, что его враги по всей Европе усмотрят в отречении Луи акт отчаяния. Наполеон объяснил, что выход его брата из королевского круга был вызван умственным расстройством и вообще плохим здоровьем. Для подтверждения этой выдумки он улучшил свое отношение к уклонявшемуся от обязанностей брату и даже предоставил ему пенсию в 2 миллиона франков, но в то же время стал усиливать давление на Гортензию в попытке вернуть Луи обратно во Францию.