После скитания по разным тюрьмам Лафайет оказался в Олмутце, одной из мрачнейших австрийских крепостей в Моравии. Его камера шириной три шага и длиной пять находилась в подземелье, без света и свежего воздуха. Адриенна содрогалась от ужаса, воображая своего «горячо и нежно любимого Жильбера» в этой страшной клоаке. Здесь 8 ноября 1794 года была предпринята попытка побега. Организовали его давние почитатели Лафайета — доктор медицины из Ганновера Эрих Больман (кстати, знакомый Месмера) и американский студент Хьюггер, сын майора, который первым встретил Лафайета на земле Америки в 1777 году. План был тщательно ими продуман. Но случилось непредвиденное. Во время схватки с охранником убежала одна из приготовленных двух лошадей. Лафайету передали оставшуюся лошадь, два пистолета и кошелек с золотыми дукатами. На прощание Больман успел только крикнуть: «Get to Hof! (Следуйте в Хоф!)». Лафайету же послышалось «Got off! (Бегите!)».
Ни о каком городе Хоф он слыхом не слыхивал и тем более не знал о дальнейших планах организаторов побега. А между тем в Хофе, на австрийской границе, его ждали и оттуда должны были переправить дальше в Бреслау. В тот же день заблудившийся Лафайет был схвачен и водворен обратно в тюрьму. Его приговорили к содержанию в кандалах. Но австрийский император Франц отменил эту крайнюю меру. Его засыпали письмами о помиловании Лафайета. Одним из тех, кто вступился за героя американской революции, был сам Вашингтон. Однако пока что все попытки оставались тщетными. И когда Лафайет совсем было потерял надежду увидеть свободу и свою семью, двери камеры отворились и он увидел свою драгоценную жену и дочерей.
Как жена эмигранта, она сама была почти пленницей, но все же ей удалось собрать некоторую сумму, чтобы поехать к мужу. Но Адриенна не успела осуществить свои намерения. Двенадцатого ноября 1793 года маркиза де Лафайет была оторвана от своих детей, арестована и через несколько месяцев переведена в парижскую тюрьму. После короткого пребывания в тюрьме Форс ее перевели в Плесси — «лавку Фуке-Тенвиля», резервуар, куда этот общественный обвинитель нырял каждый день, чтобы насытить гильотину. Здесь Адриенна узнала о казни своих бабушки, матери и сестры.
Маркиза Лафайет была освобождена только в начале следующего года. Наконец-то она получила возможность реализовать свой план: найти того, кто составлял счастье всей ее жизни. С обеими дочерьми она села на корабль, который, как все уверяли, отплывал в Америку. Но на деле маркиза оказалась в Гамбурге, где консул Соединенных Штатов передал ей паспорт на имя мадам Мотье, американской гражданки. Адриенна пересекла всю Европу, прибыла в Вену и добилась с большим трудом аудиенции у императора Франца.
— Освободить Лафайета? Об этом не может быть и речи! Его идеи сравнимы с бочкой пороха;
Несчастная Адриенна бросилась на колени перед императором, умоляя его разрешить хотя бы разделить с мужем его заключение. В этом Франц милостиво уступил.
— Вы найдете господина Лафайета в добром здравии, с ним хорошо обращаются и хорошо кормят. Ваше присутствие будет еще одной поблажкой для него.
Двадцать четвертого октября Адриенна, опьяненная счастьем, оказалась перед воротами мрачной цитадели Олмутц. Дочери поддерживали ее. Хватит ли у нее сил выдержать счастье столь долгожданной встречи?
Уже при входе в тюрьму их обыскали, отобрали все личные вещи, затем через темный коридор провели во двор тюрьмы, где стражник открыл дверь со множеством запоров и замков. Пройдя через вторую дверь с не меньшим количеством запоров, Адриенна наконец-то увидела своего дорогого Жильбера, исхудавшего, бледного, постаревшего и сгорбленного, ослепленного ярким светом, проникшим в открытую дверь. Узнав наконец свою «дорогую Адриенну», он бросился с рыданиями в ее объятия. Она показала ему дочерей, ибо он видел их последний раз еще совсем крошками.
Лафайет рассказал им о своих мытарствах. У него отобрали в тюрьме все вещи, а после попытки бегства лишили даже света и имени. Обращались к нему, только называя тюремный номер. Он должен был есть руками — лишили его и столовых приборов. Но все это не так важно, раз теперь с ним была его семья.
Адриенна прожила два года в сумрачной камере своего обожаемого Жильбера. Она была счастлива, безраздельно владея мужем. Каждый день, в полдень, к ним приводили под конвоем дочерей, содержащихся в соседней камере, и они проводили часть дня с родителями. Все четверо мужественно переносили тяготы, смеялись над тем, что приходилось рвать руками куски мяса за обедом, старались содержать в порядке свою одежду, превратившуюся в лохмотья.
Они смеялись над своими несчастьями до того дня, когда Адриенна заболела. Император Франц милостиво разрешил ей проконсультироваться с врачами в Вене, но с условием, что маркиза не вернется в Олмутц.