И вот, незадолго до гибели, судьба преподнесла ему чудесный дар — роман с очаровательной женщиной. Он вернулся к нормальной жизни и решил построить в центре столицы укрепленный рыцарский замок.
Для этого он пригласил лучших европейских архитекторов. В 1800 году строительство уже почти заканчивалось, но архитектор долго не мог дождаться от Павла указания, какого цвета должны быть внешние стены замка. Царь никак не мог определиться с цветом, пока однажды на балу он не увидел оброненную его возлюбленной перчатку. Изящным движением Павел поднял перчатку с пола и тут заметил ее необычный, бледно-кирпичный цвет. Спросив разрешения у Анны, император распорядился отправить перчатку архитектору. Теперь он знал, какой цвет будет у его замка.
Замок сначала был назван Михайловским, позже — Инженерным.
По воспоминаниям современников, Лопухина не была красавицей, но имела очаровательную головку с огненными черными глазами и черными как смоль волосами и бровями, прелестным ртом и чрезвычайно приятным и добрым выражением лица. Хорошего образования она не получила, умом не блистала, но у нее было много такта и скромности, держалась она в стороне от придворных интриг и больше всего была склонна к тихой семейной жизни. Своим влиянием на императора Анна пользовалась лишь для того, чтобы оградить от его гнева попавших к нему в немилость людей или чтобы он наградил кого-то по заслугам. Зачастую, убеждая его, она начинала плакать и этим добивалась того, что ей было нужно.
Павел I не скрывал своих чувств к Лопухиной: в ее честь назывались корабли, ее имя было на знаменах гвардии. Искренность чувств императора по отношению к девушке ни у кого не вызывала сомнений. В ее обществе он находил отдохновение от всех текущих забот.
Но Анна влюбилась и спустя некоторое время призналась в этом императору. Избранником ее стал друг детства князь Павел Гаврилович Гагарин. Его не было в Петербурге, он находился в Италии, в действующей армии А. В. Суворова. Как призналась в том сама Лопухина брату, она открылась в своих чувствах императору для того, чтобы защитить себя от слишком бурных проявлений его симпатии. Гагарин тут же был отозван из армии в Петербург, а по приезде Павел Петрович щедро наградил его и начал устраивать брак с Лопухиной.
На набережной Невы император купил новобрачным три больших дома, которые были соединены в один. Предполагают, что имение Ясенево, хозяином которого сразу после свадьбы стал Павел Гагарин, было также подарено ему самим царем. Имение было куплено 8 февраля 1801 года, в тот день, когда Анна Лопухина стала княгиней Гагариной.
Никто не ожидал, что великодушие императора, которого все считали самодуром и тираном, будет столь велико.
Даже после замужества Лопухиной чувства императора к своей фаворитке нисколько не изменились.
Свое высокое положение княжне удалось сохранить вплоть до смерти Павла Петровича в 1801 году.
Анна Лопухина не была счастлива в браке. Александр I назначил Гагарина посланником при дворе в Сардинии, поэтому супруги два года прожили в Италии.
25 апреля 1805 года княгиня Гагарина скончалась после родов, всего на четыре года пережив своего друга и покровителя, императора Павла I.
Княжна Жанета Антоновна Четвертинская, в браке Вышковская (1777–1854) — представительница рода Святополк-Четвертинских, возлюбленная цесаревича Константина Павловича, сестра Марии Антоновны Нарышкиной. Жанета родилась в семье князя Антония Станислава Четвертинского, кастеляна Перемышля, и его первой жены Теклы Копенгаузен. Рано лишилась матери, а в 1794 году во время мятежа в Варшаве был убит ее отец, считавшийся сторонником России. После его гибели императрица Екатерина пожаловала его вторую жену, урожденную Холоневскую, в статс-дамы, а падчериц — во фрейлины и пригласила их в Россию — в Петербург, взяв на себя устройство их будущего.
Обе несовершеннолетние девочки — Жанета и младшая Мария — получили возможность жить во дворце. Уже в 1795 году Марию выдали замуж за тридцатиоднолетнего Дмитрия Нарышкина — одного из богатейших вельмож екатерининской эпохи.
Жанета еще долго оставалась при дворе. Ею серьезно увлекся великий князь Константин Павлович еще до своей женитьбы на Анне Федоровне. После отъезда супруги за границу он вспомнил свою былую привязанность и стал искать встреч с Жанетой Антоновной. Практически каждый день Константин Павлович обедал в доме Марии Нарышкиной, чтобы встретиться с дамой сердца.
В 1803 году цесаревич, по его же признанию, даже решил развестись, чтобы жениться на Четвертинской. Жанета, полюбившая великого князя, была счастлива в преддверии свадьбы. Но намерению Константина Павловича воспротивилась царская семья. Сопротивление со стороны вдовствующей императрицы Марии Федоровны и самого Александра I ему не удалось преодолеть. И Константин Павлович отказался от своих планов.