Между тем Завадовский купил себе дом на Миллионной улице и решил обзавестись семьей. Невесту он нашел в доме Кирилла Григорьевича Разумовского, с которым все эти годы поддерживал самые тесные отношения. Невеста – Вера Николаевна Апраксина – была прелестная девица, но у нее был значительный недостаток, подмоченная репутация. То есть сама-то невеста была чиста, но вот маменька, Софья Осиповна, была фигурой скандальной и опасной, ее знал весь Петербург и очень не одобряла сама императрица. Софья Осиповна, по мужу Апраксина, приходилась К. Разумовскому племянницей. После смерти жены Кирилла Григорьевича она переехала к нему в его дом и прожила там почти тридцать лет. Она перессорила старика Разумовского с детьми, после его смерти распорядилась богатством в свою пользу. Но это все потом, да и не это главное, мало ли какие склоки бывают в семьях из-за денег? Петербургское общество было уверено, что дочь Софьи Осиповны – Вера Николаевна – хоть и носила фамилию Апраксина, на самом деле была дочерью Разумовского, то есть была внебрачным ребенком.
Императрице очень не нравился выбор Завадовского, и тот, бедный, вынужден был оправдываться перед «блюстительницей морали». «Беру овечку из паршивого стада, – писал он Екатерине, – но на дух свой надеюсь твердо, что проказа ко мне никак не пристанет, наподобие как вынутое из грязи и очищенное от оной золото ничьих рук не марает».
Свадьба состоялась 30 апреля 1787 года. Невесте было двадцать, жениху почти пятьдесят. Екатерина сменила гнев на милость и назначила Веру Николаевну своей фрейлиной. Завадовский был влюблен в свою молодую жену. Брак был, помимо всего, выгодным, потому что приобщал новоиспеченного мужа к высшей аристократии страны.
Можно сказать, что они жили долго, но не скажешь, что счастливо. Первые шесть лет прошли вполне благополучно, а потом у них стали умирать дети. Умирали они в младенчестве. Родилось всего десять детей (немыслимое количество по нашим временам), осталось всего пятеро, а потом трое. Завадовский писал другу своему С. Р. Воронцову: «Я познал, какова радость, какова печаль от детей: пятерых погреб, одна дочь шести месяцев остается, которая не одобрение, а более трепет сердцу наводит. Толику я несчастный отец! Хоть живу, но как громом пораженный; сам не чувствую своей жизни». В свете сплетничали, что оставшиеся в живых два сына и дочь Татьяна родились не от Завадовского, а от князя И. И. Барятинского. Что тут скажешь? На чужой роток не накинешь платок.
Смерть детей отразилась на здоровье Завадовского, да и возраст давал о себе знать. Очередной фаворит императрицы Платон Зубов его откровенно ненавидел, поскольку Завадовский имел, по его мнению, слишком большое влияние на императрицу. Двор всегда созвучен фавориту, вокруг Завадовского велись бесконечные интриги. Словом, он помышлял об отставке, но Екатерина и слышать об этом не хотела. Кому еще она может доверить народное образование? Дабы удержать своего любимца подле себя, она награждает Завадовского орденом Святого Александра Невского, жалует титул графа Священной Римской империи, заодно этот титул получают и его братья – Яков и Илья Завадовские.
Екатерина скончалась, на трон вступил ее сын Павел. Он вполне благосклонно отнесся к ближайшему соратнику покойной матери. В день своей коронации 5 апреля 1797 года он пожаловал П. В. Завадовскому графское достоинство Российской империи, наградил его орденами Святого Андрея Первозванного и Анны I степени, а также назначил руководителем Государственного ассигнационного банка. Завадовский продолжал заседать в Сенате, но и, как прочие екатерининские деятели, скоро дождался отставки. Секретарь банка каким-то обманным путем получил на руки 7000 рублей. Правда, Завадовскому уже давно было не до банка, руководство им было чисто формальным. Император вспылил, а дальше все понятно.
Наконец-то Петр Васильевич мог уехать в свои Ляличи! К этому времени любимая усадьба приобрела совсем новый вид. Барский дом, построенный знаменитым Кваренги, был великолепен. По желанию Екатерины он внешне напоминал Ассигнационный банк. С этим зданием произошла анекдотическая истории. За опальным вельможей по приказанию Павла был учинен негласный надзор – следить, как живет, кого принимает. Писать было особенно нечего, хозяин жил тихо и скромно, и услужливый надзиратель сообщил в столицу, что дворец Завадовского выше, чем вновь отстроенный Михайловский (Инженерный) замок. По счастью, Петра Васильевича предупредили, что из-за этой нелепицы у него могут быть большие неприятности. Тогда он сделал перед дворцом насыпь, закрыл нижний подвальный этаж. И ведь приехали, обмерили, но отбыли ни с чем. Дом Завадовского был «на целый аршин» ниже Михайловского замка.