Между тем Завадовский купил себе дом на Миллионной улице и решил обзавестись семьёй. Невесту он нашёл в доме Кирилла Григорьевича Разумовского, с которым все эти годы поддерживал самые тесные отношения. Невеста — Вера Николаевна Апраксина — была прелестная девица, но у неё был значительный недостаток, подмоченная репутация. То есть сама-то невеста была чиста, но вот маменька, Софья Осиповна, была фигурой скандальной и опасной, её знал весь Петербург и очень не одобряла сама императрица. Софья Осиповна, по мужу Апраксина, приходилась К. Разумовскому племянницей. После смерти жены Кирилла Григорьевича она переехала к нему в его дом и прожила там почти тридцать лет. Она перессорила старика Разумовского с детьми, после его смерти распорядилась богатством в свою пользу. Но это всё потом, да и не это главное, мало ли какие склоки бывают в семьях из-за денег? Петербургское общество было уверено, что дочь Софьи Осиповны — Вера Николаевна — хоть и носила фамилию Апраксина, на самом деле была дочерью Разумовского, то есть была внебрачным ребёнком.
Императрице очень не нравился выбор Завадовского, и тот, бедный, вынужден был оправдываться перед «блюстительницей морали». «Беру овечку из паршивого стада, — писал он Екатерине, — но на дух свой надеюсь твёрдо, что проказа ко мне никак не пристанет, наподобие как вынутое из грязи и очищенное от оной золото ничьих рук не марает».
Свадьба состоялась 30 апреля 1787 года. Невесте было двадцать, жениху почти пятьдесят. Екатерина сменила гнев на милость и назначила Веру Николаевну своей фрейлиной. Завадовский был влюблён в свою молодую жену. Брак был, помимо всего, выгодным, потому что приобщал новоиспечённого мужа к высшей аристократии страны.
Можно сказать, что они жили долго, но не скажешь, что счастливо. Первые шесть лет прошли вполне благополучно, а потом у них стали умирать дети. Умирали они в младенчестве. Родилось всего десять детей (немыслимое количество по нашим временам), осталось всего пятеро, а потом трое. Завадовский писал другу своему С.Р. Воронцову: «Я познал, какова радость, какова печаль от детей: пятерых погрёб, одна дочь шести месяцев остаётся, которая не одобрение, а более трепет сердцу наводит. Толику я несчастный отец! Хоть живу, но как громом поражённый; сам не чувствую своей жизни». В свете сплетничали, что оставшиеся в живых два сына и дочь Татьяна родились не от Завадовского, а от князя И.И. Барятинского. Что тут скажешь? На чужой роток не накинешь платок.
Смерть детей отразилась на здоровье Завадовского, да и возраст давал о себе знать. Очередной фаворит императрицы Платон Зубов его откровенно ненавидел, поскольку Завадовский имел, по его мнению, слишком большое влияние на императрицу. Двор всегда созвучен фавориту, вокруг Завадовского велись бесконечные интриги. Словом, он помышлял об отставке, но Екатерина и слышать об этом не хотела. Кому ещё она может доверить народное образование? Дабы удержать своего любимца подле себя, она награждает Завадовского орденом Святого Александра Невского, жалует титул графа Священной Римской империи, заодно этот титул получают и его братья — Яков и Илья Завадовские.
Екатерина скончалась, на трон вступил её сын Павел. Он вполне благосклонно отнёсся к ближайшему соратнику покойной матери. В день своей коронации 5 апреля 1797 года он пожаловал П.В. Завадовскому графское достоинство Российской империи, наградил его орденами Святого Андрея Первозванного и Анны I степени, а также назначил руководителем Государственного ассигнационного банка. Завадовский продолжал заседать в Сенате, но и, как прочие екатерининские деятели, скоро дождался отставки. Секретарь банка каким-то обманным путём получил на руки 7000 рублей. Правда, Завадовскому уже давно было не до банка, руководство им было чисто формальным. Император вспылил, а дальше всё понятно.
Наконец-то Пётр Васильевич мог уехать в свои Ляличи! К этому времени любимая усадьба приобрела совсем новый вид. Барский дом, построенный знаменитым Кваренги, был великолепен. По желанию Екатерины он внешне напоминал Ассигнационный банк. С этим зданием произошла анекдотическая истории. За опальным вельможей по приказанию Павла был учинён негласный надзор — следить, как живёт, кого принимает. Писать было особенно нечего, хозяин жил тихо и скромно, и услужливый надзиратель сообщил в столицу, что дворец Завадовского выше, чем вновь отстроенный Михайловский (Инженерный) замок. По счастью, Петра Васильевича предупредили, что из-за этой нелепицы у него могут быть большие неприятности. Тогда он сделал перед дворцом насыпь, закрыл нижний подвальный этаж. И ведь приехали, обмерили, но отбыли ни с чем. Дом Завадовского был «на целый аршин» ниже Михайловского замка.