В конце концов, Потемкин сдался, ему невыносимо было присутствие соперника и лицемерие Екатерины. Он уехал в Новороссию, а двор вздохнул с облегчением. У Потемкина было очень много врагов, ему не могли простить и фавор его, и скромное происхождение, и строптивый нрав, и бесцеремонность и огромную власть, которую он уже имел и в Военной коллегии, и в Сенате, и в дворцовых покоях, и в армии.
Но и без Потемкина жизнь Завадовского была несладкой. Он пишет своему другу Воронцову: «Познал я двор и людей с худой стороны, но не изменюсь нравом ни для чего, ибо ничем не прельщаюсь». Скучно было ему играть в царедворца, эта скука «весь мой веселый нрав подавляет», – пишет он в одном из писем. Понятное дело, при дворе велись интриги, нашлись люди, которые с помощью Завадовского решили навсегда свергнуть «с престола» Потемкина. В помощники для этого дела решено было призвать братьев Орловых. К чести Григория Орлова, скажем, что он в этой интриге участия не принимал. Да и вся интрига состояла, скорее, не из действий, а из мечтаний и подковерных бесед.
Пикуль в своем романе «Фаворит» отзывается о Завадовском крайне нелестно. Он смотрит на него не авторским взором, а глазами своего героя. Вернувшись в Петербург, Потемкин «сразу же вытряхнул из дворцовых покоев Завадовского, который как воришка забрался в чужие комнаты». Оставим на совести Пикуля эту фразу. Если кто-то и «вытряхнул» Завадовского из дворца, то это сама Екатерина, но, конечно, не без помощи Потемкина. Измученный, по-прежнему влюбленный бывший статс-секретарь уехал зализывать душевные раны в свое имение Ляличи. Екатерина была верна себе. Отслуживший фаворит получил в дар 80 000 рублей единовременно, 5 000 рублей пенсии, 1800 крестьян в Малороссии и 2000 в Польше. Ну и сервиз серебряный, как положено.
Собственно, на этом и можно было бы кончить рассказ о Завадовском-фаворите, но нельзя не рассказать о нем как о государственном деятеле. Через три месяца Екатерина позвала его в Петербург. Может, ее совесть мучила, но, скорее всего, она хотела использовать деловые качества отставного фаворита, только пока не знала как. Завадовский приехал. От дворцовых покоев веяло холодом, он надеялся совсем на другую встречу. Проболтавшись в столице несколько месяцев, отдавая время игре в карты и посещению друзей, он все бросил и опять вернулся в Ляличи. Оттуда он пишет Бакунину: «Живу скучно и по-премногому неприятно, от убытка чувственности, мне природной, познакомился с меланхолией и подвергнул здоровье разным мучительным припадкам». Почему-то почти все любовники Екатерины рано или поздно начинают «страдать меланхолией», так было и с Понятовским, и с Орловым, и с Потемкиным, и, наконец, с Завадовским. Словно царица была, как говорят наши экстрасенсы, вампиром, который пьет чужую энергию.
Через год Екатерина призвала Завадовского на службу и буквально завалила его работой. Ему поручили управление Санкт-петербургским дворянским банком, он председатель в комиссии по строительству Исаакиевского собора, курирует строительство в подмосковном Царицыне, заседает в Сенате, и, наконец, а это главное, Екатерина пытается использовать его в деле народного просвещения. Екатерина была одержима идеей воспитания «нового человека». Век Просвещения учил, что все беды человечества связаны с невежеством.
Вот будут все грамотными, и наступит на земле золотой век. Она и сама писала труды по вопросам воспитания, а Завадовский стал первым чтецом их и критиком.
В 1782 году была создана Комиссия об учреждении училищ. Руководить комиссией был назначен Завадовский. Он весь отдался работе – народ надо было «выводить из мрака невежества». Был разработан «План к установлению народных училищ в Российской империи», по которому в столицах и губернских городах учреждались четырехклассные народные училища, а в уездных – двухклассные малые народные училища. Школы предназначались для всех сословий и содержались за счет государства. Екатерина очень положительно оценивала его работу. Завадовский получает чин тайного советника, становится сенатором.
В 1783 году в Петербурге было открыто Главное народное училище по подготовке учителей. В 1786 году на базе этого училища появилась Учительская семинария – искали новые методы и формы преподавания. Следствием этой работы было открытие 25 народных училищ в губернских городах. За эту службу Завадовский был награжден императрицей орденом Святого Владимира I степени, а также получил 8000 душ крестьян в Малороссии. Тогда же был основан дворянский благородный пансион для мальчиков, это уже не частное, а государственное учреждение.
Кроме того, Завадовский был назначен управляющим медико-хирургической школой и как организатор очень преуспел в этом направлении. Медицинская школа была преобразована в академию, велось грамотное обучение медиков.
Знаком высшего доверия императрицы к Завадскому было и то, что она поручила ему опекунство над графом Бобринским, сыном ее и Григория Орлова.