В конце концов, Потёмкин сдался, ему невыносимо было присутствие соперника и лицемерие Екатерины. Он уехал в Новороссию, а двор вздохнул с облегчением. У Потёмкина было очень много врагов, ему не могли простить и фавор его, и скромное происхождение, и строптивый нрав, и бесцеремонность, и огромную власть, которую он уже имел и в Военной коллегии, и в Сенате, и в дворцовых покоях, и в армии.
Но и без Потёмкина жизнь Завадовского была несладкой. Он пишет своему другу Воронцову: «Познал я двор и людей с худой стороны, но не изменюсь нравом ни для чего, ибо ничем не прельщаюсь». Скучно было ему играть в царедворца, эта скука «весь мой весёлый нрав подавляет», — пишет он в одном из писем. Понятное дело, при дворе велись интриги, нашлись люди, которые с помощью Завадовского решили навсегда свергнуть «с престола» Потёмкина. В помощники для этого дела решено было призвать братьев Орловых. К чести Григория Орлова, скажем, что он в этой интриге участия не принимал. Да и вся интрига состояла, скорее, не из действий, а из мечтаний и подковёрных бесед.
Пикуль в своём романе «Фаворит» отзывается о Завадовском крайне нелестно. Он смотрит на него не авторским взором, а глазами своего героя. Вернувшись в Петербург, Потёмкин «сразу же вытряхнул из дворцовых покоев Завадовского, который как воришка забрался в чужие комнаты». Оставим на совести Пикуля эту фразу. Если кто-то и «вытряхнул» Завадовского из дворца, то это сама Екатерина, но, конечно, не без помощи Потёмкина. Измученный, по-прежнему влюблённый бывший статс-секретарь уехал зализывать душевные раны в своё имение Ляличи. Екатерина была верна себе. Отслуживший фаворит получил в дар 80000 рублей единовременно, 5000 рублей пенсии, 1800 крестьян в Малороссии и 2000 в Польше. Ну и сервиз серебряный, как положено.
Собственно, на этом и можно было бы кончить рассказ о Завадовском-фаворите, но нельзя не рассказать о нём как о государственном деятеле. Через три месяца Екатерина позвала его в Петербург. Может, её совесть мучила, но, скорее всего, она хотела использовать деловые качества отставного фаворита, только пока не знала как. Завадовский приехал. От дворцовых покоев веяло холодом, он надеялся совсем на другую встречу. Проболтавшись в столице несколько месяцев, отдавая время игре в карты и посещению друзей, он всё бросил и опять вернулся в Ляличи. Оттуда он пишет Бакунину: «Живу скучно и по-премногому неприятно, от убытка чувственности, мне природной, познакомился с меланхолией и подвергнул здоровье разным мучительным припадкам». Почему-то почти все любовники Екатерины рано или поздно начинают «страдать меланхолией», так было и с Понятовским, и с Орловым, и с Потёмкиным, и, наконец, с Завадовским. Словно царица была, как говорят наши экстрасенсы, вампиром, который пьёт чужую энергию.
Через год Екатерина призвала Завадовского на службу и буквально завалила его работой. Ему поручили управление Санкт-петербургским дворянским банком, он председатель в комиссии по строительству Исаакиевского собора, курирует строительство в подмосковном Царицыне, заседает в Сенате, и, наконец, а это главное, Екатерина пытается использовать его в деле народного просвещения. Екатерина была одержима идеей воспитания «нового человека». Век Просвещения учил, что все беды человечества связаны с невежеством. Вот будут все грамотными, и наступит на земле золотой век. Она и сама писала труды по вопросам воспитания, а Завадовский стал первым чтецом их и критиком.
В 1782 году была создана Комиссия об учреждении училищ. Руководить комиссией был назначен Завадовский. Он весь отдался работе — народ надо было «выводить из мрака невежества». Был разработан «План к установлению народных училищ в Российской империи», по которому в столицах и губернских городах учреждались четырёхклассные народные училища, а в уездных — двухклассные малые народные училища. Школы предназначались для всех сословий и содержались за счёт государства. Екатерина очень положительно оценивала его работу. Завадовский получает чин тайного советника, становится сенатором.
В 1783 году в Петербурге было открыто Главное народное училище по подготовке учителей. В 1786 году на базе этого училища появилась Учительская семинария — искали новые методы и формы преподавания. Следствием этой работы было открытие 25 народных училищ в губернских городах. За эту службу Завадовский был награждён императрицей орденом Святого Владимира I степени, а также получил 8000 душ крестьян в Малороссии. Тогда же был основан дворянский благородный пансион для мальчиков, это уже не частное, а государственное учреждение.
Кроме того, Завадовский был назначен управляющим медико-хирургической школой и как организатор очень преуспел в этом направлении. Медицинская школа была преобразована в академию, велось грамотное обучение медиков.
Знаком высшего доверия императрицы к Завадскому было и то, что она поручила ему опекунство над графом Бобринским, сыном её и Григория Орлова.