Летом 1768 года Кабинет по приему челобитных был передан под начало генерала Степана Федоровича Стрекалова, Фонвизин сдает дела, но по-прежнему находится при Елагине, который становится сенатором и остается «вице-президентом Главной дворцовой канцелярии и при кабинете Ее Величества у собственных дел» и «над спектаклями главным директором». В это время Фонвизин страдает не столько от разлуки с родными, не столько от козней заклятого врага Лукина, сколько от упорного нежелания начальника заняться его делами, добиться производства в чин (в 1768 году он был всего лишь титулярным советником) и повышения жалованья. Работы по службе у Фонвизина немного, но ему приходится ежедневно бывать у ненавистного «командира», и эти визиты становятся для него крайне неприятными и «беспокойными». Сам Елагин, по словам Фонвизина, «держится одною удачею» и поэтому не задумывается ни о чьем благополучии, ни о своем, ни о зависящих от него людей. Фонвизина же Елагин искренне любит, хочет оставить при себе, уверяет его, что отставкой или «переменой места» он непременно себя погубит, но видит в своем секретаре лишь приятного собеседника и сотрапезника. Фонвизин хотел бы служить у другого начальника, но среди них нет никого, кто захотел бы идти на прямой конфликт с властным вельможей («Такая беда моя, — пишет Фонвизин в письме родителям от 11 сентября 1768 года, — что никто прямо от него брать меня не хочет, а на него я никакой надежды не имею»). Попав в столь непростую жизненную ситуацию, не имеющий руководства и покровительства молодой человек «бежит» в отпуск в Москву и «скрывается» в доме родителей.
Кажется, служебная карьера секретаря и переводчика близка к бесславному завершению и выхода из положения не существует. Фонвизин крайне раздражен создавшимся положением, в письмах 1768 года родным ругает Елагина последними словами, а в «балагурных» посланиях 1769 года принципалу выражает надежду, что тот вызывает его в Петербург лишь для того, чтобы «поправить обстоятельства» окончательно обедневшего и отчаявшегося сделать служебную карьеру сотрудника. Правда, еще в позапрошлом веке было высказано предположение, что письмами Елагину Фонвизин, твердо решивший покинуть равнодушного начальника, пытался потянуть время и дождаться перемены своей судьбы.
В 1768 году старший брат и любящий сын заботится о прибывших в Петербург Александре и Петре Фонвизиных и продолжает хлопотать о делах отца: посещает его шефа — начальника Ревизион-коллегии Романа Илларионовича Воронцова (получившего прозвище «Роман — большой карман»), передает ему неизвестное нам, но чрезвычайно важное для Ивана Андреевича письмо и сообщает родителям о доброжелательности сенатора. Правда, отец знаменитой княгини Екатерины Романовны Дашковой («Екатерины Малой», в девичестве — Екатерины Воронцовой) вызывает у раздраженного Фонвизина презрение, не меньшее, чем Елагин: будучи в фаворе, вельможи мало считаются с интересами зависящих от них подчиненных, оказавшись же в опале, становятся приветливыми и любезными. Видеть, как «идут дела», омерзительно и для честного человека невыносимо: хорошо ли, когда публика проливает слезы над страданиями сценического персонажа и при этом равнодушна к настоящим бедам живого человека? («К пользе человеческого рода каждую неделю дают здесь по трагической или комической штуке. Льются слезы о несчастий театрального героя, а бедный Чур., который несчастлив не на шутку, забыт, да и помнить о нем не велят. Вот как в свете дела идут», — рассказывает возмущенный Фонвизин родителям в одном из писем 1768 года.) Единственная альтернатива этому аду — «любезная неволя» в Москве, в кругу родных и близких людей; лишь там он может обрести вожделенный покой и счастье. О своем желании воссоединиться со своими любимыми домочадцами Фонвизин говорит практически во всех своих письмах сестре и родителям, за встречу с ними готов отдать «семь десяток жизни», но такого раздражения против петербургской жизни, как в 1768 году, он не испытывал никогда.