Когда происходившие перемены стали для Федора Рокотова особенно ощутимыми? Возможно, после назначения руководителем класса живописи С. Торелли, который в июле 1766 года из числа всех русских академиков предлагает избрать адъюнкт-профессором Г. И. Козлова, и никому не приходит в голову назвать имя Ф. С. Рокотова. Но если в отношении Г. И. Козлова речь шла об исторической живописи, которой в Академии всегда отводилось первенствующее положение, то решение о введении в состав Совета К. И. Головачевского непосредственно задевало Рокотова. Четвертого сентября того же 1766 года из числа преподавателей портретного класса именно он производится в советники Академии художеств с тем, чтобы, кроме того, „ему заседать в совете за недостатком членов, также Гроту, Кювилье и Пекену“. Рокотов остается незамеченным. Но последним и самым тяжелым нанесенным художнику ударом было назначение руководителем вновь образованного класса портретной живописи именно К. И. Головачевского. Спустя четыре года этот класс будет у него отнят и передан Д. Г. Левицкому, а пока, в апреле 1767 года, дальнейшее пребывание Рокотова в академических стенах действительно становилось бессмысленным. Ему не оставалось ничего другого, как оставить „храм на Васильевском острову“.
В старой столице
Не токмо у стола знатных господ, или у каких земных владетелей дураком быть не хочу, но ниже у самого Господа Бога, который дал мне смысл, пока разве отнимет.
Никто никого и ни в чем не мог обвинить. Строптивый художник, оставивший Академию художеств. Без объяснений — письменных, во всяком случае (архивы их не сохранили). Без серьезной причины — разве не в порядке вещей быть на службе обойденным чином, вниманием начальства! Да, он работал при дворе. Но двор сменился, неуловимо, день ото дня становился иным. И, по всей вероятности, Рокотова связывали с ним не простые заказы на портреты, а более тесные личные связи. Никакой случайностью не объяснишь перемены, происходившие прежде всего в окружении цесаревича. Как же не доверяла ему Екатерина, как боялась!
В 1765 году при достаточно неясных обстоятельствах увольняется С. А. Порошин. Распространялись слухи, будто императрица узнала о дневнике, который он вел и который заключал в себе слишком важные для государства имена и обстоятельства. Слухи были выгодны и необходимы для вразумительного объяснения неожиданной опалы. К ним добавлялись исходившие от непосредственного окружения императрицы разговоры о неуместном сватовстве Порошина к богатейшей невесте Российской империи Варваре Шереметевой, о браке с которой думал Никита Панин. Понятные любому результаты соперничества, хотя в действительности Панин терял чрезвычайно ему нужного и преданного человека.
Итак, отношения Панина с Порошиным остались неизменными. Для объяснений по поводу дневника автора никто не приглашал, и рукопись впоследствии увидела свет без малейших сокращений и поправок. Тем не менее С. А. Порошин получил назначение командиром полка в достаточно удаленный от столицы Старый Оскол. Тем самым на половине цесаревича прекращаются те открытые столы, которые собирали сторонников Н. И. Панина.
В 1765 году не стало М. В. Ломоносова, положение которого в Академии наук резко осложнилось с отъездом в апреле 1763 года за границу И. И. Шувалова. В том же 1765 году уходит из Академии художеств глубоко оскорбленный Е. П. Чемесов. Его, одного из основоположников академической системы, потерявшего в академических стенах здоровье, не включают в совет директоров. Больше того. На торжестве „заложения нового для Академии художеств строения“, собравшем едва ли не весь Петербург, для него не находится пригласительного билета. Все в „храме на Васильевском острову“ перестраивалось так, будто Академия трех знатнейших художеств создавалась заново. История сохранила как бы две даты ее открытия: 1757 и 1763 годы. Шуваловский период пришлось восстанавливать историкам.