Остается неизвестной причина, по которой Левицкий выходит из состава лабзинской ложи. Впрочем, к 1818 году, достаточно подробно описанному в дневнике А. Е. Лабзиной, исчезает весь первоначальный состав «Умирающего сфинкса». Последним оказывается Черевин, о «бунте» которого она вскользь упоминает. «Бунт» Левицкого явно произошел значительно раньше — дополнительный предлог, отрезавший для художника всякие связи с Академией. Непримиримость Лабзина относительно каждого, кто хоть в какой-то мере уклонялся от его властной руки, общеизвестна. Левицкого «забывают» приглашать присутствовать в Совете, и одновременно из окружения Лабзина начинают ползти слухи о недомоганиях художника, неспособности работать, доходящей до фанатизма религиозности. А. Е. Лабзина ни разу не называет имени Левицкого, тогда как видевшая все происходящее только глазами своей суровой воспитательницы С. Лайкевич, если что-то и отмечала в своих многими годами позже написанных записках, то так, как это виделось обоим Лабзиным.
Однако внимание к Левицкому, проявленное при поддержке Строганова, находит отклик и в том отношении, которое испытывают к художнику представители молодого поколения живописцев, в том числе академических преподавателей. Тогда как С. С. Щукин неизменно остается в стороне, вернувшийся из заграничной пенсионерской поездки А. Г. Варнек ищет способа поддержать старого мастера и выразить ему уважение молодых портретистов. За отсутствием штатных мест Варнек не зачисляется в Академию и выражает желание начать преподавать бесплатно. Предложение Строгановым принимается, и по его указанию новому педагогу выделяется самостоятельный класс из числа учеников портретного и исторического классов. Это сразу же уравнивает Варнека в правах со Щукиным, и одним из первых его жестов в отношении Левицкого становится предложенная И. Яковлеву программа на звание академика — портрет Левицкого, в котором Варнек, согласно академическому преданию, сам проходит лицо. Тогда же появляется и своеобразный групповой портрет, свидетельствующий, что Левицкий ценился наравне с историческими живописцами, — объединенные на одном холсте погрудные портреты Левицкого, Егорова и Шебуева, послужившие оригиналом гравюры Ф. И. Иордана. Все обрывается сразу после Отечественной войны.
Возможно, для чиновничьей администрации обращение к Левицкому послужило лишним доказательством влияния художника на молодежь и собственно Академию, что при его неизменной подозрительности, с точки зрения политического надзора, было крайне нежелательно.
Кстати, произошедший после смерти Строганова переход Академии в ведение министра народного просвещения на первых порах, пока эту должность занимал А. К. Разумовский, означал укрепление позиций Лабзина. Чрезвычайно независимый по характеру, А. К. Разумовский за год до смерти Екатерины вышел в отставку, категорически отказавшись одобрить в качестве сенатора один из предложенных императрицей проектов. Его возвращение на государственную службу состоялось только в 1807 году в качестве попечителя Московского университета, после чего в 1810 году он занял пост министра народного просвещения. Навязываемые правительством в этой области меры были приняты им враждебно, и сразу же после Отечественной войны он снова и окончательно ушел в отставку. Но в своей недолгой деятельности А. К. Разумовский полностью доверял именно Лабзину, с которым его объединяли масонские увлечения. В связи с его уходом Академия передается под непосредственное начало «управляющего министерством просвещения» А. Н. Голицына. С апреля 1817 года ее фактическим единовластным хозяином становится назначенный президентом А. Н. Оленин.
Неплохо разбиравшийся в задачах Академии, причастный к проблемам искусства, Оленин, как ни парадоксально это звучит, во многом именно поэтому нанес Академии непоправимый урон. «Алексей Николаевич был слишком самонадеян в своих познаниях и слишком много верил в непогрешимость своих взглядов и убеждений», — отзовется о нем Ф. П. Толстой. Личные вкусы и убеждения нового президента совпадали во многом с общими взглядами на искусство правительственных кругов, и это обусловливало особенную активность Оленина в проведении отдельных официальных установок.