«Я не знаю, на что господин президент, — писал по этому поводу Лабзин, — отнимает и у себя, и у Академии право посылать или не посылать в чужие края воспитанников? На что подвергать себя стеснению или зависимости от другой власти в том, на что вы имели полное право и разве лишили себя оного тем, что стали представлять о сем государю? На что нам связывать себе руки в отношении приема вольных пенсионеров, платящих за себя?» Вопросов возникало множество. Но то, что справедливо представлялось Совету ограничением прав Академии, на деле полностью отвечало желаниям нового президента. Ограничивая все действия Академии властью министра и самого императора, Оленин за этим прикрытием фактически приобретал полную независимость от Совета и возможность неограниченно предписывать ему. Всякое возражение академических преподавателей как нельзя легче и проще снималось предписанием свыше. Конфликт Оленина с Лабзиным приводит не только к его увольнению, но и к последующей ссылке.
Впрочем, ни новый президент, ни лишенный должности Лабзин уже не могли иметь никакого значения для Левицкого. Достаточно давно отстраненный от академической жизни, он уже относится к ушедшему поколению, и Оленину представляется вполне естественным вообще не замечать факта его существования. Левицкий должен быть доволен, что ретивый начальник не обращается к пересмотру его жалованья, как то Оленин делает в отношении других заслуженных лиц в Академии. На открывающихся академических выставках нет его работ, в письменных годовых отчетах — сведений о нем. Творческое небытие или неприятие — что стояло за этой непреклонной позицией академической администрации, чиновников, печати?
Ссылка Лабзина, формально вызванная непочтительным отзывом об очередном кандидате в почетные вольные общники — если выбирать по принципу близости к его императорскому величеству, то надо начинать с царского кучера, — в действительности означала запрет на всякое проявление «мартинистских» увлечений. Какими бы ни представлялись к этому времени отношения Левицкого с Лабзиным, всякое обращение официальных кругов к живописцу было отныне предрешено. Тень «подозрительности» становилась клеймом отвержения.
Молчали академические отчеты, молчали «независимые» критики, но мастер жил и продолжал работать — это безоговорочно признавали его первые биографы. В споре с ними последующих историков основным камнем преткновения становился подписной и датированный 1818 годом портрет Николая Адриановича Грибовского. Версия некого «П. Левицкого» выдвигалась в отношении портрета из Познани. Она появилась еще раньше в отношении портрета Н. А. Грибовского. В последнем варианте эта версия основывалась на письме полтавского губернского прокурора Грибовского к местному же генерал-губернатору Репнину о приезде в Полтаву портретиста Левицкого, берущего за портрет по сто рублей ассигнациями. Именно этому безвестному и со «сходным» гонораром художнику и приписывался принятый Дягилевым, Грабарем, Скворцовым портрет, который тем самым становился портретом или самого губернского прокурора, или кого-то из членов его семьи.
Художник Левицкий — не Дмитрий! — в эти годы действительно существовал и подвизался на Украине. Подписанные полным его именем — Петр Левицкий — портреты дошли до наших дней: датированный 1820 годом портрет генерал-губернатора Малороссии Н. Г. Репнина, находившийся до последнего времени в городе Лебедине, и датированный 1826 годом портрет Г. П. Митусова в собрании Русского музея. По профессиональному уровню они несопоставимы с портретом Грибовского — здесь повторяется история с упорно приписывавшимся Ивану Никитину «Древом государства Российского», беспомощной ремесленной поделкой его московского тезки и однофамильца. Не менее существенно и свидетельство современных источников.
Знакомство Левицкого с семьей Грибовских, точнее, с его главой Адрианом Моисеевичем, относится еще к восьмидесятым годам XVIII века. Выходец из Малороссии, студент Московского университета, тот обратил на себя внимание Державина своими переводами, легкими, непринужденными, отмеченными тонким чувством языка, — в 1784 году в Петербурге выходит в его переводе идиллическая повесть Д’Арно «Опасности городской жизни». Назначенный в Петрозаводск, Державин забирает вчерашнего студента с собой, но здесь слишком быстро раскрывается другая сторона натуры Грибовского. Азартный игрок, он проигрывает казенные деньги, чтобы выйти из положения, находит себе нового покровителя в лице Потемкина, необъяснимым вольтом переходит затем из походной канцелярии «светлейшего» к его злейшему врагу фавориту Зубову и с помощью последнего занимает место статс-секретаря Екатерины вместо окончательно отошедшего от двора Державина.