Но Лабзин в своих претензиях к членам масонской ложи сознательно и бессознательно не касался своего отношения к их деятельности и творчеству. Его иронический характер не мог не ощущаться людьми подобного склада. Организуя служебную карьеру, усиленно вскрывая чужую переписку и делая из прочитанного необходимые правительству выводы, Лабзин обвиняет Н. И. Новикова в том, что он слишком много души и времени отдавал своей издательской работе, открытию читален, библиотек, помощи голодающим, иначе — „наружным суетам“ и „огромным планам“. Одинаково неприязненной критике подвергаются все замыслы замечательного просветителя, будь то сад, который „надобно развести не менее как на 8 десятинах“, или „затеи и суконных фабрик и сахарных заводов“, которые, с точки зрения Лабзина, „все делаются своим манером, т. е. затейливо, мешкотно, в долг…“ Не менее резкому осуждению подвергается и Левицкий, осмелившийся по-своему оценивать лабзинские усилия и их направленность: „Старик Левицкий, которого я принял по требованию Н. И. [Новикова] и который в него веровал, также через 7, 8 или 9 лет не имея ни словечка, стал сумневаться и во мне, и в Н. И.“. Эти написанные в конце 1809 года строки игнорируют изменения, которые произошли в деятельности Н. И. Новикова, вынужденного ограничиваться рамками своего Авдотьина и, по существу, порвать все отношения с окружающим миром. Предоставленная ему Александром I свобода означала освобождение и ото всякой общественной деятельности, с чем не мог примириться Левицкий, тянувшийся к Новикову ранних лет.
Боровиковский оказывается в ложе Лабзина „Умирающий Сфинкс“ в 1802 году. Скорее всего, ему должна была помочь в этом поддержка состоявшего в ней же Левицкого, причем на первых порах он приобретает симпатии руководителя ложи, поскольку очень скоро художник получает степень „товарища“, а 22 апреля 1804 года — достаточно высокую степень „мастера“ — „яко выслуживший свое время“ и удовлетворивший своим старанием других мастеров. Годом позже Боровиковский пишет миниатюрный портрет Лабзина со всеми масонскими регалиями — циркулем, молотком и Евангелием, но и с только что полученным орденом Анны 2-й степени, который, как оказывается, нисколько не мешал высоким духовным стремлениям этого одинаково сложного и полного энергии человека.
Портрет Лабзина приходится на то время, когда Боровиковский начинает отходить от пейзажных фонов, обращаясь замкнутому пространству интерьеров. Сухощавая фигура Лабзина рисуется на нейтральном сером фоне стены, между стоящей в глубине фигуркой Сфинкса и выдвинутой на передний план спинкой гладко обитого кресла. Его правая рука уверенным жестом опирается на книгу, левая с поднятым циркулем участвует в поучении, которое Лабзин, кажется, произносит, обратившись к невидимым слушателям. Его лицо с недовольным взглядом отведенных в сторону глаз представляет сплав раздражения и туповатого упрямства, подчеркнутого крупной отвисшей нижней губой, моложавости и в чем-то инфантилизма, высокомерия и презрительной самоуверенности. Боровиковский как будто внутренне отстраняется от своей модели, ограничиваясь интересным живописным решением, выдержанным в серых с лиловым оттенком тонах, и свободной мягкой манерой исполнения.
Тем не менее лабзинский портрет приобретает большую популярность среди мартинистов, благодаря чему художнику приходится неоднократно возвращаться к его повторениям в больших размерах. Здесь сыграло свою роль и то обстоятельство, что сам Лабзин отдавал предпочтение именно ему. В январе 1806 года он пишет одному из друзей: „Ты требуешь, любезный друг, уже в другой раз моего портрета, буде тебе непременно сего хочется, то он есть у Ф. П. [Ключарева], который отнял его у Ал. Гр. [Черевина] и он кажется мне был всех лучше; да еще больше и с циркулем и с молотком был написан. Есть ли тебе он понравится, то можешь попросить у Ф. П. списать копию. Не то, когда пожалуешь сюда, то его сработаем: только мне хочется, чтобы ты посмотрел портрет мой у Ф. П.“.
Последующие три года вопрос с копией оставался нерешенным, пока в дело не вмешался упомянутый А. Г. Черевин, ставший за это время зятем лабзинского адресата — Д. П. Рунича. „О портрете я настоял и оной обещан, — пишет Черевин в Москву, — сначала было склоняли меня послать вам маленькой портрет, которой у меня, потом хотели советовать вам выпросить такой же у Фед. Петр., но я утверждал и настоял что вам хочется большого в натуру и так, наконец, обещано…“ Скорее всего, оригиналом для повторений послужила находящаяся в настоящее время в Третьяковской галерее миниатюра, помимо которой известно еще три выполненных Боровиковским повторения (в Третьяковской галерее и Русском музее). Двумя годами раньше художник пишет и большой портрет жены Лабзина Анны Евдокимовны с воспитанницей. Это был период наибольшей близости Боровиковского с Лабзиными.