Александр Федорович тяжело переживал все эти события. Его не обрадовало даже «утешительное» назначение на должность вице-президента Академии художеств. Главное дело его жизни – издательство книг ему продолжать не давали. За четыре года, прошедшие с момента закрытия «Сионского вестника» до своей отставки, он издал всего лишь одну книгу. Лабзин заболел «падучей» (эпилепсией), изнуряющие припадки отравляли ему жизнь и лишали главного наслаждения – работать за письменным столом. Характер Лабзина, и прежде нелегкий, испортился еще более. Порой он не мог себя контролировать и говорил такие вещи, в которых потом раскаивался. Одна из таких неосторожных фраз стала роковой.
13 сентября 1822 года на заседании руководства Академией слушался вопрос об избрании в почетные члены Академии графа Гурьева и графа Кочубея. Лабзин резко возражал на том основании, что эти господа ничего для искусства не сделали. Услышав, что зато они близки к государю, Лабзин сардонически расхохотался и заявил, что в таком случае он предлагает избрать почетным академиком царского кучера Илью Байкова, который к государю ближе всех, ибо его спину (Лабзин выразился по народному) государь созерцает каждый день.
Инцидент казался исчерпанным, но не тут-то было. Кто то из профессоров рассказал о лабзинской шутке студентам, те разнесли хлесткую фразу по кофейням и пивным, там ее услышали полицейские информаторы – и дело дошло до высокого начальства. 10 октября столичный генерал-губернатор граф Милорадович запросил официальных объяснений у Президента Академии А.Н. Оленина. Оленин, человек благородный, хотел замять это дело, но вынужден был отправить свой отчет, где писал, что все происшествие кажется ему пустячным. В ответ он получил от Милорадовича очень строгое письмо, где ему указывалось на исключительную важность этого дела. Милорадович послал доклад Оленина со своими комментариями Александру в Верону. Уже 20 октября последовал указ Сената, в котором предписывалось: Оленину – немедленно отправить Лабзина в отставку, Голицыну – объявить Оленину строгий выговор за недонесение о «государственном деле», Милорадовичу – выслать Лабзина из столицы с запрещением въезда туда без особого разрешения. Местом ссылки по указанию министра внутренних дел Кочубея избирается городок Сенгелей Симбирской губернии.
13 ноября больной Лабзин с пожилой женой и приемной дочерью отправился в путь. Несмотря на запрет, многие студенты и преподаватели Академии вышли попрощаться с ним. Все братья из его ложи стояли тут же и хором пели масонский гимн: «Да нашу цепь скрепит вовеки! / Пусть мир падет, иссякнут реки, / Но цепь священна в небесах, / В духовном мире будет зрима, / Крепка, светла, неколебима…»
Лабзин плакал и сквозь слезы увещевал братьев пребывать в твердости. По дороге их перехватил министерский курьер и вручил пакет от князя Голицына. В пакете были 2000 рублей и записка. Князь не мог прийти лично попрощаться с опальным старым другом – государева служба, сами понимаете… Около Москвы коляска с изгнанниками опрокинулась, все седоки упали в грязь. У Лабзина начался припадок, который чуть не свел его в могилу. Жена не могла ему помочь, потому что повредила ногу и не могла ходить. Измученный Лабзин спрашивал у жены: «Снесем ли крест наш, Аннушка?» «Полно, Александр, – отвечала она ему, – Господь креста не по силам не дает». Так добрались они до Москвы, где остановились у старого друга семьи известного доктора и видного масона Матвея Яковлевича Мудрова. На следующий же день в дом явился пристав с повелением немедленно ехать дальше. Дело-то государственное…
В начале декабря Лабзины приехали в Симбирск, где местные масоны встретили их с почетом и наперебой предлагали дорогому гостю свою помощь. Немедля явился полицейский чин с предписанием отправляться в Сенгелей без промедления. Глухой зимой доехали они до места и поселились в простой крестьянской избе. Эта зима была самой тяжелой в жизни Лабзина. «Бысть некая зима, всех зим иных лютейша паче». Александр Федорович думал, что не переживет ее, но Господь не без милости, и вот – уже весна. Братья-масоны неустанно хлопотали об облегчении его участи, и в мае 1823 г. ему разрешено было переселиться в Симбирск. Голицын добился назначения ему пенсии в 2000 рублей ежегодно.
Самое худшее осталось позади, постепенно Лабзин смирился со своим положением и даже завел новых друзей, которые казались ему не хуже прежних. Он был абсолютным авторитетом для местных масонов, но не принимал на себя никаких должностей. О переводах и изданиях не приходилось теперь и мечтать. Единственным занятием, скрашивавшим его ссылку, было изучение высшей математики, которому он отдавался со всей страстью своего неукротимого характера.