Однако позднее в среде строителей и подрядчиков, которые непосредственно занимались строительными работами, началось злоупотребление и расхищение средств. В последующие семь лет строительство протекало вяло, а под конец и совсем остановилось. Выяснилось, что миллион рублей из денег, выделенных на строительство, расхищен. После смерти Александра I императором стал Николай I. По официальной версии, из-за ненадёжности почвы строительство храма в 1828 году было остановлено. Руководители строительства, в том числе и Витберг, были обвинены в растратах и хищениях и отданы под суд. Судебное разбирательство затянулось, в 1835 году суд постановил Витберг и его люди признавались виновными в убытках казне на сумму 580 тысяч рублей. Все имущество виновных было конфисковано и продано с публичных торгов. За злоупотребление доверием императора Витберг был сослан в Вятку. Некоторые современники считали наказание несправедливым: казначей комиссии сооружения храма Христа Спасителя Василий Владимирович Берг указывал, что Витберг «оказался виноватым, будучи человеком редкой, высокой честности, который, конечно, не посягнул бы ни на одну казённую (да и никакую) копейку».
В ноябре 1835 года только что прибывший Витберг совершил дружескую прогулку по городу с вятским губернатором Кириллом Яковлевичем Тюфяевым (1777–1845). Известный портретист Дмитрий Яковлевич Чарушин так описал ее в дневнике: «Слышу лавочников разговор: «От реки по Спасской улице губернатор с архитектором Витбергом идёт». Я немедленно выскочил из лавки на галерею и вижу такого великого знаменитого человека, идущего посреди дороги. Приближаясь, поравнялись с лавками и шли, продолжая путь. Лавочники и народ раскланивались губернатору и великому архитектору. Кланялись и губернатор, и Витберг. Губернатор в чёрном пальто с тростью, а г. Витберг в пальто серого цвета, и фуражка серая же, и трость в левой руке. С выражением роста, осанкою и движением манеров, величием натуральным, природным, скромностью освещённым мне показался Александр Лаврентьевич…» В Вятке Витбергу было запрещено работать на государственной службе. Всё его имущество конфисковали по решению суда, и вплоть до второй половины марта 1836 года, когда из Петербурга приехала его семья, Витберг жил в доме З.Х. Леушиной на Московской улице в компании с другим ссыльным, Александром Герценым. Тот вспоминал: «Середь уродливых и сальных, мелких и отвратительных лиц и сцен, дел и заголовков, в этой канцелярской раме и приказной обстановке вспоминаются мне печальные, благородные черты художника, задавленного правительством с холодной и бесчувственной жестокостью».
В Вятке Витберг создал проект Александро-Невского собора и проект портала и ограды парадной стороны Александровского сада. Только в 1840 году, по ходатайству Жуковского, Витбергу позволили вернуться в Петербург. В 1844 году он выхлопотал пенсию 400 рублей, положенную ему как академику. В 1838 годупрошла церемония переноса предметов закладки храма Христа Спасителя с Воробьевых гор в Успенский собор Московского Кремля, а 10 сентября 1839 года состоялась торжественная закладка храма Христа Спасителя по проекта Тона на месте Алексеевского монастыря.
Александр Витберг умер 12 января 1855 года и был похоронен на Волковом кладбище. В 2014 году в Грозном по эскизу Витберга для храма Христа Спасителя, датируемому 1817 годом, был построен «Дом приемов».
Сергей Григорьевич Волконский
(1788–1865)
Князь, генерал-майор, декабрист, член Союза благоденствия и Южного общества, масон.
Сергей Григорьевич Волконский родился в Москве в семье оренбургского генерал-губернатора генерала от кавалерии князя Григория Семеновича Волконского (1742–1824). Был записан на службу сержантом в Херсонский гренадерский полк 1 июня 1796 года и после нескольких «перечислений» в разные полки определен ротмистром в Екатеринославский кирасирский полк в декабре 1797 года. Отроческие годы провел в привилегированном иезуитском пансионе аббата Николя. Действительную службу начал 28 декабря 1805 года поручиком в Кавалергардском полку. Участвовал в сражении под Пултуском 14 (26) декабря 1806 года. В битве при Прейсиш-Эйлау 26–27 января (7–8 февраля) 1807 года был адъютантом главнокомандующего генерала от кавалерии Леонтия Леонтьевича Беннигсена и был ранен пулей в правый бок. Также участвовал в сражениях при Гутштадте и Фридланде. Был награжден орденом Святого Владимира 4-й степени, золотым крестом за Прейсиш-Эйлау и золотой шпагой с надписью «За храбрость». В 1810–1811 годах Волконский воевал с турками и за отличия был произведен в ротмистры и пожалован флигель-адъютантом.