Соседствующая с каланчой бывшая гауптвахта (илл. 69) также выстроена по проекту Фурсова. Ее проект был составлен в октябре 1823 г. и после утверждения (с некоторыми поправками) государственным департаментом хозяйственных и публичных зданий был осуществлен в 1824-25 гг.
Художественные приемы русского классицизма после войны 1812 г. сказались и в этой постройке. Для нее характерны контраст колоннады и гладкой поверхности стен, известная монументальность, которая свойственна даже сравнительно небольшим сооружениям того времени.
Талантливый ученик Стасова — Фурсов, так же как и знаменитый учитель, в своих произведениях стремился к светотеневым эффектам. В гауптвахте пластичность и игра света и тени достигнуты сочетанием колоннады и размешенной за ней полуциркульной экседрой. Не менее умело был применен ими лепной декор.
Небольшое сооружение со своеобразным монументализмом дорического ордера, с простым аттиком, с тяжеловатыми наличниками окон, с парой коринфских пилястр и полукруглой нишей, обработанной рустом, выглядит торжественно и величаво. Решетка ограды сделана вновь в 1955 г. (при реставрации памятника) по чертежу 1820 г., обнаруженному в архиве (илл. 70).
Архитектурный облик, который Фурсов сумел придать чисто утилитарным постройкам, характеризует его как крупного мастера русского классицизма первой трети прошлого столетия.
Квартал между улицей Ленина и проспектом Мира занимает большой объем трехэтажного дома, до революции занимаемого гостиницей „Россия“; в ней останавливались драматург А. Н. Островский, поэт Н. А. Некрасов. В первые годы революции здесь помещались губком и горком Российской Коммунистической партии большевиков; тогда он получил название — Дом Коммунистов.
Это здание, выстроенное в 1850-60-х гг., сохранило в своем наружном облике все основные признаки стиля классицизма. Более тяжелый, первый этаж с рустованными стенами и замковыми камнями в перемычках окон служит как бы постаментом двум этажам, гладкие стены которых прорезаны окнами, поставленными на равном расстоянии друг от друга, без какого-либо акцента по центру фасада. Окна второго этажа, удлиненных пропорций, типичны для своего времени. Окна третьего этажа имеют такие же пропорции, но меньше размерами. Антаблемент имеет лишь основные членения, без мелких профилей. Углы дома, где помещены входы, срезаны.
Квартал между проспектом Мира и улицей Шагова занят одним из интереснейших зданий Костромы — бывшим особняком генерала Борщова. Он построен в 1830-х гг., и, по-видимому, автором проекта был Фурсов. Сооружению придан дворцовый облик; крупный масштаб и представительность обусловили его восприятие как общественного здания. Он органично вошел в архитектурный ансамбль центра (илл. 71).
Повышенная за счет антресольного этажа центральная часть главного фасада особняка выделена восьмиколонным портиком коринфского ордера. Колоннада поставлена на постамент и выглядит монументально и торжественно. Стены первого этажа двухэтажных симметричных крыльев обработаны рустом, а над окнами сделаны удлиненные замковые камни. Второй этаж отделен от первого нешироким карнизом, лишь сандрики над окнами оживляют его белые гладкие стены, и он кажется более легким. Фасад дома по проспекту Мира, как второстепенный, имеет четырехколонный портик и решен в более мелком масштабе. В интерьере особняка заслуживает внимания чугунная лестница, ведущая во второй этаж из главного вестибюля. Парадные двусветные залы, занимающие часть дома, составляют анфиладу.
Градостроительное чутье Фурсова проявилось и в работах по благоустройству города. После срытия кремлевских валов на их месте под руководством зодчего были разбиты городской сад и сквер. Особенно интересно расположен сад в районе бывших Всехсвятской и Дебринской улиц — район, который костромичи называли Муравьевкой. Здесь Фурсов, используя рельеф местности, устроил на разных уровнях две видовые террасы и соединил их сходами; он ориентировал их таким образом, что оттуда открывался великолепный вид на центр города и Волгу.
По-видимому, Фурсов имел твердый характер, был принципиальным в творческих вопросах, нередко ссорился с заказчиками и чиновниками. По этим, а возможно, и другим каким-то причинам он в расцвете творческих сил был отстранен от должности губернского архитектора. Оставленный „за штатом“, Фурсов работал вне Костромы. Однако, когда в 1834 г. губернская строительная комиссия, рассмотрев проект перестройки дома губернатора для размещения в нем гимназии, нашла его неприемлемым, она рекомендовала поручить составление проекта и сметы „находящемуся здесь отставному, но патентованному архитектору Фурсову… “. С его именем связана и перестройка здания Дворянского собрания (ныне Дворец пионеров).