По проекту скульптора Дж. Кваренги для Фитингофа на купленном участке в 1790 г. построили 4-этажный дом с большим внутренним двором. Центральная часть фасада со стороны Адмиралтейства выделена ризалитом. Верхние два этажа ризалита украсила колоннада из 10 трехчетвертных колонн ионического ордера. На уровне третьего этажа над входом в здание был устроен большой балкон. Цокольный этаж со стороны улицы облицевали гранитом, а со стороны двора — путиловской плитой. Штукатурная отделка второго этажа имитирует руст. Заезд во двор устроили со стороны Гороховой улицы.
В 1792 г. И. Ф. Фитингоф умер, и хозяином дома стал граф А. И. Самойлов (племянник князя Г. А. Потемкина). А в 1804 г. здание выкупила казна для размещения губернских и уездных учреждений — присутственных мест. До этого они располагались, точнее, теснились, на Казанской улице. Необходимую внутреннюю перепланировку в доме, который стал называться Домом губернских присутственных мест, выполнил архитектор А. А. Михайлов 1-й. Затем перепланировку и переделку помещений произвели еще раз, в 1840-х гг.
После перепланировки в здании расположились:
— Губернское правление;
— Казенная палата;
— Палата уголовного суда;
— Палата гражданского суда;
— Надворный суд;
— Приказ общественного призрения;
— Губернский землемер;
— Губернская типография;
— Земский и уездный суды;
— Уездное казначейство и денежная кладовая;
— Архивы Губернского правления, Казенной палаты и судебных палат;
— Гауптвахта и арестные помещения;
— квартиры чиновников и обслуживающего персонала.
Заседателем уголовной палаты с 1821 по 1824 г. служил декабрист К. Ф. Рылеев. По соседству служил еще один декабрист — И. И. Пущин.
В 1830-х гг. к перечисленным учреждениям добавились:
— Губернское рекрутское присутствие;
— Дворянская опека;
— Губернский прокурор.
В 1876 г. здание занял петербургский градоначальник Ф. Ф. Трепов, который до этого занимал пост обер-полицмейстера. Губернские и земские учреждения перебрались отсюда в «дом Хованской» на Екатерингофском проспекте (ныне дом № 35 по проспекту Римского-Корсакова). До этого там располагалась Собственная Е. И. В. канцелярия по делам Царства Польского.
В 1877–1880 гг. в здании, занятом градоначальником и его аппаратом, архитектором К. К. Андерсеном произведен капитальный ремонт и переделка интерьеров. Двор заасфальтировали и устроили систему подземных ливневых водостоков. Вокруг дома уложили тротуары из путиловской плиты. Со стороны двора надстроили пятый этаж. Тогда же из дома военного губернатора (дом № 38 по Большой Морской улице) сюда перевели домашнюю церковь, освященную в сентябре 1877 г. во имя Святителя Николая Чудотворца. Она заняла угловые помещения на четвертом этаже здания.
Согласно «Положению о Градоначальстве», Ф. Ф. Трепов, находившийся на посту градоначальника в 1873–1878 гг., обладал правами губернатора. Много пересудов вокруг Трепова ходило в связи с тем, что он внезапно оказался обладателем значительного состояния. Поговаривали, что он являлся внебрачным сыном немецкого императора Вильгельма I.
В январе 1878 г. на прием к Ф. Ф. Трепову пришла В. И. Засулич, активно участвовавшая в движении «народников» и являвшаяся сторонницей проведения террористических акций. Войдя в кабинет градоначальника, она вынула из сумочки револьвер и, дважды выстрелив, тяжело ранила Трепова. Поводом для этого послужил приказ Трепова о наказании в июле 1877 г. розгами заключенного народовольца А. С. Боголюбова, не снявшего перед ним шапку.
Формально этот приказ нарушал закон 1863 г. о запрете тяжких телесных наказаний. Но запрет этот был неполным. Телесные наказания сохранялись в армии, для крестьян по приговорам волостных судов, для бродяг и ссыльных, а также в ремесленных училищах. Поскольку Боголюбов к моменту его порки находился в Доме предварительного заключения в ожидании суда, т. е. не был осужден, то наказание его поркой розгами действительно являлось противозаконным. Но все-таки отнять жизнь за порку— обмен явно неравноценный.
В. И. Засулич была тут же, в кабинете, арестована и в марте 1878 г. предстала перед судом присяжных. Председатель суда — А. Ф. Кони, обвинитель — прокурор К. И. Кессель, защитник — П. А. Александров. Суд полностью оправдал Засулич. Это решение вызвало бурное одобрение со стороны либералов и негодование со стороны министра юстиции графа К. И. Палена по адресу Кони. Вскоре Кони перевели в гражданский департамент судебной палаты, а Палена император отправил в отставку «за небрежное ведение дела В. Засулич».
На следующий день приговор опротестовали, но Засулич успела скрыться и вскоре смогла перебраться в Швецию.