К осени 1846 года ощутимо меняется отношение к писателю его коллег, приятелей Белинского. Авдотья Панаева, в которую Достоевский был в это время платонически и безнадежно влюблен, вспоминала: «С появлением молодых литераторов в кружке беда была попасть на зубок, а Достоевский, как нарочно, давал к этому повод своей раздражительностью и высокомерным тоном, что он несравненно выше их по своему таланту. И пошли перемывать ему косточки, раздражать его самолюбие уколами в разговорах; особенно на это был мастер Тургенев – он нарочно втягивал в спор Достоевского и доводил его до высшей степени раздражения. Тот лез на стену и защищал с азартом иногда нелепые взгляды на вещи, которые сболтнул в горячности, а Тургенев их подхватывал и потешался».
Обидные эпиграммы, оскорбительные сплетни, смешки за спиной приводили нервного, подозрительного Достоевского в ярость. Мучило его и заметное охлаждение Белинского. К тому же между писателем и критиком все расширялась и глубокая мировоззренческая пропасть. Белинский – последовательный атеист – не останавливался в присутствии глубоко верующего Достоевского перед кощунством.
После бурных ссор с Тургеневым и Некрасовым Достоевский перестал посещать дом Лопатина. Разрыв с кругом Белинского (сам критик умер в 1848 году) определил одинокое положение Достоевского среди коллег, не прекращавшуюся бурную литературную полемику и натянутые личные отношения с теми, с кем он встречался на Фонтанке в юности. А именно этот кружок, сплотившийся чуть позже вокруг журнала «Современник», издаваемого Панаевым и Некрасовым, был до конца жизни Достоевского наиболее влиятельной литературной партией в России.
По мнению известного историка города Петра Столпянского, первоначальный трехэтажный дом был построен на этом участке Джакомо Кваренги для богатейшего петербургского купца-старообрядца Гавриила Зимина.
В 1813 году наследники Зимина продали его Дмитрию Гурьеву – директору департамента уделов и одновременно министру финансов, который, по словам злоехидного Филиппа Вигеля, «…в свете… имел все замашки величайшего аристократа, хотя отец его, едва ли не из податного сословия, был управителем у одного богатого, но не знатного и провинциального помещика. Зато сам он женился на графине Салтыковой, престарелой девке, от руки коей, несмотря на ее большое состояние, долго все бегали. Прасковья Николаевна, тогда уже дама довольно пожилая, была расточительна на ласки с теми, коих почитала себе равными или с коими хотела сравняться, и раздавительно горда со всеми, кои казались ей ниже ее. Сия чета в начале XIX века открывала у нас торжественное шествие его финансовой знатности; в сем доме имел вес титул, но только в соединении с кредитом при дворе; одно богатство, но только самое огромное…»
Как министр Гурьев был не слишком эффективен, карьерой и графским титулом обязан собственной пронырливости и покровительству Аракчеева. Гораздо известнее его кулинарные таланты: изобретателя гурьевской каши, паштета и котлет. Впрочем, обитал на Фонтанке Гурьев недолго – с 1823-го по 1825-й, уже в отставке, перед смертью (в бытность министром финансов он жил в казенной квартире на Дворцовой площади).
В этом же доме (со стороны Караванной) жила дочь Гурьева Мария Дмитриевна с мужем, дипломатом Карлом Нессельроде, который в 1816 году стал управляющим министерства иностранных дел, а затем и министром (своей блистательной карьерой Нессельроде, по мнению современников, был обязан тестю). Старый Гурьев умер в сентябре 1825-го, а в декабре того же года в его особняке арестовали незадачливого «диктатора» Сергея Трубецкого. В это время особняк графа Гурьева (ту его часть, что выходила на Фонтанку) снимал австрийский посол Лебцельтерн, женатый на графине Лаваль. С. Трубецкой вспоминал об обстоятельствах своего ареста так: «…ночлег… сестра жены моей, графиня Лебцельтерн, предложила в своем доме – жене моей и мне. Это после причтено мне было, как намерение укрыться в доме иностранного посланника. Ночью с 14-го на 15-е число, граф Лебцельтерн приходит меня будить и говорит, что император меня требует. Я, одевшись, вошел к нему в кабинет и нашел у него графа Нессельроде в полном мундире, шурина его, графа Александра Гурьева, который пришел из любопытства и с которым мы разменялись пожатием руки, и флигель-адъютанта князя Андрея Михайловича Голицына, который объявил мне, что меня требует император. Я сел с ним в сани…»
По смерти министра Дмитрия Гурьева особняк на Фонтанке отошел к вдове – Прасковье Гурьевой, а от нее к сыну, графу Александру Гурьеву. Тот, впрочем, до 1839 года служил в южных губерниях и сдавал особняк внаем, а жил на Фонтанке только в 1840-1860-е годы. Среди постояльцев особняка в пушкинское время – новобрачная пара: Лев Витгенштейн (сын фельдмаршала) и Стефания Радзивилл (любимая воспитанница императрицы Марии Федоровны) – люди богатейшие. Жили молодожены открыто, держали лучшего в городе повара, квартиру их меблировал сам Гамбс. На обеды к ним сходился весь дипломатический корпус.