К.Я. Прянишников умер в 1857 г., и какое-то время дом принадлежал Граве. В 1867–1872 гг. домом владела Софья Владимировна Лазарева, жена лейтенанта. В 1867 г. архитектор Городского кредитного общества Э.Г. Юргенс, оценивая имущество С.В. Лазаревой, отметил, что «дом и флигель старые, имущество содержится в неопрятном состоянии, при доме по Графскому переулку имеется пустопорожнее место, занятое под лесной двор. Каменный угловой дом в три и со двора в четыре этажа гладко оштукатурен, закруглен, на лицевом фасаде один крытый балкон и вход с зонтом на чугунных колоннах, одна парадная лестница со ступеньками и каменными столбами и две черные лестницы вдоль стен. На участке площадью 518 кв. сажень стоял также одноэтажный каменный флигель и все необходимые дворовые постройки»[1252].
По данным «Всеобщей адресной книги Санкт-Петербурга на 1867–1868 гг.», в нем проживал архитектор Август Иванович Жоффрио (1835–1895), служивший в технико-строительном комитете Министерства внутренних дел. А.И. Жоффрио автор восьми доходных домов и двух особняков, возведенных в нашем городе, ему же принадлежит ряд построек в Житомире[1253].
Авторы книги «Владимирский проспект» А.Ф. Векслер и Т.Я. Крашенинникова отмечают, что «…квартиры, за исключением малого числа были большими. В 1860-х гг. здесь жили: французский подданный гувернер Шарль Адам, коллежский регистратор Александр Иванович и Мария Ивановна Бедо, врач доктор медицины Адам Юльевич Гиршгорн, Антон Иванович Рымков, Степан Иванович Шебершов, Иван Дмитриевич Дмитриев содержал цветочный магазин, Сергей Семенович Чебанов — кухмистерскую. В 1869 г. кухмистерского цеха мастерица Антонина Чебанова занимала квартиру, где семь комнат выходили на лицо и одна — во двор с передней и кухней, снимала также дровяной сарай, ледник и чердак с общей для всех прачечной. Квартиру № 5 занимал петербургский купец 2-й гильдии Георг Иванович (Георг Генрихович) Эллерс, содержащий в доме часовой магазин, квартиру № 6 — митавский гражданин Ефрем Соломонович Гольдингер, содержавший магазин готового платья, Александр Дехтерев и жена петербургского мещанина Пелагея Дехтерева. Государственный крестьянин Евграф Данилов содержал „особое под трактир заведение“ в каменном одноэтажном, с подвальным этажом флигеле по Графскому переулку. Купец Михайлов взял в аренду на пять лет пустопорожнее место под постоялый двор».
В 1872 г., через пять лет после первого осмотра дома архитектором Э.Г. Юргенсом, другой архитектор Городского кредитного общества И.И. Климов при обследовании домовладения отметил, что «каменный флигель по Графскому переулку старой постройки и, как занятый под черный трактир и гостиницу для извозчиков, содержатся неудовлетворительно. Вместо бывших и ныне сломанных деревянных сараев и конюшни возведены новые каменные службы». В таком виде имущество тогда же продали купцу 2-й гильдии Александру Осиповичу Авдееву, церковному старосте церкви Святого Духа при Николаевском кавалерийском училище, содержавшему торговлю красками и канцелярскими принадлежностями, совладелицей магазина на Садовой ул., 20, была его жена купчиха Александра Александровна Авдеева. Как отмечают авторы цитируемой книги: «Более рачительный хозяин для увеличения доходности своего имущества выстроил четырехэтажный флигель в связи с лицевым домом. Каменный одноэтажный флигель по Графскому переулку сломан, и на его месте чуть позже возведен четырехэтажный лицевой дом в связи с таким же флигелем по задней границе двора. Угловой трехэтажный дом, в котором когда-то жил Достоевский, внешне не изменился, хотя и подвергся перепланировке. Квартиры здесь стали более благоустроенными, есть водопровод, несколько ванн, лестницы освещаются газом и находятся под присмотром швейцара. Трактир и двор для извозчиков содержал мещанин Герасимов, кафе-ресторан — мещанин Абрамов, мелочную лавку — купец И.М. Ключкин. В 1876 г. домовладелец занимал квартиру из двенадцати комнат с камином и гостиной, каретный сарай, сеновал, ледник. Роберт Голике, живший в доме № 16 на Большой Садовой улице, содержал в одном из флигелей типографию, дровяной двор был в руках Федорова, в большом магазине по Владимирскому проспекту торговал мещанин Мартынов. В 1886 г. в торговых помещениях на Владимирском открылся мебельный магазин петербургского купца И.М. Клочкина и Василия Михайловича Комарова, обувной магазин Анисима Степановича Целибеева.