После его смерти новопостроенный (в начале 1730-х) дом в 1746 (?) году оказался во владении известного графа Кирилла Григорьевича Разумовского, фаворита императрицы Елизаветы Петровны, у которого и без того в городе было много недвижимости – главный дворец графа стоял на Мойке, близ Невского. Разумовский сдавал, записанный на жену Екатерину Ивановну, «починкою вновь исправленный», дом на набережной «поперешником 11 сажень 1/3 аршина», где «вверху …6 покоев, зала седьмая, кухня, ледник, конюшня на 8 стойл, а внизу 6 же покоев».
В 1763 году газета напечатала предупреждение о торговле в доме контрафактом: «Хотя многими указами как делание, так и держание в рядах фальшивой набойки запрещено, однако, оказывается, … оную фальшивую набойку делают и продают … с надписью Козенсовой красильной фабрики».
В 1780 граф продал дом прусскому «купцу во дворянстве» Бальтазару фон Эссену. Тот его перестроил в стиле классицизма и благоукрасил, судя по газетному объявлению: «У Галерного двора, неподалеку от Крюкова канала, между домами его сиятельства графа Салтыкова и английского генерального консула господина Шарпа, продается новый каменный дом, по новейшему вкусу выстроенный, с французскими мебелями, и собрание картин славнейших нидерландских и итальянских мастеров» (СПб. ведомости. 1785. № 76).
В начале 1786 года нарядный особняк купил коллежский советник Петр Андреевич Щербинин, губернский прокурор и крупный харьковский помещик, по семейному разделу передавший его брату Димитрию, которому в 1796 году с домом пришлось расстаться. Так как следующий хозяин князь Михаил Петрович Голицын (1764–1848) предпочитал жить в своем подмосковном имении Пехра-Яковлево, то через полтора года он за 45 тыс. руб. продал дом княгине Варваре Александровне Шаховской (урожд. баронессе Строгоновой, 1745–1823), супруге генерал-лейтенанта и богатейшей владелице уральских заводов.
Княгиня, очевидно, перестроила особняк в стиле классицизма и устроила в 1804 году в корпусе на Галерной домовую с куполом церковь (в 1852 году помещение переделано), хотя пользовалась ею мало, поскольку большую часть времени проводила в Париже. В доме жили квартиранты, что видно из следующего газетного объявления: «Один приехавший из Франции молодой человек желает определиться здесь в дом или в деревню учителем французского и немецкого языков, а также арифметики, танцования и рисования…».
Иконы и утварь из церкви княгиня увезла с собой (позднее ее внучка графиня В.П. Шувалова-Полье разместила храм в особняке № 10 на набережной), когда в 1818 году была оформлена купчая на имя француженки Терезы Егоровны Парис, замужем за врачом. Не прошло и полутора лет, как Парис подарила дом своей дочери Варваре Осиповне Балабиной, переселившейся с мужем и детьми из Риги. Курьезная деталь – в 1825 году в доме продавались «в горшках ананасы».
Муж Балабиной – Петр Иванович (1776–1856) – отважный генерал, участвовал в Русско-шведской войне и в кампании против Наполеона. За храбрость в битве при Фридланде награжден солдатским Георгием и золотым оружием. В Петербурге служил в Корпусе жандармов. В доме генерала Н.В. Гоголь в 1831 году обучал его дочь Марию, читал «Записки сумасшедшего», стал другом семьи, где его очень любили, и переписывался с Варварой Осиповной – она увлекалась рисованием и музыкой.
Осенью 1843 года квартиру в доме нанял американский инженер-путеец Джордж Уистлер, приглашенный за большой гонорар на постройку железной дороги Москва – Петербург. Он приехал с семьей, включая юного Джеймса (1834–1903), будущего известного художника, который через два года поступил «вольноприходящим» в
Императорскую Академию художеств. Закончить он ее не успел, так как весной 1849 года отец умер и мать решила вернуться на родину. Позднее Уистлер в Россию не приезжал.
Замужняя дочь Балабиных – княгиня Елизавета Петровна Репнина-Волконская, владела домом по соседству. Она и младший брат Петр приняли католичество, а Петр даже вступил в орден иезуитов. Семейный двухэтажный особняк их овдовевшая мать продала в 1868 году молодому купцу и австрийскому генконсулу Георгию Федоровичу Винекену (1834–1879), который, разбогатев, сделался банкиром и удостоился титула барона.
От вдовы барона здание перешло в 1884 году к Сергею Павловичу фон Дервизу, и через год началась полная перестройка и надстройка его и соседнего здания Дервиза в единое целое по проекту не очень одаренного П.П. Шрейбера. Вот почему протяженный общий фасад трехэтажного здания получился маловыразительным.
Когда шла перестройка, барон жил в Москве, где занимался в Консерватории. Он был натурой артистической, хорошим пианистом и увлекался театром. В Рязанской губернии владел двумя большими имениями, в Лугано (Швейцария) – изящной виллой «Тревано». Много денег Сергей Павлович жертвовал на благотворительность и образование.