Бывая в Петербурге лишь изредка, Голицын здешний дом сдавал купцу Питеру Томсену, а в 1787 году продал его Марии Адамовне Олсуфьевой (1757–1820), замужем за камергером князем Николаем Алексеевичем Голицыным. На той же набережной (№ 24) в это время жила мать княгини.
H.A. Голицын (1751–1809) служил при дворе цесаревича Павла Петровича и выполнял дипломатические поручения Екатерины II. В 1798 году, выйдя в отставку, он продал, вероятно, столичный дом, вмещавший 33 покоя и расширенный справа за счет въездных ворот, и занялся строительством своего имения «Архангельское» под Москвой.
В следующее десятилетие дом принадлежал камергеру князю Петру Федоровичу Шаховскому, а после него другому князю, тоже Голицыну, – Александру Михайловичу (1772–1821), гофмейстеру, женатому на сестре Шаховского.
Так как этот Голицын также часто жил за границей, то особняк в 1810 году приобрел генерал-майор граф Станислав Станиславович Потоцкий (1782–1831), однако, уже спустя год он выставил его на торги. Сумев погасить долги, владелец в 1812 году выстроил во дворе четырехэтажный жилой флигель, а в 1824 году переделал корпус на Галерной. Портрет Потоцкого кисти Дж. Доу висит в Галерее 1812 года Зимнего дворца, ибо генерал участвовал во многих битвах в войне с Наполеоном и за свою храбрость дважды был награжден золотой шпагой.
Война еще не закончилась, как граф, происходивший из знатной и очень богатой польской семьи, женился на Екатерине Ксаверьевне Сангушко (1781–1820), родной сестре Елизаветы (Элиз) Ксаверьевне Браницкой, супруги графа М.С. Воронцова, в которую был влюблен Пушкин. Молодой поэт бывал на вечерах, устраиваемых в доме. По воспоминаниям А.О. Смирновой-Россет: «…На вечерах были швейцары со шпагами, официантов можно было принять за светских франтов, ливрейные лакеи были только в большой прихожей, омеблированной как салон: было зеркало, стояли кресла …. Все это на английскую ногу…».
Екатерина Ксаверьевна в браке прожила недолго, но успела родить двух дочерей и двух сыновей. Дочь Александра, жена своего дальнего родственника, действительного статского советника Артура Потоцкого, в начале 1857 года семейный особняк продала за 150 тыс. руб. генерал-адъютанту князю Федору Ивановичу Паскевичу-Эриванскому (1823–1903). Отец князя был известным фельдмаршалом, отличившимся на Кавказе и при подавлении антиправительственных восстаний в Польше и Венгрии. С этого времени особняк «в итальянском вкусе» стал резиденцией Паскевича.
По заказу графини Потоцкой видный зодчий А.И. Штакеншнейдер разработал в 1843 году проект перестройки трехэтажного лицевого дома, но он остался на бумаге, отчего фасад некоторое сохранял свой классицистический вид. Все последующие изменения связаны с Паскевичем, для которого архитектор А.Х. Пель в 1856–1858 годах несколько изменил оформление главного фасада и создал со стороны двора остекленный зимний сад на чугунных колонках.
Украшением интерьеров занимался академик P.A. Гедике, талантливый представитель стиля эклектики.
Парадная лестница с верхним светом оформлена пилястрами, лепкой и зеркалами; Лебединый (или Голубой) зал украшен фризом с головками лебедей; стены парадной столовой отделаны дубовыми панелями и тисненой кожей. В кессонах потолка помещен красочный орнамент. В Арсенальной галерее (у князя имелась отличная коллекция старинного оружия) с арочным перекрытиями сохранились сюжетные скульптурные панно; в Готическом зале – архитектурное оформление в стиле развитой готики. В том же стиле – соседний рыцарский кабинет с фигурами рыцарей в боевых доспехах.
Федор Иванович Паскевич участвовал в походах отца, воевал в Крымскую войну и состоял в комиссии по подготовке освобождения крестьян. В 1866 году он вышел в отставку и с 1880 года делил свою уединенную жизнь между Петербургом и Гомелем, где находился унаследованный от отца замечательный дворец. Карьера князю не удалась, и он сосредоточился на хозяйственных делах. Жену он нашел в соседнем доме – юная Ирина Ивановна Воронцова-Дашкова (1835–1925) была дочерью владельца графа Ивана Илларионовича (при реставрации нашли соединительный проем между домами).
Супружеская пара не имела детей, и талантливая Ирина Ивановна, которая была «умна и добра», имела «тонкий художественный вкус» и значительную силу воли (С.Д. Шереметев), сосредоточилась на занятиях литературой – писала стихи, пьесы, рассказы и много переводила на французский, в частности Л.Н. Толстого. Ей принадлежит первый перевод «Войны и мира».