После смерти Александра Гурьева (он умер на Фонтанке в 1865 году) особняк достался его внучке княжне Екатерине Любомирской, но та в России не жила и продолжала сдавать дом.
В советское время прекрасный особняк изуродовали, надстроив его еще двумя этажами.
Александр Агеевич Абаза происходил из известного молдавского боярского рода, перешедшего на русскую службу еще при Анне Иоанновне. Красавец и хитрец, он начал свою карьеру как храбрый лейб-гусар. Участвовал во многих сражениях с чеченцами и в 1847 году, в 26 лет вышел майором в отставку «из-за болезни от ран», причем ему было разрешено носить мундир «в уважение полученной им раны». Смелость его была награждена и орденом Владимира IV степени с мечами.
Абаза женился на дочери богатейшего откупщика Александре Бенардаки (в ее родовом доме на Невском проспекте помещается ныне Дом актера им. К. С. Станиславского) и стал служить при дворе великой княгини Елены Павловны, жены брата Николая I (дворец Елены Павловны сегодня – Русский музей).
Малый двор Елены Павловны был знаменит своим либерализмом (великая княгиня решительно поддерживала реформы Александра II) и музыкальностью. Елена Павловна покровительствовала братьям Николаю и Антону Рубинштейнам и стояла у истоков создания Петербургской и Московской консерваторий.
К этому времени Александр Абаза овдовел, но вскоре женился во второй раз. Сергей Витте писал об обстоятельствах этого брака: «Так как великая княгиня очень любила музыку и постоянно устраивала у себя концерты, у нее кроме фрейлин были еще разные молодые барышни: чтицы, которые играли на фортепиано и пели; эти последние были по преимуществу из иностранок. В числе этих молодых особ была одна, с которой Абаза завел шуры-муры. В конце концов он должен был на ней жениться». Иностранку эту, известную музыкантшу и певицу, звали Юлия Федоровна Штуббе. Превратившись в Юлию Абазу, она не прекратила своих занятий, пользовалась дружбой Гуно, Листа, Рубинштейна, Тургенева, Тютчева и всех столичных меломанов. Бывал на ее музыкальных вечерах и Федор Достоевский. Мнение Юлии Абазы об исполнителях, особенно вокалистах, ценили и при дворе.
Однако ее муж, женившись по воле великой княгини, вскоре разъехался со своей второй супругой. Его невенчаной женой стала Нелидова (урожденная Анненкова), которая делила с ним кров на Фонтанке; законная жена отправлена была жить на Сергиевскую (ныне улица Чайковского).
Абаза пользовался в свете славой игрока. За карточным столом в Английском клубе он и выигрывал, и проигрывал больше всех. Огромное состояние (от первой жены) позволяло ему удовлетворять эту прихоть. К тому же он совмещал придворную службу с членством в ряде акционерных обществ, считался оборотливым дельцом и отличным знатоком экономики. В 1871 году он стал государственным контролером (аналог нынешней должности Сергея Степашина), а в 1880-м – министром финансов. Он принадлежал к Константиновской партии, ненавидимой Федором Достоевским.
В 1881 году пришедший к власти Александр III уволил его с министерской должности, но зато А. Абаза занял важное место председателя департамента государственной экономии Государственного совета (пост, примерно соответствующий председательскому в Комитете по финансам нынешней Думы). Впрочем, эта его деятельность завершилась скандалом. Пользуясь, как сейчас бы сказали, инсайдерской информацией о состоянии валютного резерва, Абаза играл на валютной бирже на понижение курса национальной валюты, был разоблачен Сергеем Витте и в 1893 году изгнан с государственной службы; через два года он скончался в Ницце.
Князья Нарышкины – родственники императоров: Наталья Нарышкина – мать Петра I. Дмитрий Нарышкин – один из богатейших людей России – никогда не занимал высоких государственных должностей, только придворные; коллекционировал, давал балы, содержал самый большой в России оркестр роговой музыки – словом, вел жизнь просвещенного вельможи «времен очаковских и покоренья Крыма». Молодая жена его поражала красотою; словами Державина: «Черными очей огнями, грудью пышною своей она чувствует, вздыхает, нежная видна душа, и сама того не знает, чем всех больше хороша».