В 1839 г. умирает отец Карла Ивановича – Иван Львович Альбрехт – и сын становится владельцем еще одного участка на набережной Мойки (выше по ее течению), бывшего усадебного надела адмирала Синявина, купленного его дедом Л.И. Альбрехтом и перешедшего к его брату. Л.И. Бройтман в своих архивных поисках обнаружила Оценочный табель этого наследного участка, составленный в 1830-х гг., – описание огромного надела, «тянувшегося по набережной Мойки, Английскому проспекту и Офицерской улице, представлявшего к тому времени „пустопорожнее место“ с каменными и деревянными избами, занимавшее 6654 саж. кв.». Оценка его стоимости тогда составляла всего 9 тысяч рублей, в то время как участок Карла Ивановича (дом № 106), меньший по размерам, но с каменным домом, оценен в 28 тысяч рублей. Вступив во владение этим дополнительным участком адмирала Синявина на Мойке, генерал Карл Иванович Альбрехт разделил огромное по площади наследство своего отца на отдельные участки и удачно продал их по частям. На каждом из них позже построили великолепные здания, в том числе и дворец великого князя Александра Александровича (набережная реки Мойки, 122).
Летний период семья Альбрехта проводила до глубокой осени в своем имении, а пейзажный парк столичного особняка на Мойке рачительный Карл Иванович на лето сдавал Немецкому клубу. Петербургский историк и краевед Елена Игоревна Жерихова в своей книге о старинных усадьбах Санкт-Петербурга приводит любопытные воспоминания мемуаристки Е.Я. Головачевой (А. Панаевой) о ее летних детских прогулках в конце 1820-х гг. в усадебном парке К.И. Альбрехта: «С младшими дочерьми старика В.А. Самойлова я видалась в клубном Немецкому саду, который в летний сезон помещался на Мойке, близ Поцелуева моста, в доме разорившегося Альбрехта, выстроившего для себя дом с разными барскими затеями: с манежем, оранжереями и большим садом. Экономные распорядители Немецкого клуба за плату на все лето пускали детей гулять только до 7 часов вечера, потому что потом собирались члены клуба, играли в кегли и в карты». Довольно беззаботная жизнь К.И. Альбрехта в конечном итоге действительно привела его к разорению.
В 1848 г. К.И. Альбрехт, владевший более двадцати лет участком и домом № 106 продает свое владение статскому советнику обер-секретарю Сената Александру Карловичу Геллеру, прожившему в доме всего один год. После его скоропостижной смерти наследница – дочь Анна Александровна – продает особняк на Мойке № 106 25 мая 1856 г. в собственное владение княгине Марии Васильевне Воронцовой, урожденной княжне Трубецкой. В официальной купчей уточнялась ширина приобретенного участка вдоль набережной реки Мойки – 39 саженей и 2,5 аршина.
Княгиня Мария Васильевна Воронцова была одной из шести дочерей князя Василия Сергеевича Трубецкого и княжны Софьи Андреевны, урожденной Вейс, дочери военного полицмейстера. Юная Софья Вейс пользовалась большим вниманием молодежи в 1812 г., во время пребывания в Вильянди ставки императора Александра I. Однако из всех кавалеров она выбрала красавца князя В.С. Трубецкого, получившего французское воспитание и образование. Софья Трубецкая тоже была не только красива, но и прекрасно воспитана и образованна. Все дочери этого княжеского семейства, по воспоминаниям очевидцев, унаследовали от своей матери не только красоту, чрезвычайную грациозность и изящество, но определенную свободу и непринужденность в обращении с членами высшего светского общества.
Княжна Мария Трубецкая считалась одной из первых красавиц столичного бомонда. Вместе с тем она была известна петербургскому обществу своей невоздержанностью на язык, некоторой резкостью в обращении даже с весьма высокопоставленными особами, поступками, шокировавшими общество, а ведь в нем оказывались не только ее почитатели и доброжелатели, но и явные злопыхатели. Одна из самых красивых и богатых невест той поры, княжна Мария Васильевна отказывала многим достойным претендентам на ее руку и состояние.
Писательница М.Ф. Каменская в своих мемуарах вспоминала: «В облике княжны Марии было столько же благородства, сколько и поразительной грации. Ее умчал вихрь большого света. Она была подругой любимой дочери императора – Марии Николаевны и имела придворное звание фрейлины». В светском обществе ходили слухи, что княжна Мария Трубецкая будто бы являлась возлюбленной великого князя Александра Николаевича, будущего российской императора Александра II. Вероятно, семейство Николая I, обеспокоенное подобными дворцовыми пересудами, в определенной степени ускорило замужество фрейлины Марии Трубецкой и приняло самое непосредственное участие в организации торжественной церемонии ее бракосочетания.