Однако на официальной аудиенции у императрицы британский дипломат не смог убедить Екатерину II в целесообразности союза с Англией. Императрица оказалась более дальновидным политиком при решении сложной международной проблемы. Выслушав просьбу и доводы лорда Гарриса, Екатерина Алексеевна заключила встречу сердечным сочувствием правительству Англии по поводу сложившейся в Америке ситуации и обещанием вооруженного нейтралитета в морях. Миссия британского посланника в России завершилась полной неудачей. Дипломату оставалось одно – вернуться на родину, провалив серьезнейшее государственное задание.
Перед отъездом из России лорд Гаррис должен был срочно продать недавно приобретенную недвижимость. Однако сделать это оказалось не так уж просто. Пришлось вновь просить о помощи своего доброго русского приятеля – светлейшего князя Григория Александровича Потемкина, занятого в ту пору постройкой Таврического дворца. Озабоченный строительством своего палаццо, светлейший великодушно освободил англичанина от его тягостной недвижимости. Он сам на всякий случай купил у английского посланника усадьбу на реке Мье.
Князь Григорий Александрович некоторое время, до дня окончания строительства Таврического дворца в 1789 г., жил на набережной Мойки в бывшем усадебном доме князя М.М. Щербатова. Затем продал ненужный ему участок и особняк с полным комплектом мебели и регулярным английским садом супруге обер-шталмейстера князя Льва Александровича
Нарышкина – статс-даме Марине Осиповне Нарышкиной (урожденной Закревской, племяннице последнего гетмана Малороссии Кирилла Разумовского) за баснословно низкую цену всего 2000 рублей, в то время как его аренда тогда составляла 1200 рублей в год. Столь невиданную щедрость при продаже великолепного особняка с огромным земельным участком, с флигелями и садом, в престижном столичном месте петербургский бомонд приписывал влюбленности светлейшего в дочь князя Л.А. Нарышкина – княгиню Марию Львовну. Однако любовный альянс не состоялся. Григорий Александрович Потемкин умер холостяком, а дочь Льва Александровича Нарышкина стала супругой польского короля Франца Любомирского.
Итак, сменив нескольких владельцев, к концу XVIII в. усадьба на набережной Мойки фактически перешла в руки вельможи Екатерины II Л.А. Нарышкина – царедворца, состоявшего в родстве с императорским домом по Наталье Кирилловне, родительнице Петра Великого. Лев Александрович был очень остроумным и находчивым человеком, обладал большим чувством юмора и способностью к колким шуткам и каламбурам. Это о нем императрица писала: «Никто не заставлял меня так смеяться, как Нарышкин, обладавший замечательным комическим талантом и шутовскими наклонностями».
Об этом родовитом и очень богатом вельможе, владельце почти сорока тысяч душ, потомкам остались его многочисленные нелестные аттестации. Прусский посол граф Герц в 1780 г. писал: «Шталмейстер Нарышкин ищет только удовольствий. Он имеет английский сад; он автор всевозможных видов шутовства; он всегда занят изобретением новых видов празднеств, которые и дает. Так как он болтун, то хорошо заставить его болтать в свою пользу».
До своего переезда в приобретенный у светлейшего князя ГА. Потемкина особняк на левом берегу реки Мьи из своего дома князь Лев Александрович Нарышкин приступил к его довольно основательной перестройке. Подряд на обустройство старой усадьбы взял на себя зодчий Петербурга, приятель Джакомо Кваренги – Ф.И. Кампорези. В старых столичных справочниках можно обнаружить сведения о проекте зодчего
Кампорези по перестройке дома князя Льва Александровича на набережной Мойки: «При императрице Екатерине II Л.А. Нарышкин выстроил загородный дом на набережной реки Мьи. Дом, как его именовал Г.Р. Державин, „Храмоподобный“. Здесь он жил с женой и семью детьми».
Перестройка купленного особняка проходила по проекту архитектора Ф.И. Кампорези в период с 1793 по 1795 гг.
Двухэтажный каменный дом князя Л.А. Нарышкина занимал участок размером 247 квадратных саженей, одноэтажные здания размещались на площади 333 квадратных сажени. Перед крыльцом, в саду, по воспоминаниям свидетелей того времени, находился дуб, будто бы привезенный в 1789 г. князем Г.А. Потемкиным аж из самого Крыма, где якобы под ним отдыхала сама императрица Екатерина Великая.
12 мая 1796 г. усадебный дом князя Льва Александровича посетила императрица Екатерина II, описавшая свой визит в новый особняк Нарышкина в письме барону Гримму: «Вчера я провела целый день у обер-шталмейстера Нарышкина. Я отправилась в 2 часа по полудни в карете, вместе с великими княжнами Александрой и Еленой; за мной ехали великие князья Александр и Константин со своими супругами. Ехали мы (из Таврического дворца на конец Мойки, где находится новый дом обер-шталмейстера, заменяющий ему весной Таврический дворец) почти целый час, так как это совсем на другом конце города. Мы нашли прекрасный дом, великолепный обед и прелестный сад, в котором изобилие цветов».