Еще в 1784 году Александр Львович женился на одной из любимых фрейлин Екатерины II Марии Алексеевне Сенявиной
(1762–1822), дочери адмирала А. Н. Сенявина. В 1799 году Мария Алексеевна была пожалована в кавалерственные дамы ордена Св. Екатерины, а 1 января 1808 года – в статс-дамы. Чета Нарышкиных вела роскошный открытый образ жизни, на их балах и приемах бывало все высшее общество. Многие литературоведы и историки Петербурга полагают, что Л. Н. Толстой на страницах романа «Война и мир», посвященных первому балу Наташи Ростовой, описал дом Нарышкиных на Английской набережной: «31-го декабря, накануне нового 1810 года, reveillon [сочельник], был бал у екатерининского вельможи. На бале должен был быть дипломатический корпус и государь. На Английской набережной светился бесчисленными огнями иллюминации известный дом вельможи. У освещенного подъезда с красным сукном стояла полиция, и не одни жандармы, но и полицмейстер на подъезде и десятки офицеров полиции. Экипажи отъезжали, и все подъезжали новые с красными лакеями и лакеями в перьях на шляпах. Из карет выходили мужчины в мундирах, звездах и лентах; дамы в атласе и горностаях осторожно сходили по шумно откладываемым подножкам и беззвучно проходили по сукну подъезда».У Александра Львовича и Марии Алексеевны было два сына – Лев и Кирилл и две дочери – Мария и Елена. Разумеется, среди постоянных посетителей дома были младший брат Александра Львовича Дмитрий Львович Нарышкин и его супруга Мария Антоновна. Она стала возлюбленной Александра I и матерью внебрачных детей императора.
В феврале 1812 года Нарышкины продали дом на Английской набережной за 125 тысяч рублей графу Александру Ивановичу Остерману-Толстому. На этом закончился нарышкинский период истории дома.
Граф Александр Иванович Остерман-Толстой
(1770–1857) родился в Петербурге в семье генерал-поручика Ивана Матвеевича Толстого и Аграфены Ильиничны Бибиковой. Его бабушка по отцовской линии была дочерью графа А. И. Остермана, дипломата, сподвижника Петра Великого и императрицы Анны Иоанновны. По указу Екатерины II от 2 ноября 1796 года Александр Толстой унаследовал титул, фамилию и герб рода Остерманов от его бездетных двоюродных дедов – Федора и Ивана Андреевичей Остерманов, а в дальнейшем и все их огромное состояние. Александр Иванович получил домашнее образование. На четвертом году жизни был записан унтер-офицером в лейб-гвардии Преображенский полк, в 1788-м начал действительную службу в чине прапорщика. Участник Русско-турецкой войны 1787–1791 годов, за храбрость при штурме Измаила награжден орденом Св. Георгия IV степени. С 1793 года служил в Бугском егерском корпусе, сформированном М. И. Кутузовым (Кутузов был мужем тетки А. И. Остермана-Толстого Екатерины Ильиничны Бибиковой).К концу царствования Екатерины Великой 26-летний граф Остерман-Толстой уже полковник. Павел I произвел его в феврале 1798 года в генерал-майоры и назначил шефом Шлиссельбургского мушкетерского полка. Но уже через два месяца молодой генерал попал в немилость к новому императору и был изгнан с военной службы (переименован в действительные статские советники «для определения к статским делам»). Сразу после воцарения Александра I Остерман-Толстой вернулся на военную службу. Участник войн с наполеоновской Францией 1805 и 1806–1807 годов: отличился в сражениях под Пултуском (декабрь 1806 г., золотая шпага «За храбрость» с алмазами), Прейсиш-Эйлау (январь 1807 г.), Гутштадтом (май 1807 г., тяжело ранен в ногу). Произведен в генерал-лейтенанты и награжден орденом Св. Георгия III степени (1806 г.).
После возвращения в Россию и выздоровления назначен командиром лейб-гвардии Преображенского полка и 1-й гвардейской пехотной дивизии. Остерман-Толстой крайне отрицательно отнесся к Тильзитскому миру с Францией, возглавил так называемую военную оппозицию и в октябре 1810 года вышел в отставку. С 1800 года – член Петербургского Английского собрания, в 1802-м – один из основателей масонской ложи Соединенных друзей, член ложи Сфинкса в 1811–1822 годах. Заметим, что в эти ложи входили многие будущие декабристы.