Старший сын Нарышкиных Александр Иванович погиб на дуэли в 1809 г. По свидетельству М.И. Пыляева, он «был видный и красивый молодой человек, офицер, живого и вспыльчивого характера, у последнего была дуэль с известным Толстым, прозванным «Американцем»; на этой дуэли Толстой убил Нарышкина. Убив Нарышкина, Толстой бежал из Москвы, долго путешествовал, был в Сибири, на Камчатке. Про него сказал Грибоедов:
Ф.И. Толстой был очень видный, красивый мужчина и большой кутила... Про него сказал кто-то в Москве: «Кажется, он довольно смугл и черноволос, а в сравнении с душою его покажется блондином».
Судьба свела осиротевшего отца и его обидчика. Толстой-Американец выступает посредником в сватовстве Пушкина, Нарышкина Гончаровы выбирают в качестве посаженного отца невесты.
«Сегодня свадьба Пушкина наконец, — пишет 18 февраля 1831 г. А.Я. Булгаков брату. — С его стороны посаженными Вяземский и графиня Потемкина, а со стороны невесты Ив.Ал. Нарышкин и А.П. Малиновская. Хотели венчать их в домовой церкви кн. Серг. Мих. Голицына, но Филарет не позволяет. Собирались его упрашивать; видно, в домовых нельзя...»
Занимало Москву и пророчество о будущем нарышкинской семьи, связанное с исчезновением хранившейся у них бороды известного юродивого времен Анны Иоанновны — Тимофея Архипыча. С незапамятных времен все повторяли его слова: «Нам, русским, не надобен хлеб: мы сами друг друга жрем и тем сыты бываем».
Тимофей Архипыч предсказал прабабке И.А. Нарышкина, что, пока борода его будет храниться в их семье, нарышкинский род не пресечется и не изменит православию. Бороду действительно держали «со всяческим бережением» в особом ящике, на шелковой подушке с крестом. Но при переезде из Петербурга в «Пречистенский дворец» она непонятным образом исчезла. Скорее всего ее сгрызли белые мыши, которых Иван Александрович держал во множестве и которых на время пути надумал поместить в тот же ящик.
Так или иначе, но пророчество юродивого стало сбываться. Бедная Лиза рано умерла, и притом в девичестве. Два сына ушли из жизни бездетными. Единственный внук от третьего сына имел лишь дочерей. Две из них вышли замуж за католиков — французского барона Валуа и австрийского майора Петца, третья сама приняла католичество и ушла в католический монастырь под именем сестры Натальи Нарышкиной.
«Давеча изволил ты сказать, что Москва — это дома, улицы, торги, много разного другого. Тут и спору нет. Только по моему разумению Москва — это люди, каких нигде не сыщешь...» (из письма актрисы Г.Н. Федотовой театральному художнику И.Е. Гриневу).
Петербургский дом его зрелых лет остался жить в «Медном всаднике». Это около него «с подъятой лапой, как живые, стоят два льва сторожевые...»
Московский дом его юности остался незамеченным историками. Об Адмиралтейском проспекте, 12, Пушкин писал в 1833 г. О доме по Никитскому бульвару, 14, на углу Никитских ворот, не мог не знать с самых ранних лет. Тем более, что так любил соседнюю Молчановку и даже видел в ней свою родину.
Этот дворец появился во второй половине XVIII в. как владение князей Лобановых-Ростовских, потомков героев Куликовской битвы Александра и Владимира Константиновичей, во всех поколениях остававшихся живой легендой древней столицы.
Можно ли было забыть князя Ивана Ивановича, отправившегося по приказу царя Алексея Михайловича с посольством к иранскому шаху Аббасу II с неслыханным для Азии подарком — впервые привезенным в эту часть света органом московской работы. И его гордый ответ на вопрос шаха, какие развлечения предпочитает московский царь: некогда государю в игры играть, его дело — о государстве думать.
Или сына князя — Якова Ивановича, стольника при всех трех царствовавших сыновьях Алексея Михайловича. Вот только в 1685 г. не устоял князь Яков Иванович перед искушением попытаться ограбить царскую казну по дороге к Троице, у Красной сосны. Убил двух из везших казну людей, но был схвачен и бит кнутом на глазах у народа в железном подклете. Но почему-то настоящего зла на князя-разбойника Петр I не держал. Позволил ему принять участие в Азовских походах, сделал майором Семеновского полка и всем ставил в пример редкую плодовитость Якова Ивановича: от двух браков имел он ни много ни мало 28 детей.
Родной племянник князя-разбойника и стал хозяином московского дома. Яков Иванович Лобанов-Ростовский младший тоже начал службу в Семеновском полку, тридцати трех лет стал камергером — сказалось покровительство влиятельных родственников: графа Никиты Ивановича Панина и князя Н.В. Репнина. С приходом к власти Павла I последовал чин тайного советника и назначение в Москву наблюдать за делами в московских департаментах и театрах. Особняк у Никитских ворот пришелся при таких назначениях как нельзя более кстати.