Родители А.С. Пушкина Сергей Львович и Надежда Осиповна, а также его бабушка М.А. Ганнибал брали с собой детей, совершая гостевые визиты к соседям, среди которых выделялись князья Голицыны. В 1803 г. владельцем усадьбы Большие Вяземы стал князь Борис Владимирович Голицын (1769–1813), превративший эту усадьбу в «обитель поэзии и философии», инициатор литературных собраний, получивших позже известность как «Беседы любителей русского слова», и организатор первых в России публичных лекций по литературе. В 1812 г. Б.В. Голицын участвовал в Бородинской битве, входил в свиту М.И. Кутузова, был тяжело ранен и умер от ран в 1813 г. Похоронен он в приделе Преображенской церкви в Больших Вяземах. А.С. Пушкин бывал в Больших Вяземах в 1805–1810 гг., ему было 6—11 лет, и он, несомненно, общался с Б.В. Голицыным.
Следующий владелец Больших Вязем – младший брат и наследник Б.В. Голицына князь Дмитрий Владимирович Голицын (1771–1844) также был героем войны 1812 г. Он отличился в сражениях под селением Красное, под Парижем, войну закончил в чине полного генерала. В 1820 г. Д.В. Голицын был назначен на пост генерал-губернатора Москвы. Проработал он на этом посту 24 года, и в большей мере именно ему обязана Москва своим возрождением после пожара 1812 г. В московский период жизни А.С. Пушкина московский генерал-губернатор Д.В. Голицын покровительствовал ему.
Незаурядной личностью была и мать князей Б.В. и Д.В. Голицыных – княгиня Наталия Петровна Голицына (урожденная Чернышева, 1741–1833 гг.). Она прожила 97 лет, видела царский двор при пяти императорах (родилась она в начале царствования императрицы Елизаветы Петровны), ее считали внучкой Петра I. Н.П. Голицына послужила А.С. Пушкину прототипом старой графини в его романе «Пиковая дама». Она знала тайну трех карт, завещанную ей в Париже Сен-Жерменом.
Последним владельцем Больших Вязем из рода Голицыных был Дмитрий Борисович Голицын (1851–1920) – начальник императорской охоты, с которого граф и писатель Л.Н. Толстой писал образ Вронского в романе «Анна Каренина». Красавец, англоман, эрудит и скромный человек Д.Б. Голицын был другом императора Николая II. Когда император хотел вверить ему Москву, Д.Б. Голицын из скромности отказался. Он был твердо убежден, что истинный россиянин должен не столько стремиться к высоким постам в жизни, сколько точно определить и занимать именно то место, на котором принесет максимальную пользу Отечеству.