Материнской ласки Петр лишился еще в раннем детстве. Княгиня Евгения Ивановна (так в России называли Дженни) помнилась ему смутно. «Личные мои воспоминания о ней очень темны и неполны, — пишет Вяземский. — Но по слухам знаю я, что и она была любезная хозяйка и помогала отцу моему делать дом наш приятным и гостеприимным». Сына она обожала. Но 12 апреля 1802 года, на сороковом году жизни, Евгении Ивановны внезапно не стало. Похоронили ее за городом, на иноверческом кладбище на Введенских горах. Для князя Андрея Ивановича смерть ее стала тяжким ударом, от которого он так и не смог оправиться. А сын помянул мать в стихотворении «Введенские горы», написанном через шестьдесят семь лет после ее кончины…
Итак, «Зеленая Эрина» (Ирландия, Эйре, Зеленый Остров) все же «не чужда» — но это говорит 77-летний Вяземский… И удивляет, что мать стала для него «милым образом» только в глубокой старости, после многих утрат и бед. «Воспоминания о ней очень темны и неполны… И бессознательно оплакивал я мать…» Это в десять-то лет и это с прекрасной памятью князя?.. Но здесь Вяземский точен — он даже не помнил даты рождения и смерти матери, иначе не сделал бы специальную запись в дневнике, посетив ее могилу в 1857 году: «Она родилась в 1762 г., скончалась в 1802 г.». (а после посещения могилы в 1865-м отметил ее расположение: «Гробница на правой стороне от ворот за мостом»)… Точно такая же картина со старшими сестрами, в замужестве Щербатовой и Карамзиной: Петр Андреевич относился к ним вполне доброжелательно, но глубокое родственное тепло в этом чувстве явно не присутствовало. Он рано привык быть один и не стремился к семейной поддержке. А нерастраченные в детстве чувства потом щедро выплеснулись на многочисленных друзей, к которым Вяземский был подчас гораздо нежнее, чем к родственникам. Похоже было, кстати, и у Пушкина.
После смерти Евгении Ивановны у Вяземских особенно часто бывал Николай Михайлович Карамзин. Андрей Иванович подружился с ним еще в начале 1790-х, когда 25-летний Карамзин вернулся из заграничного странствия. Им было что обсудить меж собою. Оба вели в дороге записки, причем путевой дневник Андрея Ивановича, опубликованный в 1881 году, интересен не менее карамзинских «Писем русского путешественника». Но если Андрей Иванович застал последние годы дореволюционной Европы, то Карамзин видел уже Париж без Бастилии… Андрею Ивановичу не могла не нравиться уверенная, спокойная независимость Карамзина, сочетавшаяся с внешней мягкостью и общежительностью. Именно Карамзину доверил он свои грандиозные философские замыслы, в нем нашел умного собеседника и сочувственника… Теперь от былых времен оставались разве что вечерние споры у камелька, а Карамзин из талантливого юноши как-то неприметно стал признанным лидером русской словесности и был на вершине нешумной славы: литературная молодежь почитала его своим кумиром, а издаваемый им журнал «Вестник Европы» зачитывался до дыр. Но сам Карамзин все чаще говаривал Андрею Ивановичу о том, что его влечет к себе русская история. «Видно, пришла пора отречься мне от мирских битв и постричься в историки», — добавлял он с грустной улыбкой.