Кроме того, его сердце было способно к глубокой и романтической любви. В 1780 году в Ревеле, где тогда стоял полк, которым он командовал, у него был бурный роман с графиней Елизаветой Сиверс, уже помолвленной. Графиня родила дочь и вскоре вышла замуж, оставив ребенка отцу. Девочку назвали Екатериной и дали ей фамилию Колыванова по славянскому названию Ревеля — Колывань. Сначала она воспитывалась у сестры князя с ее детьми, а, женившись в 1786 году, Андрей Иванович взял ее к себе. Князь Вяземский очень любил старшую дочь, после долгих хлопот он удочерил ее, но без права на княжеский титул и фамилию. Его женитьба также была романтична: находясь в Англии, он страстно влюбился в ирландку Дженни О’Рейли, увез ее от мужа в Россию, добился ее развода и сочетался с ней браком против воли родителей, потрясенных таким мезальянсом. Однако брак этот оказался счастливым, от него родились дочь Екатерина и сын Петр.
Московский дом Вяземского, по свидетельствам современников, «был одним из приятнейших и ежедневно открытых для друзей и многочисленных посетителей», «был средоточием жизни и всех удовольствий просвещенного общества». Несмотря на богатство хозяев, «он был чужд всякой роскоши и не блистал убранством», но зато в нем имелась «обширная и разнообразная библиотека», но и та «служила не предметом роскоши, а необходимого потребления». «Князь Вяземский посвящал ежедневно, до позднего вечера, т. е. до времени обыкновенного съезда гостей, несколько часов на чтение книг исторических, философских и путешествий. Неизменно первый вечерний посетитель мог быть уверен, что найдет его дома, у камина, в больших вольтеровских креслах, с книгою в руке…»
Среди постоянных посетителей Вяземского, наиболее близких ему по взглядам, вкусам и интеллекту, были люди, оставившие более или менее значительный след в истории русской культуры: граф А. Р. Воронцов, граф Н. П. Панин, князь П. В. Лопухин, адмирал H. С. Мордвинов, князь Я. Р. Лобанов-Ростовский, Ю. А. Нелединский-Мелецкий, князь А. М. Белосельский-Белозерский (отец Зинаиды Александровны Волконской), граф Л. К. Разумовский, граф Д. П. Бутурлин. «Все путешественники (особенно англичане), — пишет современник, — ученые, художники находили в этом доме русское гостеприимство и прелести европейской разговорчивости». П. А. Вяземский писал, что гости его отца принадлежали к разряду «образованных и разговорчивых в смысле разговора дельного, просвещенного и приятного». Отмечает он также, что при этом в доме «женский элемент господствовал наравне с мужским» и «в сфере умственного соревнования проглядывало между двумя полами истинное равноправие».
О темах и характере разговоров с Вяземским дает некоторое представление письмо Карамзина 1796 года, когда князь Андрей Иванович, назначенный нижегородским и пензенским наместником, жил в Нижнем Новгороде. «Вы заблаговременно жалуете мне патент на право гражданина в будущей Утопии, — писал Карамзин. — Я без шутки занимаюсь иногда такими планами и, разгорячив воображение, заранее наслаждаюсь совершенством человеческого блаженства… Когда цветы на лугах Пафосских теряют для нас свежесть и красоту свою, мы перестаем летать зефиром и заключаемся в кабинет для философских мечтаний и умствований, скучных румяному и ветреному юноше, но приятных такому человеку, у которого на лбу холодною рукою времени рисуются уже морщины. Лучше читать Юма, Гельвеция, Мабли, нежели в томных элегиях жаловаться на холодность или непостоянность красавиц… Отсутствие Ваше чувствительно в Москве для всех тех, которые имели честь и удовольствие проводить иногда вечерние часы в Вашем доме, приятном для муз, граций, философов и светских людей».
Свои политические теории Вяземский пытался применить на практике в управлении наместничеством, он был уверен в необходимости тех мер, которые предпринимал. «Вы не можете себе представить, сколько злоупотреблений… в общей администрации империи, — писал он в письме А. Р. Воронцову, одному из наиболее близких приятелей. — При всем ни одного верного правила, ни одного закона, точного в своих подробностях там, где подробности не только в высшей степени нужны, но совершенно необходимы ввиду того, что без ясного их выражения можно почти безнаказанно притеснять ту несчастную часть, которая нас питает, одевает, помещает и защищает». Однако в этом он не нашел поддержки.