Пожалуй, лучше других характеризует натуру Андрея Ивановича — страстную, трудную и резкую — не его послужной список и даже не философские этюды, а последствия его заграничного путешествия. Разочаровавшись в военной службе, князь взял длительный отпуск и в 1782—1786 годах предпринял большой вояж по Европе с образовательной целью. 1 марта 1782 года в Петербурге он простился с друзьями, сел в карету и отправился в Финляндию… Потом были Швеция, Германия, Франция, Голландия, Испания, Португалия, Англия, Италия и Швейцария. И везде, как все просвещенные люди тех лет, Андрей Иванович посещал дворцы, библиотеки, монастыри, салоны, покупал книги для библиотеки, картины и новейшие физические приборы, вел стремительным, нетерпеливым почерком путевые заметки, представлялся знаменитостям и скромно внимал
Во Франции тридцатилетний князь повстречал молодую замужнюю ирландку Дженни Кин (Quine), урожденную О’Тейлли, и влюбился в нее. В браке Дженни он увидал, согласно своей теории,
Разразился семейный скандал. Мать Андрея Ивановича назвала его поступок «преступлением против воли отцовой и материной», и сын ответил большим письмом, где по пунктам опровергал родительские претензии (невеста-де бедная иностранка, к тому же «навлекшая на себя предосуждение»). Соглашаясь с тем, что Дженни небогата, Андрей Иванович с достоинством возражал: «Я на то имею честь вам донести, что я
Реакция стариков, как и следовало ждать, была бурной. Отец сообщил сыну, что в случае свадьбы он может забыть дорогу в родительский дом. Скрепя сердце Андрей Иванович отправился в отцовское поместье Удино. Но все попытки воззвать к разуму и родительским чувствам старика оказались тщетными — отец вначале угрюмо молчал, а затем разразился угрозами и бранью.
Разлад в семье невыразимо терзал Андрея Ивановича. Он понимал, что родители любят его, по-своему желают добра… Но подчиниться им — значило лишить себя счастья, обретенного с таким трудом… Душевные муки в конце концов уложили князя в постель. И тут его сторону в споре неожиданно решительно взял в общем-то далекий человек — 60-летний Александр Алексеевич Вяземский, могущественный генерал-прокурор, которого Екатерина II звала за глаза «каменный князь». В этом случае он оказался далеко не каменным — написал И.А. Вяземскому укоризненное письмо с описанием нервных припадков, которыми страдал его сын: «Все сии припадки отношу я большею частью на то огорчение кое его всеминутно страдать заставляет любя вас и зная что вам сие неприятно… Неужели же вы хотите быть его убийцем?» Ивану Андреевичу оставалось лишь неуклюже оправдываться. Хотя он и не преминул в ответ пожаловаться на своенравного сына, от которого не дождешься никакой благодарности…
Все же история эта кончилась относительно мирно. Под давлением А.А. Вяземского, его жены и многочисленных знакомых родители благословили молодых; мать Андрея Ивановича написала невестке: «Я на вас никак не сердита и сердитца не могу потому что всякий человек ищет своево благополучия то конешно вы и сделали». По всей видимости, смерть М.С. Вяземской 24 мая 1786 года никак не была связана со свадьбой, состоявшейся двумя месяцами раньше. И хотя в литературе утвердилась «романтическая» версия событий — якобы мать князя скончалась, не пережив своеволия сына и разрыва с ним, еще раз повторимся — это не так, сразу же после свадьбы М.С. Вяземская сказала: «Сын мой женился, и я его прощаю».
Во многих источниках сказано, что чуть ли не в один день с супругой скончался (якобы тоже от переживаний) и отец Андрея Ивановича. На самом же деле он дожил до весьма преклонного возраста, вполне примирившись с сыном. Во всяком случае, в Остафьевском архиве сохранилась записка о состоянии здоровья И.А. Вяземского, написанная рукой его невестки и датированная 1790 годом. Почти одновременно отец и сын получили от Павла I чин действительного тайного советника — Андрей Иванович 28 октября 1798 года, а 76-летний к тому времени Иван Андреевич — 6 ноября.