Вскоре Андрей Артамонович женился. Его избранницей стала Анна Степановна Аничкова (1665–1698), дочь стольника Степана Александровича, представительница дворянского рода средней руки. Де ла Невилль пишет о ней: «Это единственная женщина в этой стране, которая не пользуется белилами и никогда не нарумянена, поэтому она достаточно хороша собой». Отзыв весьма ценный, если учитывать, какое важное значение, судя по свидетельствам иностранцев, занимали в жизни русской женщины того времени румяна и белила, нанесенные густым слоем на лицо. После смерти первой жены Матвеев женился на Анастасии Ермиловне (ум. 1720), бывшей в первом браке за Михаилом Аргамаковым.
В 1691 г. Матвеев получает свое первое назначение – воеводой на Двину, бывшую сосредоточием всей морской торговли с Западной Европой. Возможно, Петр I остался не очень доволен деятельностью Матвеева на этом посту, так как во время своей поездки в Архангельск в 1693 г. отстранил Андрея Артамоновича от воеводства, а на его место назначил Ф. М. Апраксина. Матвеев возвратился в Москву и предался ученым занятиям – перевел с латыни сочинение кардинала Цезаря Барония (1533–1607) «Церковные хроники» и другие сочинения.
В 1697 г. тихая жизнь Матвеева, протекавшая в стороне от бурной преобразовательской деятельности Петра I, была нарушена. Москва стала свидетельницей жестокого зрелища: по обвинению в покушении на Петра I казнили окольничего Соковнина, стольника Пушкина, полковника Цыклера и других заговорщиков. Вместе с живыми подвергся наказанию и мертвый. Гроб с телом боярина И. М. Милославского извлекли из семейного склепа в церкви Николая в Столпах (там же располагалась усыпальница Матвеевых) и привезли на шести свиньях в Преображенское. Прах боярина поставили под плахой так, что кровь казненных текла в гроб, а затем рассекли на части. А. А. Матвеев описывает это событие без страха перед произошедшим кощунством, а с чувством мести за отца, погибшего по интригам Милославского.
В 1699 г. Петр I назначил А. А. Матвеева постоянным представителем в столице Соединенных Штатов Нидерландов Гааге. Гаага была не только столицей одной из самых крупнейших западноевропейских держав, но и признанным дипломатическим центром всей Европы. Роль Матвеева на первом этапе Северной войны была необыкновенно велика, несмотря на то, что ему не удалось выполнить свою первоочередную задачу – изолировать Швецию и предотвратить ее дипломатическое сближение с Нидерландами и Англией.
От Матвеева царь напрямую получал информацию о внешнеполитических событиях в Европе, от чего зависело решение о вступлении в войну со Швецией. О ходе переговоров между турками и русским послом Е. И. Украинцевым в Константинополе Петр I быстрее узнавал от Матвеева, чем от самого Украинцева. В начале Северной войны практически все европейские страны были на стороне Швеции и не скрывали своего презрительного отношения к варварам московитам. После разгрома русской армии под Нарвой в 1700 г. Матвеев писал: «Жить мне здесь теперь очень трудно… Обращаюсь между ними (голландцами. –
Но А. А. Матвеев не падал духом. Его главной целью стало укрепление международного престижа России. После нарвского поражения он объявил о бесчестном поступке шведов, захвативших русский генералитет вопреки условиям капитуляции. Впоследствии Матвеев никогда не упускал возможности оповестить европейскую дипломатию об успехах русских войск и одновременно многое делал для их достижения: через него осуществлялась закупка оружия, наем иностранных инженеров и других специалистов. Далеко не все удавалось. Многочисленные попытки привлечь европейские страны в качестве посредника к заключению мира между Россией и Швецией успеха не имели. Более того, в 1707–1708 гг., когда Матвеев находился на переговорах в Лондоне, уже по завершении своей неудачной миссии, за несколько дней до отъезда, он подвергся нападению, был избит и заключен в тюрьму под предлогом неуплаты долга в 50 фунтов. Правда, в ту же ночь русского посла освободили, но этим позорным фактом Англия грубо нарушила все нормы международного права и нанесла личное оскорбление Петру I. В 1705–1706 гг. и 1707–1708 гг. Матвеев вел переговоры во Франции, а в 1712– 1715 гг. был русским посланником в Вене. Перед отъездом он получил от австрийского императора Карла V титул графа Священной Римской империи, впоследствии утвержденный Петром I.