1669 год был замечательно несчастлив для царского семейства. 2 марта скончалась царица Марья Ильинишна, родивши дочь, которая умерла через два дня после рождения. Марья Ильинишна была очень любима за свой добрый нрав и готовность помогать людям во всякой беде. Вслед за ней через три месяца умер царевич Симеон, а через несколько месяцев другой царевич – Алексей. В это время царь, требовавший себе дружеского утешения, особенно сблизился с Матвеевым, который и прежде пользовался его благорасположением. Артамон Сергеевич был из немногих русских людей нового покроя, сознававший пользу просвещения, любивший чтение, ценивший искусство. Начальствуя посольским приказом, он обратил его некоторым образом в ученое учреждение. Под его руководством там переводились и составлялись книги: Василиологион – история древних царей, Мусы (музы), или семь свободных учений. Написана была также русская история под названием «Государственной большой книги» с приложением портретов государей и патриархов. При своей любознательности, чаще всякого другого находясь в обращении то с иноземцами, то с малороссиянами, Матвеев познакомился с иноземными обычаями, начал признавать превосходство их. К этому способствовала его семейная жизнь. Он был женат на иностранке из немецкой слободы, Гамильтон, шотландке по происхождению, принявшей при переходе в православную веру имя Авдотьи (Григорьевны). Матвеев служил в иноземных полках и сделан был рейтарским полковником. Он находился по жене в родстве с родом Нарышкиным: это были старинные рязанские дворяне, происходившие от одного крымского выходца в XV столетии. В XVII веке Нарышкины были наделены поместьями в Тарусе. Один из них, Федор Полуектович, был женат на племяннице жены Матвеева, также из рода Гамильтон и также в крещении названной Авдотьей (по отцу Петровной). Брат Федора, Кирилл Полуектович, стрелецкий голова, потом пожалованный в стольники (женатый на Анне Леонтьевне Леонтьевой), кроме сыновей, имел дочь Наталью, которая с одиннадцати или двенадцати лет воспитывалась в доме Матвеева и познакомилась сызмала с иноземными обычаями.
В конце 1669 года царь Алексей Михайлович возымел намерение вступить во второй брак и, по обычаю, велел собрать девиц на смотр. Много привозили их и увозили. В начале февраля 1670 года царю понравилась более всех Наталья Нарышкина, но царь продолжал смотреть девиц, в надежде найти еще покрасивее. В апреле, как видно, он колебался между Нарышкиной и Авдотьей Беляевой. Между тем против Нарышкиной и, главное, против Матвеева начались козни; боялись, чтобы брак с Нарышкиной не сделал всемогущим Матвеева, уже без того пользовавшегося доверием и любовью царя Алексея Михайловича. Подкинуты были подметные письма с целью отклонить царя от брака. Подозрение в составлении этих писем пало на дядю Беляевой, Шихарева. Его обыскали, но не нашли ничего, кроме травы зверобоя, которою он лечился. В то время трав очень боялись, потому что с ними соединяли разные суеверия. Найденной травы было достаточно, чтобы подвергнуть несчастного ее хозяина пытке; от него не добились ничего. Выбор царя остановился на Нарышкиной; но свадьба почему-то была отложена. Так как у Алексея Михайловича были уже взрослые дочери почти одних лет с Натальей, то у них явилось нерасположение к будущей мачехе; притом же тетки царя, пожилые девы, богомольные хранительницы старых порядков, не терпели Матвеева и его родню за преданность иноземным обычаям. Это обстоятельство, вероятно, также способствовало замедлению брака, но не могло предотвратить его. 22 января 1671 года Алексей Михайлович сочетался с Натальей.
Опасения ревнителей старины были не напрасны. Алексей Михайлович, как натура увлекающаяся, способная вполне отдаться тем, кто в данное время был близок его сердцу, подчинился влиянию жены и Матвеева. Он называл Матвеева не иначе, как «другом», писал к нему такого рода письма: «Приезжай скорее, дети мои и я без тебя осиротели. За детьми присмотреть некому, а мне посоветовать без тебя не с кем». Матвеев, однако, вел себя с необыкновенным благоразумием и хотя официально управлял разом и посольским и малороссийским приказами, однако носил только звание думного дворянина. По желанию царя, Матвеев построил себе большие палаты у Никиты на Столпах и, сообразно своему вкусу, украсил их по-европейски картинами иностранных мастеров и мебелью в европейском вкусе; даже в домовой его церкви иконостас был сделан на итальянский образец. Он не держал взаперти ни своей жены, ни своих родственниц и воспитанниц. В его доме введена была музыка и даже устроен домашний театр, в котором играли немцы и его дворовые люди.