Мы имеем немало свидетельств того, что труды Н. Г. Спафария были не напрасны. Андрей Артамонович, родившийся в 1668 г., был одним из самых образованных людей своего времени. Польский посол в России, француз де ла Невилль, называющий Матвеева-младшего «мой друг Артамонович», пишет о нем: «Этот молодой господин очень умен, любит читать, хорошо говорит по латыни, очень любит новости о событиях в Европе и имеет особую склонность к иностранцам». Обширные знания и глубокий ум А. А. Матвеева отмечает и язвительно настроенный ко всему русскому секретарь австрийского посольства И. Г. Корб (1698): «Матвеев знает латинский язык и даже имеет большие, сравнительно с прочими лицами сведения в этом языке; Матвеев слывет человеком весьма умным, почему и пользуется благорасположением государя».
Но своим блестящим образованием Андрей Артамонович был более обязан не урокам Спафария в гостеприимном родительском доме, а наставлениям поляка-учителя, сопровождавшего семью опального А. С. Матвеева в холодной пустоозерской ссылке. В 1676 г. неожиданно скончался царь Алексей Михайлович. Правление при юном царе Федоре Алексеевиче перешло в руки боярской партии Милославских, родственников первой жены царя Алексея Михайловича. Новые правители ненавидели А. С. Матвеева и вскоре добились его ссылки на воеводство в Верхотурье, затем обвинили в чернокнижии и отправили в ссылку в Пус-тоозерск, а оттуда – на Мезень, «где бедственное и зело скудное житие свое претерпел».
А. С. Матвеев тщетно пытался оправдаться и даже посылал слезные челобитные своим злейшим врагам – И. М. Милославскому и Б. М. Хитрово. Время шло, и влияние Милославских на царя Федора слабело. В 1682 г. царь, по просьбе своей второй жены Марфы Матвеевны Апраксиной (крестницы Матвеева), приказал освободить Артамона Сергеевича из-под стражи и перевести его в Лух. Там А. С. Матвеев получил известие о кончине царя Федора и срочный вызов в Москву, который исходил от царицы Натальи Кирилловны.
Разгоралась борьба за престол между Милославскими и Нарышкиными, и не было никого, кто бы мог заменить Матвеева в качестве главы партии царицы Натальи и ее сына Петра. В жаркие майские дни 1682 г. в столицу из ссылки прибыл А. С. Матвеев, которому сразу же вернули все его владения и чины. Царица надеялась, что Матвеев сможет усмирить грозный ропот стрельцов и одолеть Милославских, но было уже поздно.
Во время стрелецкого восстания 15 мая 1682 г. Артамон Сергеевич Матвеев был убит. Заступничество царицы и популярного в народе боярина князя М. А. Черкасского не спасло Артамона Сергеевича. Его сбросили с дворцового крыльца на копья и изрубили бердышами. Десятилетний царевич Петр стоял на крыльце и видел страшную смерть Матвеева и последовавшие за ней расправы с другими боярами. На всю жизнь запомнились ему эти минуты. Спустя много лет царь показывал Андрею Артамоновичу ту ступеньку дворцового крыльца, на которой окончил жизнь его отец. С тех пор у Петра стали проявляться приступы странной болезни – неожиданно царем овладевали корчи, его лицо дергалось, вид был ужасен. Согласно легенде, разрубленные части тела Матвеева на глазах убийц собрал и похоронил верный слуга боярина – крещеный араб Иван.
Стрельцы бегали по всему дворцу и убивали Нарышкиных и ненавистных им бояр, приказных, стрелецких командиров. Андрей Артамонович, находившийся в это время во дворце, писал в своих записках, что несколько Нарышкиных и сам младший Матвеев скрывались в чулане комнат царевны Натальи Алексеевны. Не раз проходили мимо спрятавшихся стрельцы и «в мягкие те подушки (брошенные в чулане. –
Андрея Матвеева спасла находчивость дворцового карлика Никиты Комаря, который обрядил юного вельможу в платье конюха и вывел его из Кремля. Под чужим именем А. А. Матвеев скрывался «в простом платье… у разных низких самых людей». В то же время товарищи Матвеева по временному убежищу во дворце пострадали от стрелецкого гнева: Иван Кириллович Нарышкин был подвергнут пыткам и убит, другие Нарышкины отправлены в ссылку. К ссылке был приговорен и Андрей Матвеев, но оказался в числе тех, которые «не посланы для того, что их не сыскано».
После того как волнение улеглось, Матвеев появляется при дворе. Попечение над сиротой взяла царица Наталья Кирилловна. В это время Матвеев довольно часто общался к Петром, и даже должен был учить его, что, скорее всего, не состоялось или продолжалось очень недолго. В число близких друзей юного царя Матвеев не вошел. Он не участвовал ни в потешных играх, ни в других забавах молодого Петра.