Сперва Артамона Сергеевича объявили подозрительным человеком, котораго де нельзя оставить правителем Аптеки, когда государь болен, – и аптеку у Матвеева отняли.
Когда однажды Матвеев приехал по обычаю во дворец, боярин Родион Матвеевич Стрешнев вынес указ из комнаты в переднюю и объявил ему: «Указал великий государь быть тебе на службе в Верхотурье воеводою».
Царь [Феодор], питая недоброжелательство к Артемону, отнял у него имущество, для вывоза коего, говорят, едва хватило 14 дней, и отправил его за 200 почти миль в ссылку, родных его подвергнул опале и назначил ему на содержание не больше трёх копеек (5 копеек равны нашим 9 крейцерам) в сутки.
Его обвиняли в том, что, заведуя государевою аптекою и подавая царю лекарство, он не допивал после царя остатков лекарства.
О мелочности крамол, направленных против Матвеева, свидетельствует то обстоятельство, что в мерах, принятых против павшего боярина, занимает весьма видное место жалоба датского резидента о долге в размере 500 рублей за проданное Матвееву вино.
Но это был только один предлог. Матвеев, доехавши до Лаишева, получил приказание там остаться, и здесь начался ряд придирок к нему. Сперва потребовали от него какую-то книгу, лечебник, писанный цифрами, которого у него не оказалось. В конце декабря сделали у него обыск и привезли за караулом в Казань.
В записках, к Сибирской Истории относящихся, сказано, что в 1б7б году послан, в место опалы, Воеводою в Верхотурье Боярин А.С. Матвеев. В Лаишеве, что при Каме, был он остановлен, отвезён в Казань, лишён боярскаго сана и имущества и отправлен с сыном своим в Пустоозёрск. На проезд дано им из собственных животов 500 рублей. А был он в ссылке 5 лет. В исходе 1682 года повелено ему жить до указу в Подмосковной деревне.
Матвеева везли в ссылку через Новгородский Приказ, бывший до того в его ведомстве. Все жители сбегались к нему на встречу, и, видя, что прежний их благодетель всего лишён, снабжали его всем нужным на дорогу… Вскоре издержал он все сьестные припасы; у него оставалось только три сухаря. Неизбежная смерть угрожала ему и товарищам его. Великодушный Пустоозерский Воевода Тухачевский, не страшась врагов Матвеева и уважая добродетели его, поделился с ним тем, что у него было. Из шести кулей муки он дал ему три, хотя и знал, что до весны не получит никакой помощи.
Вслед за тем отправлены были в ссылку двое братьев царицы Натальи Кирилловны, Иван и Афанасий Нарышкины. Первого обвинили в том, что он говорил человеку, по фамилии Орлу, такие двусмысленные речи: «Ты Орёл старый, а молодой Орёл на заводи летает: убей его из пищали, так увидишь милость царицы Натальи Кирилловны». Эти слова были объяснены так, будто они относились к царю. Нарышкина присудили бить кнутом, жечь огнём, рвать клещами и казнить смертью, но царь заменил это наказание вечною ссылкою в Ряжск.