Несмотря на явную нелепость подобных сплетен, им удалось поколебать доверие Федора II к Матвееву. Началось с того, что его устранили от надзора за придворной аптекой и от пробы лекарств, которые приготовлялись для царя. В дальнейших действиях против Матвеева помог его врагам помянутый выше датский резидент Гоэ, человек, отличавшийся дурным поведением, пристрастием к горячим напиткам и вздорными, неверными сообщениями своему двору о московских делах. Матвеев, как начальник Посольского приказа, имел с ним столкновения, и при Алексее Гоэ некоторое время находился в явной немилости у царя. Спустя несколько месяцев по воцарении Федора он был отозван из Москвы и, стакнувшись с врагами Матвеева, задумал теперь ему отомстить. Во время пути к Архангельску он прислал в Москву жалобу на то, что Матвеев будто бы не доплатил ему 500 рублей за рейнское вино, поставленное ко двору. Милославские воспользовались этой жалобой, чтобы выставить сего последнего казнокрадом, стяжавшим себе всякими неправдами большие богатства. Власти и не подумали допросить резидента, а прямо обвинили Матвеева. По указу государя он назначен был воеводой в Верхотурье, куда и отправился с сыном Андреем. Эта почетная ссылка, очевидно, не удовлетворила его врагов. Матвеев с семьей и дворней плыл по Каме; едва он достиг Лаишева, как здесь его арестовали, причем тщательно рылись в его скарбе, разыскивая какие-то подозрительные лекарства, о которых допрашивали и его людей, и его самого. Потом привезли его в Казань, где воеводствовал один из Милославских (боярин Иван Богданович), и здесь содержали под крепким караулом до решения его судьбы. Бывшего царского друга и советника обвинили в разных преступлениях и даже в чародействе, а затем по царскому указу он был лишен боярства, всего имущества и сослан вместе с сыном на далекий север, в бесприютный, голодный и холодный Пустозерский острог. Тщетно посылал он оттуда челобитные царю с указаниями на свои службы и с уверениями в своей невинности. Тщетно обращался письменно с просьбой о заступничестве к разным лицам, в том числе к патриарху, князьям Долгоруковым и Одоевским, Родиону Матвеевичу Стрешневу, Б.М. Хитрово, И.М. Милославскому. Никто не вступился за несчастного опального боярина.
Патриарх Иоаким в это время расправлялся со своим недругом, известным царским духовником протопопом Андреем Савиновичем Постниковым. Последний по своей сварливости на погребении Алексея Михайловича завел спор с патриархом, утверждая, будто право вложить прощальную грамоту в руку покойного царя принадлежит ему, духовнику, а не патриарху; протопоп забылся до того, что грозил убить патриарха. С соизволения молодого царя Иоаким предал протопопа суду церковного собора. Тут он был изобличен в разных проступках, а особенно в пьянственном и блудном поведении. По соборному приговору его лишили священства и сослали в Кожеезерский монастырь.
Сосланный в заточение, бывший патриарх Никон находился в приязненных отношениях с сим царским духовником, посылал ему подарки и при его посредстве подавал Алексею Михайловичу свои письма и челобитные. Хотя он и не добился возврата из своего заточения, однако последнее было смягчено, и Никон, верный своему строптивому характеру, нисколько не смирился. Он продолжал называть себя патриархом и бранить всех осудивших его, в том числе патриарха Иоакима; ни во что ставил состоявшего при нем пристава и монастырские власти, вообще вел образ жизни, не соответствующий монашеским обетам: сильно поил вином приходивших к нему крестьян и крестьянок, под видом лечения; иногда сам напивался допьяна; к церковной службе ходил редко, а за государя и патриарха не молился, истязал старцев, собственноручно наносил побои своим служкам, стрелял по птицам из пищали и тому подобное. Когда в Ферапонтов монастырь из Москвы приехал к нему дворянин с известием о кончине царя Алексея и с просьбой дать покойному письменное прощение, Никон прослезился и сказал: «Бог простит», но на письме прощения не дал. Доселе хотя и приходили в Москву доносы на зазорные поступки Никона, но им не давали ходу. Теперь доносы принимались охотно, и они участились. Патриарх Иоаким воспользовался обстоятельствами, чтобы смирить своего неукротимого противника, и наиболее важные из доносов представил на рассмотрение духовного собора. По соборному приговору, утвержденному молодым государем, летом 1676 года Никон ради исправления из Ферапонтова монастыря был переведен в Кириллов Белозерский, с приказом содержать его в более строгом заточении, не пускать к нему мирян, ни иноков, не давать ни бумаги, ни чернил и тому подобное. На оправдания Никона, объяснявшего все обвинения клеветой и несправедливостью, не было обращено внимания.
Подобно своему отцу, набожный молодой государь любил иноческий чин и искал с ним духовного общения. Но он нашел его не в виде самолюбивого, строптивого Никона, а в образе смиренного, добродушного Илариона, строителя Флорищевской пустыни в Гороховецком уезде.