Одновременно с назначением на Таллинскую кафедру епископу Алексию поручили временное управление и Рижской епархией. Ненадолго, всего на несколько месяцев, но за это время он успел два раза посетить Латвию, совершив богослужение в Преображенской пустыньке и Свято-Троицком женском монастыре, в главный храм которого был перенесён кафедральный собор вместо уже закрытого Рождественского храма.
С самого начала архиерейского служения ему пришлось вступить в борьбу против новой волны хрущёвских гонений. Первым монастырём и первым храмом, которые он спас тогда, стали собор Александра Невского и монастырь Успения Божией Матери в Пюхтице.
— Гонению подверглись святые обители. Подавляющее большинство их закрыли без всяких объяснений. В действующих монастырях власти стремились до минимума сократить количество насельников. Например, в Эстонии значительному сокращению числа сельских приходов способствовала депортация местных жителей в связи с коллективизацией и «борьбой с эстонским национализмом» в сороковых—пятидесятых годах. Деяния мироправителей тьмы века сего (Еф. 6, 12) по истреблению в душах людей веры были разнообразны, казалось, нет предела их изощрённой лукавой изобретательности. Но самым страшным, пожалуй, было то, что у Церкви решительно отбиралось будущее. И без того малочисленные духовные учебные заведения беспощадно закрывались. Делалось всё, чтобы всячески затруднить и в конечном итоге не допустить поступления туда необходимого количества учащихся, равно как и воспрепятствовать принятию достойных абитуриентов. Угроза закрытия нависла и над Александро-Невским собором в Таллине, и над Успенским Пюхтицким женским монастырём... — вспоминал Святейший время начала своей архипастырской жизни. — Советская власть в лице уполномоченного Совета по делам религий при Совете министров СССР по Эстонии некоего Яна Самойловича Кайтера приготовила мне достойный «подарок»: в первые же дни моего архиерейства мне сообщили, что ещё летом 1961 года было принято решение о закрытии Пюхтицкого женского монастыря — единственного в то время в Эстонии. Псково-Печерский монастырь вошёл в состав Псковской епархии, и Пюхтица оставалась теперь в одиночестве. Также подлежали закрытию тридцать шесть «нерентабельных» приходов.
Само слово «Пюхтица» является союзом эстонского корня «piihti» — «святое» и славянского окончания «ца». Женский монастырь был основан в 1891 году в деревне Куремяэ волости Иллука на самом востоке Эстонии в местности с преимущественно русским населением. Согласно преданию, обитель возникла на месте явления Богородицы одному из местных жителей. Создателями монастыря стали губернатор Эстляндии князь Сергей Владимирович Шаховской и его жена княгиня Елизавета Дмитриевна, вдохновителем — святой праведный Иоанн Кронштадтский, а попечителем — сам государь Александр III. Изначально то был не просто монастырь, а место, где действовавшая община построила приют и лечебницу для бедных. В самой обители были воздвигнуты главный собор Успения Пресвятой Богородицы, трапезный храм Святых праведных Симеона Богоприимца и Анны Пророчицы, храм Преподобного Сергия Радонежского, храм Святителя Николая и преподобного Арсения Великого, крестильный храм Иоанна Предтечи и священномученика Исидора Юрьевского, домовая церковь Святителя Алексия и великомученицы Варвары. Словом, это была и есть одна из главных обителей Православия в Прибалтике.
И вот святое место решили уничтожить и построить здесь дом отдыха шахтёров. Начало разорения обители назначили на 1 октября, то есть времени у епископа Алексия оставалось в обрез. Уполномоченный Ян Самойлович Кантер при первом знакомстве оказался не таким уж рьяным чиновником, вежливо принял только что назначенного епископа, выслушал его доводы, сводившиеся к тому, что нехорошо, если архипастырское служение начнётся с разорения столь известной обители и аж тридцати шести приходов. К тому же надобно учитывать и то, как к этому отнесутся наши идейные враги: раздуют скандал, заставят папу римского пересмотреть взгляды на мирное сосуществование... Побеждать гонителей приходилось, пользуясь их терминологией. Это шаблонное словосочетание «мирное сосуществование» использовалось большевиками ещё с двадцатых годов, когда начала складываться советская дипломатия. Сейчас, когда разгорался Карибский кризис, оно воскресло.
— Да, да, вы правы, — поразмыслив, ответил Кантер. — Большое спасибо, что пришли и предупредили нас от совершения скоропалительного шага. Оставим уничтожение монастыря до лучших времён! И храм пусть пока постоит.
Впоследствии Святейший Патриарх со свойственным ему добродушием, в котором хорошо скрывался сарказм, вспоминал о Кантере: