Так отец Серафим (Романцов) во второй раз за жизнь стал свидетелем разгрома родной обители. Правда, в 1961-м выгоняли «с комфортом» - довезли на грузовике до станции Локоть и высадили там. Отцы Серафим и Андроник молча, творя тайную молитву, сидели в зале ожидания маленькой станции - денег, чтобы отправляться дальше, у них не было. Помогли местные жители, наслышанные о трагедии Глинской. Они по копейке наскребли старцам денег на билеты, и те смогли уехать из Локтя.
(А ведь события, судя по всему, могли развиваться и по-другому. Во всяком случае, архив уполномоченного Совета по делам РПЦ по Сумской области сохранил записку отца Андроника (Лукаша), в которой тот сообщал неизвестному адресату: «Меня и Серафима требуют в Сумы завтра, Колыма угрожает». Но по какой-то причине от этого плана отказались. Времена были уже «вегетарианские».)
Путь отцов, как и в 1922-м, лежал в Абхазию. Причины этого понятны - у отца Серафима уже был опыт служения в тамошних местах, антирелигиозная кампания на Кавказе проводилась куда менее рьяно, чем в России и Украине, кроме того, огромным авторитетом в Грузинской Православной Церкви пользовался возведенный в i960 году в сан епископа добрый друг изгнанников, сам в прошлом глинский монах Зиновий (Мажуга). Именно к нему отправился Андроник (Лукаш).
А отец Серафим поселился сначала у своих духовных чад в приморском городке Очамчира, а затем переехал в Сухуми, в маленький домик на улице Казбеги (ныне улица Черкесская). Это была тихая окраина курортного города. Скромный домик старца Серафима на долгое время стал одним из духовных центров Кавказа. К нему приезжали за благословением те, кто посещал Сухуми, приходили на исповедь монахи-пустынники, скрывавшиеся в горах... Вскоре старец стал главным «связующим звеном» между кавказскими пустынножителями и миром. Без его благословения попасть в горный скит в 1960—1970-е было невозможно, подходили к этому очень строго.
Монах Константин так вспоминал свое знакомство со старцем:
«Мы с моим братом Николаем имели благословение благодатного старца, схиархидиакона Иоанна из Почаевской лавры, жить в горах Кавказа пустыннической жизнью. Приехав в Абхазию, братья нас предупредили, что для того, чтобы жить в Абхазской пустыни, мы должны взять благословение у отца Серафима. Иначе жизнь в пустыни будет неблагодатной. Таков был закон пустыни и воля Божия. Мне сложно было подойти к отцу Серафиму, я был молодой монах, не имеющий опыта общения с такими маститыми старцами, - и вдруг мне приходится идти к нему за благословением! Мы с братом не хотели ехать, потому что уже были настроены жить в пустыни, и мы не могли знать его ответа. Но закон монахов-отшельников требовал прийти к старцу, чтобы узнать волю Божию. Я объяснил ситуацию, рассказал, что мы приехали с братом из Киева и хотим подвизаться в пустыни. На мой вопрос: “Как вы благословите, отче?” - я ждал любого решения: отец Серафим мог нам предложить пожить пока в городе, молиться при храме, пройти испытательный срок. Продлилось долгое молчание, старец погрузился в молитву, и последовал ответ: “Бог благословит, и я благословляю!” -он повторил это три раза, я сложил руки для принятия благословения и вышел. На душе у меня был рай и торжество».
По благословению епископа Сухумского и Абхазского Леонида (Жвания, 1885-1964) отец Серафим ежедневно приходил в Благовещенский кафедральный собор -принимать исповедь. Отец протоиерей Александр Чесноков так вспоминает то время: «Обычно после исповеди он давал определенную епитимью - количество поклонов, допустим сорок, которые можно было разделить на части, если сразу трудно выполнить, но выполнить обязательно. Отец Серафим говорил просто, серьезно и твердо. Если спрашивали - давал “правило”, четки, определенный ответ. Советы его никогда не были системой запретов, а указания не напоминали мелочной опеки. Кто каялся, он прощал с любовью, снисходя к человеческим немощам. Но при снисхождении оставалось главное - ощущение, что жалеют человека и его немощи, желая ему помочь, удерживая от уныния, однако заповедь оставалась непреложным законом. Не смог теперь, старайся в будущем». Архимандрит Рафаил (Карелин, род.1931), бывший духовным чадом старца, также отмечал, что «на исповеди он был очень снисходительным к грешнику, но в то же время требовал борьбы с грехом и главным условием прощения кающегося считал решимость не повторять греха. Его снисходительность никогда не переходила в потакание человеческим слабостям».
По городу отец Серафим всегда ходил в мирской одежде. Узнав об этом, уполномоченный Совета по делам РПЦ Лагвелава как-то сказал: «Зачем отец Серафим ходит в мирской одежде? У нас в Абхазии уважают старых людей, его никто не обидит». Но старец, по своему смирению, хотел оставаться незамеченным и не привлекать ненужного внимания.