На Терекской линии, недалеко от Ставрополя, находилась шотландская колония анабаптистов-сепаратистов, которая значительно разбогатела продажею овощей. Ермолов, не желая терпеть здесь присутствия этих безнравственных людей, изгнал их и поселил вблизи Волжский казачий полк. Ермолов не разделял мнения графа Тормасова, некогда просившего, в видах распространения просвещения, пригласить в Грузию католических миссионеров. Прибывшему сюда члену Базельского евангелического общества Зарамбе Ермолов сказал: «Вместо того чтобы насаждать слово Божие, займитесь лучше насаждением табака». Основатель Лондонского библейского общества Пинкертон, обласканный нашим министром духовных дел, прибыл в Грузию, но Ермолов поспешил его выслать. С 1745 года существовала миссия, имевшая целью обращать в христианскую веру осетин, коих привлекали к тому различными подарками. Эта миссия, которую Ермолов называл конной миссией, сопровождаемая пятьюдесятью казаками, ежегодно стоила казне 50 тысяч рублей. Главою миссии был архиепископ Досифей из фамилии Пуркеладзе (принадлежавший некогда князю Аристову); этот архиерей, будучи архимандритом, предводительствовал разбойниками и был ранен. По просьбе Ермолова миссия была вызвана, а Досифей выслан.
В 1820 году вспыхнуло в Имеретин возмущение вследствие противозаконных требований нашего духовенства; митрополит Феофилакт, человек отлично умный и способный, по приказанию князя Голицына стал требовать у жителей возвращения земель, за пятьдесят лет перед тем розданных им в аренду духовенством. Ермолов громко порицал это, говоря: «Я слышу руку вора, распоряжающуюся в моем кармане, но, схватив ее, я увидел, что она творит крестное знамение, и вынужден ее целовать». В отсутствие Ермолова губернатор Тифлиса Роман Иванович Ховен допустил духовенство обратиться к жителям с этим требованием. Вспыхнул мятеж, митрополит бежал, будучи охраняем двумя ротами; прочее духовенство заперлось в соборе, из которого вышел епископ Софроний (из фамилии князей Цулукидзе) в полном облачении, с крестом в руках, и с трудом усмирил мятеж. Хотя епископ Софроний, напуганный возмутителями, и подписал одобрение их воззвания, но за мужество, высказанное им, впоследствии он был награжден Анненскою лентою по ходатайству Ермолова, который приказал вывезти с фельдъегерем двух митрополитов – Геннагеля и Кукателя.
При предместнике Ермолова начальник Кавказской линии Дель-поццо поселил близ Нарзана и реки Сушки воинственный и враждебный чеченцам народ ингушей, исповедовавших магометанскую веру. Находясь по торговым делам в Тифлисе, некоторые из их старшин приняли христианскую веру. Возвратясь к себе, они увидели себя поставленными в неприятное положение: прочие единоплеменные им ингуши стали их чуждаться. Вновь обращенные выехали на линию и стали просить Ермолова дозволить им вновь обратиться в магометанство, на что он отвечал им: «Ступайте к священникам и поговорите с ними». Они вскоре вновь сделались магометанами.
Ермолов просил выслать в Грузию тридцать три семейства немецких колонистов, хорошо изучивших земледелие; но вместо этого числа ему прислали пятьсот; один переезд их до Тифлиса стоил казне около миллиона рублей. Ермолов же приготовил на Норе близ Мухровани лишь тридцать три дома; прибывшие немцы были анабаптисты, незнакомые с земледелием, которые менялись между собою женами; двести из них входили некогда в состав германского контингента Наполеона. Они, не желая подчиняться местным властям, хотели быть под покровительством императрицы Марии Федоровны; Ермолов потребовал их к себе и объявил, что если они не дозволят себя наказывать за совершаемые ими преступления, то он немилосердно станет предавать суду виновных. Они, посоветовавшись с своими старшинами, дозволили наказывать тех из них, которых вины будут обнаружены. Вместе с тем Ермолов писал государю: «Прибывшие немцы не способны к земледелию; переезд их в Грузию стоит весьма дорого, но пусть убыток падает на казну за неосмотрительный вызов иностранцев». Я это знаю от Ермолова, Марченки и некоторых приближенных государя.
Большая часть наших писателей, несмотря на известное к Ермолову неблаговоление Николая Павловича, восхваляли Ермолова в прозе и в стихах. Незабвенный наш А.С. Пушкин посещал его несколько раз в Орле; Ермолов сказал ему однажды: «Хотя Карамзин есть историк-дилетант, но нельзя не удивляться тому терпению, с каким он собирал все факты и создал из них рассказ, полный жизни». В ответ на это Пушкин сказал ему: «Читая его труд, я был поражен тем детским, невинным удивлением, с каким он описывает казни, совершенные Иоанном Грозным, как будто для государей это не есть дело весьма обыкновенное».