Отношения Митрополита Исидора к преосвященному Игнатию были также не благосклонны. Они выразились довольно резко в проезд Митрополита из Тифлиса на Киевскую кафедру. В видах поощрения и большего развития воспитанников Семинарии старшего курса епископ Игнатий ввел обычай призывать к себе на духовную беседу и рассуждения о предметах веры воспитанников Семинарии богословского курса, отличающихся благонравием и успехами в науках, по засвидетельствованию ректора и в сопровождении профессоров. Беседы эти происходили за вечерним чаем, сопровождаемым угощением фруктами и разными сластями. Такое обращение Епископа со своими подчиненными показалось Митрополиту Исидору до неприличия фамильярным, и он при свидании с ним в г. Георгиевске не остановился сделать ему словесный строгий выговор, на который Епископ отвечал одним молчанием. Особенная неуместность этого обстоятельства и бестактность, чтоб не сказать необдуманность выговора состояла в том, что он был сделан в присутствии Начальника губернии генерал-лейтенанта Волоцкого, нашедшего нужным успокаивать Митрополита, убеждая его удовлетвориться молчанием Епископа. Когда Преосвященный Митрополит Исидор занял место вскоре за тем почившего Санкт-Петербургского Митрополита Григория, епископ Игнатий письмом просил Митрополита Исидора о переводе его в одну из Епархий восточной России, где бы он мог присмотреть себе монастырь, чтоб поселиться в нем на покое. Просьбе этой Митрополиту Исидору угодно было дать тот смысл, что будто бы Преосвященный Игнатий просил очистить ему вакансию на Воронежскую кафедру, а потому так, как кафедра эта занята, то и просьба Преосвященного удовлетворена быть не может. Иронический тон письма не оставлял никакого недоразумения. Напрасна была просьба его об этом же к Филарету Московскому. Между тем Преосвященного постигла очень тяжелая болезнь — натуральная оспа, при сильном горячечном состоянии. Болезнь длилась, выздоровление хотя наступало, но медленно, силы его стали видимо слабеть, и он решился проситься прямо на покой, в уже знакомый ему Николо-Бабаевский монастырь Костромской епархии. В конце июля 1861 года подал о том рапорт в Синод и обратился со всеподданнейшим письмом к Государю Императору.
<…> Августа 5-го состоялось увольнение с назначением пенсии по тысяче рублей в год, впоследствии она по Высочайшему повелению увеличена до полутора тысяч в год.
19-го сентября 1861-го года Государь Император посетил Кавказ, но в Ставрополе не был, а, осматривая вновь покоренные земли за Кубанью, спрашивал у графа Евдокимова (главная квартира которого была в Ставрополе) о Преосвященном, и через него прислал ему орденские знаки Св. Анны 1-й степени, которые уже не застали Владыку в Ставрополе, а отправлены были ему по почте на новое место жительства.
При отъезде из Ставрополя, как прежде из С.-Петербурга, у Преосвященного не имелось собственных денежных средств. Он должен был опять прибегнуть к посторонней помощи, чтоб рассчитаться с некоторыми долгами и покрыть путевые издержки. На пути следования через Москву он остановился у старого знакомца своего Преосвященного Леонида, епископа Димитровского, Викария Московского. При представлении своем Митрополиту Московскому он докладывал ему свои замечания о грустном и несоответственном цели воспитания юношества, приготовляющегося к служению Церкви; о гибельном вторжении в среду воспитателей, а потому и воспитываемых, — идей самых враждебных, противоположных Духу Христианства в его Церковно-Православном Учении. Владыка Московский Высокопреосвященный Филарет сознавал истинность этого явления, свидетельствованного множеством фактов и вместе оправдывал свое невмешательство в дело духовно-учебное старостью своею и своим отдалением от центра духовно-административного1347.
На другой день после свидания с Высокопреосвященным епископ Игнатий подвергся нервному удару в правую ногу (ichias), что заставило его отнестись к медицинской помощи и продлило пребывание его в Москве на целых две недели. Хотя множество поставленных пиявок ослабили действие удара, но с того времени Преосвященный постоянно чувствовал слабость и болезненность в этой ноге.
Для полноты очертания плодов деятельности епископа Игнатия на Кавказской кафедре здесь уместно будет сказать, что множество следственных дел, тянувшихся производством, часто по предлогам не только неуважительным, но даже и умышленно не добрым, множество неудовольствий между прихожанами и духовенством и еще большее число дел, возникавших от враждебных столкновений уездных гражданских властей с духовными — или были прекращены примирением враждовавших сторон, или разобраны и решены окончательно. Из множества их ко времени выбытия Епископа на покой осталось сравнительно ничтожное число неоконченных, так что вообще можно сказать все отрасли Епархиального управления оживились самою энергично-благотворною деятельностью.