В 1798 году отец Филарет, как опытный в духовной жизни, архимандритом Иакинфом и всем братством избран в должность братского духовника. Но в следующем году по случаю болезни и крайнего изнеможения и слабости от всех должностей уволен и оставлен на больничном содержании.
С этого времени отец Филарет исключительно подвизался в молитве, в чтении книг священных и писаний святых отцов. Редко переступал он за ворота монастырской ограды; только в тихие летние вечера, когда умолкало движение народа, выходил он с другом своим архимандритом Александром (в 1811 году был сделан архимандритом в Арзамасе) и еще отцом Михаилом, близким к нему по духу, на уединенную прогулку вокруг монастырских стен. Кроме этих лиц, отец Филарет имел по временам духовное общение со схимонахом Афанасием, по фамилии Захаровым, постриженником старца Паисия, когда тот из Флорищевой пустыни (Владимирская епархия) приезжал в Москву.
Проведя несколько лет в строгом безмолвии, отец Филарет остальную часть жизни своей, приблизительно с 1809-го или 1810 года, посвятил открытому служению ближним, предлагая назидательные советы и утешение всем того требовавшим, без различия лиц и состояний. Но деятельность его на этом поприще на некоторое время была прервана, по причине несчастных событий 1812 года. Перед нашествием французов на Москву (они вошли в столицу 2 сентября, оставили ее 11 октября), старец уезжал с семейством Н. И. Курманалеевой в ее поместье, находящееся в Вологодской губернии. Здесь, на закате солнца, он любил прогуливаться с племянником помещицы, нежно любимым ею, Г. С. Карновичем, тогда еще мальчиком. Зная, что в их подмосковном имении есть каменная гора, Филарет сказал однажды Карновичу: «Не забудь, когда вырастешь большой, поставить из твоей горы камушек на моей могилке, только простой». Воля смиренного старца была по его смерти исполнена во всей точности.
На пути в Вологодскую губернию и потом на обратном в Москву Филарет посетил Ростовский Яковлевский монастырь, где незадолго пред тем была похоронена его мать и где настоятельствовал его брат архимандрит Аполлинарий.
Вероятно, в это время и началась дружба старца Филарета со старцем Амфилохием, иеромонахом Яковлевского монастыря, который сорок лет предстоял раке святителя Димитрия и скончался в 1824 году.
По возвращении в Москву старец Филарет продолжал почти до самой кончины наставлять и помогать ближним. Нередко случалось, что от множества посетителей старец не имел времени ни для трапезы, ни для краткого отдыха, несмотря на мучительную болезнь (грыжа), от которой страдал.
Прозорливость старца была поразительная. Он отвечал прямо на мысль: иногда случалось, что кто-нибудь говорил ему совсем противное тому, что знал или чувствовал, а старец, как бы не слушая рассказа, отвечал прямо на внутреннее настроение этого человека. И тот приходил в страх и исповедовал истину. Исповеди, как таинства, он не совершал, но ему многие открывали свои грехи с тем, чтобы получить от него назидание и умиротворение совести. Подобно другим новейшим подвижникам благочестия Филарет давал письменные ответы спрашивающим его заочно (писал крупными буквами).
Крестьянка графини Орловой-Чесменской в слезах рассказывала старцу Филарету, что ее сын, приказчик московского торговца (на Калужском рынке), посланный своим хозяином для собирания долгов, уже несколько недель пропал без вести. «Сядь, друг, — сказал ей старец, — полно плакать: твой сын не пропал, он находится в хорошем месте и скоро придет». Действительно, сын вскоре возвратился; вместо того, чтобы производить сбор денег, он попытался поступить в какой-нибудь из дальних монастырей, но без паспорта нигде не был принимаем и принужден возвратиться. Через несколько времени этот молодой приказчик, по внушению матери, пришел к старцу — испросить благословение на поступление в монастырь. Старец сказал: «В монастырь не долго благословить, но трудно жить в монастыре, ты не вынесешь. Погоди, дитя мое, погоди!»
Племянница генерала Л-на, Екатерина, приехала к отцу Филарету вместе со своим женихом. Старец, благословляя невесту, сказал тихо, что ее ждет жених лучший. Через три дня она сильно простудилась и умерла.
Известна встреча старцев Зосимы (Верховского) и Филарета. Отец Зосима, основавший в 1826 году близ Москвы Троице-Одигитриевскую пустынную обитель для своих учениц, последовавших за ним из Сибири, хотел уйти в Соловецкий монастырь и решил обратиться за советом к старцу Филарету. По пути в Новоспасский монастырь отец Зосима зашел в Иверскую часовню и усердно молился Богоматери, прося открыть ему волю Божию чрез старца Филарета. Войдя в его келью, отец Зосима смиренно поклонился старцу Филарету в ноги и рассказал все истинно и чистосердечно. Тот, не размышляя долго, решительно с твердостью сказал: «Бога ради не оставляй врученные тебе души, — возвратись», — и старец Зосима вернулся к сестрам.