О том, как он старался избегать внимания к своей особе, когда это не было сопряжено с какой-либо необходимостью, сохранилось немало воспоминаний. Преподобный Амвросий Оптинский писал, что Филарет «держался такой спрятанности, что келейные его не только не знали его сокровенной жизни, но и не могли видеть, как он умывался: «Подай воды и иди». Случалось, келейный оставался и хотел помочь в этом старцу. Он повторял: «Ведь сказано тебе, иди!» И тот, делать нечего, хоть неохотно, а уходил».
Резко отличались священнические облачения Филарета от его обыденной одежды. Во время богослужений он считал необходимым облачаться в красивые нарядные рясы, чтобы видно было: се иерарх Русской православной церкви! В обычной же обстановке он предпочитал в холодное время года шерстяные полукафтанья с отвернутыми обшлагами или просто с широкими рукавами, а летом надевал или простой белый льняной подрясник, или черный шерстяной, в зависимости оттого, какая погода. Ближе к пятидесяти годам он стал часто простужаться и потому одевался теплее, чем в молодости. Вместо обычного монашеского пояса он употреблял кушак, а на голову надевал либо плетеную сетку, либо черную скуфью. Морозные дни на нем можно было видеть меховую лисью шубу. Рыжую лисицу почитал наилучшей среди пушных зверей. Притом что лисья шуба считалась в России самой дешевой.
С годами он не утрачивал любви к скромности в домашней обстановке. Любил недорогую мебель и сердился, когда кто-либо желал украсить его быт. Митрополичий посох у него был простой, деревянный. Он вообще любил некрашеное дерево — стены, полы, потолки. Архимандриту Антонию приказывал ни в коем случае не красить полы в его покоях.
То же самое и в еде. Филарет любил обильно потчевать своих гостей, но сам довольствовался куском рыбы, кашей, а больше всего любил, когда нет поста, лесную ягоду с молоком — малину, чернику, землянику.
Внешний облик его мог показаться неказистым, если бы не искрометный ум, сверкающий в его живых глазах. Викарий святителя, епископ Леонид (Краснопевков) однажды записал: «Вчера долго молча смотрел на него, когда он рассматривал каталоги, и стоял перед ним. Пройдут века: имя его вырастет необыкновенно. Мысль будет искать в прошедшем его великого образа, и счастлив тот, кто увидит его несовершенный портрет, а я, недостойный, стою от него в полуаршине и смотрю на эту чудно-правильную, кругленькую головку, покрытую редкими, мягкими темно-русыми волосами, на это высокое выпуклое чело, этот резко очертанный нос и дивно-правильные губы, на эти бледные, худые, осанистой бородой покрытые щеки. Под прекрасно очеркнутыми бровями не вижу его глаз, но замечаю, что какую-то особенную выразительность придает его благородному лицу эта черепаховая оправа очков».
Роста он был невысокого, можно даже сказать, маленького. Но следует заметить, что ученые, изучавшие сей вопрос, утверждают, что на рубеже XVIII–XIX веков вообще наблюдался странный феномен низкорослости. Данные о параметрах одежды показывают, что люди не отличались большими размерами. Такие гиганты, как Николай I, были исключением из правила. Зато миниатюрных и изящных, как Филарет или Пушкин, было множество.
Здоровье Филарета к пятидесяти годам несколько ухудшилось, он нередко хворал, стало слабеть зрение. Но, возможно, это являлось следствием некоего переживаемого им переходного возраста, который настигает мужчин в середине жизни. Кто-то переживает его ближе к сорока, кто-то — ближе к пятидесяти. До старости Филарету было далеко, после пятидесятилетия Господь отпустит ему еще добрых тридцать пять лет жизни.
Через неделю после этой оставшейся незаметной годовщины в своей келье в Дивеевском монастыре преставился ко Господу схимник Серафим Саровский. С этого времени упоминание имени Серафима стало появляться в письмах Филарета, который с каждым годом все более и более постигал значение святого старца, стал печься о том, чтобы появилось его житие.
Только что, в 1832 году, был причислен клику святых Митрофан Воронежский, епископ, благоволивший Петру I в деле создания флота, помогавший первому российскому императору строить в Воронеже верфь. Митрополиту Филарету особенно нравился рассказ про то, как Митрофан явился во дворец к государю, но, увидев там изображения греческих и римских богов, тотчас развернулся и ушел. Когда Петру донесли об этом, царь пришел в ярость и потребовал от епископа немедленно явиться. Но Митрофан был непреклонен и отвечал, что придет только тогда, когда языческие истуканы будут убраны. В итоге на уступку пошел государь, статуи на время визита во дворец Митрофана были убраны.