В 1825 г. Гааз занял должность московского штадт-физика (главного городского врача). Узнав, что его предшественник был облыжно смещен с этого поста, регулярно отдавал ему свою зарплату. Бескомпромиссная борьба доктора с канцелярщиной чиновников, жестокосердием коллег-врачей привела к ряду преобразований по медицинской части города, но настолько восстановила против него бюрократов и эскулапов, что через год Федор Петрович вынужден был оставить должность и вернуться к частной практике. (Гааз завел на аптечных складах кошек, уничтоживших там мышей, на которых аптекари списывали украденные ими лекарства. Обвиненный аптекарями в казнокрадстве, доктор вынужден был 12 лет доказывать свою правоту по судам.)
Когда в 1828 г. в Москве был учрежден губернский тюремный комитет, генерал-губернатор князь Д.В. Голицын, лечащим врачом которого был Гааз, ввел Федора Петровича в состав комитета (секретарем), а в 1830 г. назначил его главным врачом московских тюрем. Из 293 заседай комитета доктор отсутствовал только на одном — по болезни.
Впервые посетив московские тюрьмы, Гааз воочию увидел там кромешный ад. Доктора как подменили. Он «навсегда перестал жить для себя», отдав новому поприщу всю свою жизнь и все свое состояние — он распродал все, что было у него, включая одежду и посуду. Для Федора Петровича не было виновных, для него они все были «несчастными». Провозгласив: «Торопитесь делать добро», он творил его ежечасно, точно этот час был последним в его жизни. Назовем хотя бы главные из добрых дел филантропа.
Еженедельно отправляя из Московской пересыльной тюрьмы на Воробьевых горах партии арестантов в Сибирь (в год через Москву проходило 4,5 тысячи ссыльнокаторжных и столько же «бродяг»), главврач несколько лет бился за отмену препровождения ссыльных на «пруте генерала Дибича». Арестантов приковывали к одному железному пруту по 8 — 12 человек без различия пола, возраста, состояния здоровья, безотносительно меры наказания. По нескольку дней от одной «пересылки» к другой они шагали, спали, ели, справляли нужду, тащили больных и мертвых, поскольку замки, которыми арестанты прикреплялись к пруту, замыкались ключом, который опечатывался и хранился в специальной сумке сопровождающего. Передышка наступала, только когда ссыльные приходили на очередную «пересылку».
Несмотря на упорное сопротивление властей, Гааз упразднил в Москве этот прут, предварительно заменив его на сконструированные им самим облегченные кандалы, названные благодарными арестантами «гаазовскими». Эти кандалы Федор Петрович изготавливал за свой счет.
Добился доктор также и отмены бритья половины головы у этапируемых женщин, а потом и у мужчин, не лишенных всех прав состояния; освобождения от кандалов стариков и больных; обшивания кожей железных колец наручников. Надо сказать, что многие из нововведений Гааза были впоследствии узаконены по всей стране.
Известно, что по ходатайствам Гааза (от местного начальства до короля Пруссии) было помиловано или смягчена участь 142 арестантов. По настоянию главврача был введен запрет на ссылку крепостных по распоряжению помещиков и на разлуку детей осужденных с родителями (Гааз выкупил 274 ребенка). Для жен заключенных Гааз устроил дом дешевых квартир.
Помогал Гааз арестантам и едой. (Сам же он, трудясь ежедневно с 6 утра до 11 вечера, питался одной лишь кашей.) Собрав 11 тысяч рублей, доктор внес их в комитет для улучшения пищи узников, каждый понедельник привозил к устроенному по его настоянию Рогожскому полуэтапу продукты.
Для ссыльных доктор устроил на свои и на собранные средства больницу на 120 кроватей на Воробьевых горах, в которой арестанты имели возможность передохнуть перед Владимиркой, а он в это время мог ознакомиться с их нуждами. При этом Гааз никогда не интересовался происхождением узников, их национальностью и религией. Он всем им раздавал церковные и гражданские азбуки, книги духовного содержания, написанную и изданную им «Азбуку христианского благонравия» — только за первые 15 лет своего служения Гааз раздал свыше 120 тысяч экземпляров разных книжек.
Гааз постоянно собирал большие суммы для покупки арестантам рубах и тулупов; делал ежегодные пожертвования на покупку бандажей для арестантов, страдавших грыжею.
Доктор переписывался со ссыльными, по их просьбе навещал родных, высылал им деньги и книги.
Одновременно Гааз добился частичной перестройки московского губернского тюремного замка (Бутырки), и тоже на свои и на собранные им деньги. В середине 1830-х гг. тюремный замок принял образцовый вид; «впервые в камерах были сделаны окна, поставлен умывальник; можно было спать на нарах (до тех пор спали на полу)»; отдельно была устроена школа для арестантских детей при пересыльной тюрьме.
В 1844 г. Гааз точно так же создал еще одну «полицейскую больницу для бесприютных» (ныне Александровская больница), которую народ называл Гаазовской. Выкупал доктор и должников из «долговой ямы». Всякий мог днем и ночью попросить у врача помощь и получить ее — говорили тогда: «У Гааза нет отказа».