Губернский прокурор мог быть, если хотел, влиятельным лицом и в тюремном управлении. Ровинский предавался этой стороне своей служебной деятельности с горячим усердием и любовью. Пример трогательного человеколюбца, тюремного доктора Федора Петровича Гааза, отдавшегося всецело делу помощи заключенным, утешению их и заботе о них, вызывал в Ровинском глубоко сочувственное к себе отношение и в слове, и в деле. Впоследствии, в официальных записках по поводу тюремной реформы и судебного преобразования, он не раз с особым уважением указывал на деятельность Гааза, девизом которого были удивительные по своей простоте и глубине слова: «Спешите делать добро!». Еще будучи губернским стряпчим, Ровинский, постоянно посещая заседания тюремного комитета , был очевидцем замечательного и памятного ему столкновения Гааза с председателем комитета, знаменитым митрополитом Филаретом, из-за арестантов. Филарету наскучили постоянные и, быть может, не всегда строго проверенные, но вполне понятные при старом строе суда, ходатайства Гааза о предстательстве комитета за «невинно осужденных» арестантов. «Вы все говорите, Федор Петрович, — сказал Филарет, — о невинно осужденных… Таких нет. Если человек подвергнут каре — значит, есть за ним вина»… Вспыльчивый и сангвинический Гааз вскочил с своего места… «Да вы о Христе позабыли, владыка!» — вскричал он, указывая тем и на черствость подобного заявления в устах архипастыря и на евангельское событие — осуждение невинного… Все смутились и замерли на месте: таких вещей Филарету, стоявшему в исключительно влиятельном положении, никогда еще и никто не дерзал говорить в глаза! Но глубина ума Филарета была равносильна сердечной глубине Гааза. Он поник головой и замолчал, а затем, после нескольких минут томительной тишины, встал и, сказав: «Нет, Федор Петрович! Когда я произнес мои поспешные слова, не я о Христе позабыл — Христос меня позабыл!..» — благословил всех и вышел.