Государственная служба Ровинского началась, когда ему еще не было полных двадцати лет. Родившийся 16 августа 1824 г., он был определен на службу в седьмой департамент Сената 13 июня 1844 г., тотчас по окончании курса одним из первых в Училище правоведения. Седьмой департамент, где уже в декабре 1844 года Ровинский занял должность помощника секретаря, находился в Москве. В «белокаменную» влекли молодого юриста воспоминания детства и родственные отношения. Там прожил до самой своей смерти, в 1838 году, его отец, женатый на дочери лейб-медика Екатерины II — Мессинга, участник войн с Наполеоном и командир нижегородского ополчения в 1812 году, бывший затем, до 1830 года, вторым полицеймейстером Москвы и деятельным сотрудником старшего полицеймейстера генерала Шульгина по устройству городской пожарной команды. К изображению Шульгина в «Русских гравированных портретах» Ровинского приложен следующий характерный отзыв об этом оригинале графа Н. Н. Муравьева-Карского: «Человек простой и грубый, но исправный и проворный, хотя без дальних соображений, постоянно был употребляем в должности полицеймейстера, к ней имел особое призвание, — большой крикун, хлопотун, любивший рассказывать о своих подвигах, тушить пожары и иногда своеручно поколотить…» Эта любовь его к тушению пожаров, искусно направляемая отцом Д. А. Ровинского, имела своим последствием образцовую по тому времени организацию пожарной команды, которою москвичи гордились пред иностранными гостями, а резец народных художников запечатлел в лубочных листах под названием: «Действие московской Пожарной Команды во время Пожара», причем Шульгин нарисован мчащимся, парою, стоя на «калибере» в сопровождении казака и жандарма.
С начала 1848 года Ровинский, оставив Сенат, исполнял обязанности московского губернского казенных дел стряпчего; с лета 1850 года, в течение почти трех лет, обязанности товарища председателя Московской уголовной палаты, а в августе 1853 года был назначен на особо важный, трудный и ответственный пост московского губернского прокурора. Должность эта, составляя наследие петровских времен и одно из лучших украшений екатерининских учреждений, имела огромное значение в нашем дореформенном строе. Упразднение связанных с нею прав и обязанностей по надзору за ходом не судебных дел следует признать большою ошибкою составителей Судебных уставов. Совершенное изменение в характере деятельности прокурора, придавая ему «обвинительную обособленность», быть может, и выходило красивым с теоретической точки зрения, но противоречило условиям нашей административной жизни и шло вразрез с внутренними потребностями нашего губернского строя. В торопливом осуществлении страстного желания поскорее расчистить для новых насаждений место, поросшее бурьяном и полусгнившими деревьями, был срублен дуб, стоявший на страже леса…
Губернский прокурор с губернскими стряпчими составлял особое, во многих отношениях совершенно независимое от местной администрации учреждение, так называемую «прокурорскую камеру». Оно имело надзор за всеми местными присутственными местами, определения которых только тогда признавались соответствующими закону и приводились в исполнение, когда на них была известная прокурорская помета: