Службу на прокурорском поприще он начал с того, что основательно проштудировал всю нормативную базу, которой следовало ему руководствоваться в своей деятельности, познакомился с «внутренним положением» поднадзорного ему департамента, порядком ведения дел. Департамент, где он служил, был, по его выражению, «энциклопедическим». Именно сюда стекалось множество уголовных и гражданских дел из Малороссии, Царства Польского, Лифляндии, Курляндии, Эстляндии и Финляндии. Департаменту были подведомственны Юстиц-коллегия, полиция, почта. Сенаторы обязаны были заниматься организацией работы школ и училищ, следить за устройством дорог и водных сообщений. Работы было много, а для Дмитриева она была поначалу к тому же совершенно незнакомой и немного занудной. Ведь в душе он все же оставался поэтом…
Нужно отдать должное Ивану Ивановичу — он довольно быстро освоил круг своих обязанностей и с первых дней пребывания в должности обер-прокурора очень хорошо вписался в роль и активно отстаивал интересы законности. Это не всегда нравилось сенаторам. «Едва ли проходила неделя без жаркого спора с кем-нибудь из сенаторов, без невольного раздражения их самолюбия», — вспоминал позднее Дмитриев. Стычки по службе случались у него даже с поэтическим наставником Г. Р. Державиным, которого Дмитриев «любил и уважал от всего сердца». «Благородная душа его, — вспоминал Дмитриев, — конечно, была чужда корысти и эгоизма, но пылкость ума увлекала его иногда к решениям, требовавшим для большей осторожности других мер, некоторых изъятий или дополнений. Та же пылкость его оскорблялась противоречием, однако же, не на долгое время: чистая совесть его скоро брала верх, и он соглашался с замечанием прокурора».
Служба его продвигалась успешно. В ноябре 1798 года он получил чин действительного статского советника. Однако времени для творчества практически не оставалось. По этому поводу он писал: «Во все это время, находясь в гражданской службе, я уже не имел досуга предаваться поэзии. Притом же и сам хотел на время забыть ее, чтобы сноснее для меня был запутанный, варварский слог наших толстых экстрактов и апелляционных челобитен».
В декабре 1799 года жизнь Дмитриева опять круто изменилась. Неожиданно для всех, в том числе и для генерал-прокурора А. А. Беклешова, Дмитриев подает в отставку. 30 декабря он освобождается от занимаемой должности с пенсионом и присвоением чина тайного советника. Дмитриев селится в Москве и занимается исключительно литературной деятельностью. В 1803–1805 годах выходят в свет три тома его сочинений.
Однако в феврале 1806 года его покой опять был нарушен. Молодой император Александр I, хорошо знавший Дмитриева, вновь призывает его на службу. Иван Иванович становится теперь сенатором в седьмом департаменте Правительствующего сената. В том же году он получил орден — Святой Анны 1-й степени. В 1807 году граф Завадовский, по желанию императора, предложил Дмитриеву занять пост попечителя Московского университета, на что Иван Иванович уклончиво ответил, что охотно бы на это согласился, если бы усердие заменяло сведения и дарования.
Но император по-прежнему доверяет Ивану Ивановичу и, судя по его действиям не собирается вычеркивать Дмитриева из списка своего резерва — он выполняет многие его личные поручения. В 1808 году Дмитриев удачно выполнил два задания императора: сначала произвел следствие в Рязани о злоупотреблениях по винным откупам, а потом в Костроме «исследовал поступки» губернатора Пасынкова.
Его умение объективно и оперативно разобраться в ситуации оценивается монархом — 1 января 1810 года Дмитриев становиться членом Государственного совета, назначается министром юстиции и генерал-прокурором. 30 августа 1810 года ему вручается орден Святого Александра Невского.
Правосудие и прокурорский надзор находились тогда не в лучшем состоянии: множество инстанций только способствовали проволочкам и волоките, мало выделялось средств на содержание судебных мест, особенно палат гражданской и уголовной, зачастую чиновники назначались по протекции и т. п.
Иван Иванович энергично принялся за работу, сумел провести ряд важных узаконений. У него было много хороших идей о наилучшем устройстве судебной и прокурорской частей. Но до осуществления их дело, как правило, не доходило. Он активно поддержал проект И. М. Наумова об учреждении Дома практического правоведения, который должен был стать «местом открытого адвокатства». Дмитриев признавал полезным открытие в России училищ законоведения, куда принимались бы не только дворянские, но и купеческие и мещанские детей. По его мнению, если бы этот проект осуществился, то через несколько лет можно было бы установить правило, чтобы «никого из стряпчих не допускать к хождению по делам без одобрительного свидетельства одного из сих училищ». «Таким образом, — писал он, — невежество и ученичество мало-помалу истребились бы между судьями и приказными служителями».