И все же гражданские дела, это не уголовные. Однообразие практики стало его утомлять, а старики, сидевшие в департаменте, «застывшие в рутине и болезненно самолюбивые» действовали на него удручающим образом. В 1883 году за отличие по службе он был произведен в действительные статские советники. Но даже это радовало мало. Деятельной натуре сорокалетнего юриста нужен был простор. Масло в огонь подливали друзья, которые уговаривали Кони оставить службу и уйти в адвокатуру, намекая, что министерство, отняв у него «живое слово», обрекло его способности на «преждевременное увядание».
Министр юстиции Д. Н. Набоков не забыл своего обещания при случае перевести Кони вновь на уголовные дела. В конце 1884 года он внес императору предложение о назначении Кони обер-прокурором уголовного кассационного департамента Правительствующего сената. Когда об этом стало известно обер-прокурору Святейшего Синода К. П. Победоносцеву, то он немедленно обратился с письмом к Александру III: «Я протестовал против этого назначения, — говорилось в нем, — но Набоков уверяет, что Кони на теперешнем месте несменяем, тогда как обер-прокурором при первой же неловкости или недобросовестности может быть удален со своего места… Назначение это произвело бы неприятное впечатление, ибо Вам памятно дело Веры Засулич, а в этом деле Кони был председателем и выказал крайнее бессилие. А на должности обер-прокурора кассационного департамента у него в руках будут главные пружины уголовного суда России».
30 января 1885 года Анатолий Федорович все же назначается обер-прокурором уголовного кассационного департамента Правительствующего сената. Он пробыл на этой должности до 1897 года (в 1891–1892 годах временно был сенатором). За это время Кони дано почти 700 заключений по различным делам, а в качестве прокурора он выступил во многих процессах (по делам князей Щербатова и Мещерского, земского начальника Протопопова и др.).
По словам Кони, он стремился придать обер-прокурорской деятельности «влиятельный и благотворный характер». И ему это в полной мере удалось. Его заключения стали появляться в печати, на заседания кассационного департамента «повалила» публика. Да и сами сенаторы, сначала встретившие Кони чуть ли не враждебно, стали все чаще и чаще прислушиваться к его мнению. Кони писал, что в последние пять лет его обер-прокурорства не было случая, когда Сенат с ним бы не согласился, несмотря на то, что он давал заключения каждый вторник по всем делам, вносимым в департамент, исключая питейных, лесных и строительных. Кони частенько приходилось «воевать» с сенаторами, ломая застарелую практику, особенно по делам о клевете в печати и о преступлениях против веры.
В 1888 году по Высочайшему повелению Кони был командирован в Харьков для расследования причин крушения царского поезда, произошедшего 17 октября недалеко от станции Борки. В результате катастрофы погибли 19 человек, ранено — 14. Члены царской семьи, по счастливой случайности, не пострадали. В изорванной одежде, перепачканные они благополучно выбрались из искореженных вагонов. Александр III, проявляя самообладание и выдержку, сразу же отдал необходимые распоряжения об оказании помощи пострадавшим.
Следствие продолжалось три месяца, его материалы составили четыре больших тома, не считая многочисленных приложений. Все трудности и тяготы по «громадному и сложному следствию» Анатолий Федорович разделил с судебным следователем по особо важным делам Харьковского окружного суда Николаем Ивановичем Марки и прокурором того же суда Николаем Андреевичем Дублянским. О всех следственных действиях Кони регулярно докладывал сменившему Набокова новому министру юстиции Н. А. Манасеину в шифрованных телеграммах. Все же свои предложения, сомнения, наблюдения он излагал в частных письмах к нему. Докладывая императору о деле, министр однажды сослался на одно из таких писем, а впоследствии по просьбе Александра III, давал их ему на прочтение, не решившись сообщить об этом Кони.
Спустя месяц после начала следствия Манасеин вызвал Кони в Петербург для «представления государю личных объяснений по делу». Анатолий Федорович начал свой доклад с сообщения о том, что в результате предварительного расследования не установлено следов какого-либо террористического акта. Затем он изложил свои выводы о виновности должностных лиц, причастных к трагедии. По его словам, все они проявили «преступную небрежность к поезду чрезвычайной важности». Закончил свой доклад Кони сообщением о «хищнических действиях» правления при эксплуатации железной дороги, стремлении любым путем к наживе, безответственности служебного персонала и попустительстве всему этому со стороны Министерства путей сообщения. «Итак, ваше мнение, что здесь была чрезвычайная небрежность?» — спросил император. «Если характеризовать все происшествие одним словом, независимо от его исторического и нравственного значения, — ответил Кони, — то можно сказать, что оно представляет сплошное неисполнение всеми своего долга».