Деятельность Кони в качестве прокурора Санкт-Петербургского окружного суда была многообразной и разносторонней. Она не ограничивалась лишь участием в судах. Он умело руководил подчиненным ему аппаратом. Анатолий Федорович впервые стал практиковать проведение в своей «камере», то есть кабинете, «вечерних заседаний», на которые приглашал подчиненных. Вначале это вызывало недопонимание и даже протесты некоторых его товарищей, так как они считали, что незачем тратить время там, где все вопросы могут разрешаться единоличной властью. Вскоре полезность таких совещаний стала для всех очевидной. На них вырабатывались положения, опираясь на которые товарищи прокурора давали единообразные заключения в распорядительных и судебных заседаниях. Да и сам окружной прокурор не раз заявлял в суде, что его мнение «подкреплено постановлением общего собрания товарищей».
Когда в 1874 году граф Пален, не удовлетворенный деятельностью суда присяжных, стал «подкапываться» под него и потребовал от прокуроров представления сведений о числе оправдательных приговоров, вынесенных присяжными, Кони использовал совещание для выработки согласованных действий. По результатам обсуждения он издал циркуляр, в котором предлагал своим подчиненным искать причины оправдательных приговоров в фактических обстоятельствах каждого конкретного дела, не входя при этом в оценку «организации судебных учреждений и правильности деятельности их отдельных органов».
За время службы в качестве прокурора Санкт-Петербургского окружного суда Кони достиг чина коллежского асессора и был награжден орденом Святого Владимира 4-й степени.
В июле 1875 года Кони становится вице-директором департамента Министерства юстиции. Граф К. И. Пален, назначая Кони, сказал, что ему нужна в министерстве «судебная совесть». Кони становится одним из ведущих сотрудников министерства, участвует во всех совещаниях у графа Палена. Он получает новые чины, сначала надворного советника, затем коллежского советника. Его имя приобретает известность при Высочайшем дворе. В 1875 году он вошел в Совет управления учреждений великой княгини Елены Павловны, затем стал членом Высочайше учрежденной комиссии для исследования железнодорожного транспорта в России.
В качестве профессора Кони начинает читать лекции по уголовному судопроизводству в Императорском училище правоведения (с 1876 по 1883 год). В 1876 году он стал одним из учредителей юридического общества при Санкт-Петербургском университете. С самого начала своей прокурорской деятельности он активно сотрудничал в «Журнале Министерства юстиции», «Правительственном вестнике», «Русской старине», «Вестнике Европы» и других периодических изданиях.
29 апреля 1877 года Кони назначается директором департамента Министерства юстиции. В июне того же года определением Правительствующего сената он утверждается почетным мировым судьей по Санкт-Петербургу.
24 декабря 1877 года Анатолий Федорович возглавил Санкт-Петербургский окружной суд. В этом качестве ему пришлось 31 марта 1878 года председательствовать на известном процессе В. Засулич, стрелявшей в градоначальника Трепова. Несмотря на явно политическую подоплеку этого преступления, прокурор Санкт-Петербургской судебной палаты А. А. Лопухин убедил министра юстиции вести дело как обычное уголовное, передав по окончании на рассмотрение суда присяжных.
Незадолго до суда граф Пален вдруг забеспокоился. Он пригласил к себе Кони и прямо спросил его, может ли он ручаться за вынесение обвинительного приговора. Тот откровенно сказал, что не может. Ответ возмутил Палена. «Не можете? Ну, так я доложу государю, что председатель не может ручаться за обвинительный приговор; я должен это доложить государю!» Кони сказал, что он также настаивает на этом. Однако такой доклад не состоялся — Пален на него не решился.
Накануне процесса министр еще раз встретился с Кони. «Ну, Анатолий Федорович, — начал он, — теперь все зависит от вас, от вашего умения и красноречия». На это Кони резонно заметил, что «умение председателя состоит в беспристрастном соблюдении законов, а красноречивым он быть не должен, ибо существенные признаки резюме — бесстрастие и спокойствие».
Граф Пален намекнул, что Кони мог бы повлиять на присяжных, которые «сделают все, что он скажет». Анатолий Федорович опять возразил, сказав, что «влиять на присяжных должны стороны», это их «законная роль». Тогда министр, хитро подмигнув, произнес: «Знаете что? Дайте мне кассационный повод на случай оправдания». На такое предложение Кони, с присущей ему достоинством, ответил: «Ошибки возможны и, вероятно, будут, но делать их сознательно я не стану, считаю это совершенно не согласным с достоинством судьи».
В. И. Засулич была судом оправдана. Встретив Кони после суда, граф Пален смог только заметить: «Ну, вот, видите, каковы они, ваши присяжные! Ну, уж пусть теперь не взыщут, пусть не взыщут!».