Однако Анатолий Федорович и не предполагал, что именно эта научная работа может поставить под сомнение всю его дальнейшую карьеру. Сам он тогда чуть не угодил под суд. А случилось вот что. Свою первую диссертацию Анатолий Федорович готовил очень тщательно. Он взял малоизученную тему: «О праве необходимой обороны». Впоследствии Кони писал, что, собрав необходимый материл, он «засел за писание и проводил за ним почти все вечера, памятные мне и до сих пор по невыразимой сладости первого самостоятельного научного труда». Работа оказалась настолько глубокой, интересной и незаурядной, что ректор университета профессор С. И. Баршев даже предложил Кони читать вместе с ним курс уголовного права. Это открывало путь к заграничной командировке, возможности обучению в лучших иностранных университетах, подготовке магистерской и докторской диссертаций. Тем не менее Анатолий Федорович от столь лестного предложения отказался, считая себя недостаточно подготовленным для чтения лекций своим вчерашним товарищам. Труд Кони, по постановлению университетского совета, был опубликован в декабре 1865 года в первом томе Приложения к Московским университетским известиям. Вскоре в Главное управление по делам печати поступил донос из Министерства внутренних дел о том, что в диссертации Кони содержится «явная крамола», так как автор допускает возможность применения права необходимой обороны «против лиц, облеченных властью». Главное управление по делам печати завело «дело» на молодого юриста, которое с согласия министра внутренних дел передало в Министерство народного просвещения. С Кони беседовал исполнявший должность министра И. Д. Делянов. Однако на этот раз власти решили не поднимать шума. Они посчитали неудобным возбудить уголовное преследование, так как тираж книги был мизерный, всего 50 экземпляров. Анатолию Федоровичу было сделано устное внушение, а его куратору, профессору М. Н. Капустину — объявлено замечание.
В июне 1865 года Кони был причислен в качестве счетного чиновника к Государственному контролю, но уже 30 сентября того же года его перевели в Главный штаб с назначением состоять «для юридических занятий» и присвоили чин коллежского секретаря. Этот день и считается подлинным началом служебной деятельности Анатолия Федоровича. Несколько месяцев спустя, в апреле 1876 года, его назначили на должность помощника секретаря Санкт-Петербургской судебной палаты, а 23 декабря того же года он стал секретарем при прокуроре Московской судебной палаты Д. А. Ровинском.
Восхождение Кони по служебной лестнице началось со скромной должности товарища прокурора Сумского окружного суда, которую он занял 7 ноября 1867 года, а затем Харьковского окружного суда. На мировоззрении молодого юриста не могло не отразиться общее приподнятое настроение в обществе в связи с проведением Судебной реформы. Анатолий Федорович стал одним из самых горячих и искренних сторонников
Судебных уставов 1864 года и впоследствии всегда тяжело переживал любое их «коверканье». Начинающий прокурор громко заявил о себе уже в первые годы.
Он целые дни проводил за работой, изучая уголовные дела, руководя следствием, участвуя в раскрытии преступлений, наставляя и инструктируя судебных следователей, направляя работу присяжных заседателей. Уже в то время при раскрытии преступлений он старался опираться на научные изыскания ученых, судебных медиков. Он требовал от всех неукоснительного соблюдения закона, и сам всегда бережно относился к нему. Часто выступал в судебных заседаниях в качестве обвинителя, получив прозвище «свирепого прокурора».
В ноябре 1868 года молодой прокурор получает свою первую награду — орден Святого Станислава 2-й степени с императорской короной. В феврале следующего года он стал титулярным советником.
На дальнейшей карьере Кони благоприятно отразилась встреча с министром юстиции графом К. И. Паленым. Министр не любил отсиживаться в кабинете генерал-прокурорского дома. Он постоянно посещал судебные палаты и окружные суды, лично ревизовал их, мог заглянуть даже в провинциальные присутственные места. Летом 1868 года граф Пален во время ревизионной поездки посетил Харьков. Служивший там товарищем прокурора Кони произвел на него хорошее впечатление. По просьбе министра он представил подробные характеристики на всех судебных следователей своего участка.
Некоторые дела, которые возникали в Харькове, были довольно сложные и объемные. Так, дело о подделке и продаже рекрутских квитанций, жертвою коего стали 26 человек, составляло в общей сложности более двух тысяч листов. По нему проходили 14 обвиняемых и было свыше 150 свидетелей.
Не менее сложным было и дело о так называемой подделке серий (кредитных бумаг), которое возникло еще в старых судебных установлениях, но за взятки было приостановлено. Только после вмешательства Государственного совета следствие возобновилось. Министр юстиции граф Пален поручил руководить следствием лично Кони. Это дело он довел до суда.