Этот многоталантливый человек родился в Петербурге в семье известного литературного и театрального деятеля, автора многих прекрасных водевилей Ф. А. Кони. В течение 10 лет воспитывался дома, затем учился в немецкой школе при церкви Св. Анны и во 2-й Петербургской гимназии. В 17-летнем возрасте поступил на математический факультет С.-Петербургского университета. Кто знает, может быть, Россия приобрела бы блестящего математика (академик Сомов пришел в восторг от ответов юноши на вступительных экзаменах), но тогда непременно потеряла бы выдающегося юриста. Однако заниматься пришлось недолго, так как из-за студенческих беспорядков университет закрыли. На следующий год Кони поступил уже на юридический факультет, который окончил в июне 1865 со степенью кандидата прав. С этого времени начинается его подвижническая деятельность на юридическом поприще.
Первое время молодой юрист был мелким чиновником в Государственном контроле, затем — в Главном штабе. Несколько месяцев служил помощником секретаря С.-Петербургской и секретарем Московской судебных палат. Началом его восхождения по служебной лестнице можно считать скромную должность товарища прокурора Сумского окружного суда, которую занял в 1867, и Харьковского окружного суда. На мировоззрении молодого юриста не могло не отразиться общее приподнятое настроение в обществе в связи с проведением Судебной реформы. Анатолий Федорович стал одним из самых горячих и искренних сторонников Судебных уставов 1864 и впоследствии всегда тяжело переживал любое их «коверканье». Начинающий прокурор громко заявил о себе уже в первые годы. В 1869 находясь за границей, Кони встретился с министром юстиции графом К. И. Паленом, на которого произвел хорошее впечатление. По словам А. Ф. Кони, министр пригласил его к себе в октябре, чтобы «потолковать о переводе из Харькова».