В 1845–1847 Аксаков служил товарищем председателя уголовной палаты в Калуге. В 1847 занял престижную должность обер-секретаря в 6-м департаменте Сената, но уже в следующем году подал в отставку в знак протеста против допущенной несправедливости (Сенат, несмотря на очевидность улик, оправдал одного вельможу, имевшего широкие связи, Аксаков же отказался поставить свою подпись под оправдательным приговором). В 1848 перешел в МВД под руководство графа Л. А. Перовского, где ему было поручено исследование религиозных сект в Бессарабии. К этому времени Аксаков уже серьезно проявил себя на литературном поприще. Работа была прервана неожиданным арестом, последовавшим в марте 1849 (основанием явилось то, что в одном из своих писем он возмущался арестом Ю. Ф. Самарина и обличал петербургскую аристократию, о чем благодаря перлюстрации переписки стало известно III отделению Собственной Его Императорского Величества канцелярии). Через несколько дней освобожден под негласный надзор полиции. Службу в министерстве продолжил в Ярославской губ. (1849–1851), из-за конфликта с министром А. А. Перовским, который настаивал на прекращении Аксаковым «авторских трудов», вышел в отставку (1851).
Во время Крымской войны (1854–1856) вступил добровольцем в Серпуховскую дружину Московского ополчения (в военных действиях не участвовала). В 1856 служил в Особой комиссии, учрежденной для расследования злоупотреблений по снабжению продовольствием Крымской и Южной армий. В 1857 путешествовал по Европе, посетил в Лондоне А. И. Герцена.
Аксаков был видным представителем славянофильства в России, вел активную литературную и издательскую деятельность, редактировал газеты и журналы («День», «Москва», «Москвич», «Русь», «Парус», «Русская беседа» и др.). Занимал независимую позицию по ряду принципиальных социально-политических вопросов, остро критиковал правительство, за что не раз подвергался гонениям и преследованиям со стороны властей. Известный публицист М. К. Лемке называл Аксакова «страстотерпцем цензуры всех эпох и направлений».
Умер 27 января 1886 в г. Москва. Похоронен в Троице-Сергиевой лавре.
Как министр юстиции Виктор Никитич Панин заботился о правильной постановке работы суда и прокуратуры, боролся с волокитой. Преобразовал межевую часть министерства, учредил консультацию, создал в Москве архив Министерства юстиции. Отличаясь консервативностью взглядов, граф был решительным противником серьезных преобразований и реформ. И все же именно при нем следствие было отделено от полиции и создан институт судебных следователей.