В 1861 году он фактически и навсегда порывает с Герценом и Огаревым. В 1862 году на страницах катковского «Русского вестника» появляется заключительная часть его памфлета «Февраль и март в Париже, 1848 г.». И вступление к памфлету и само повествование об «умственной анархии», якобы пережитой Францией в 1848 году, имеют целью предупредить русское общество от повторения подобных «случайных» событий. В этом же году в «Современной летописи», на страницах которой М. Катков с разрешения властей начинает печатать клеветнические измышления о Герцене и Огареве, появляется статья Анненкова «Письмо из Киева», проникнутая шовинистическими настроениями.
В 1863 году, в связи с выступлением Герцена и Огарева в поддер-жку польского восстания, «трезвый» Анненков уже прямо и откровенно обвиняет былых друзей в отсутствии политического чутья. «А что за год мы прожили? — писал Герцен своей приятельнице М. К. Рейхель 28 августа 1864 года, — Даже Павел Анненков и тот лягнул в письме».
В дальнейшем Анненков даже и теоретически пытался обосновать свой отход вправо. По его мнению, крестьянская и судебная реформы шестидесятых годов являются якобы столь крупными и радикальными социальными переворотами «мирного» характера во всем строе русской жизни, что они в корне исключают историческую потребность в революционной деятельности на русской почве. Пореформенной России нужны, дескать, не Герцены, не Чернышевские и даже не Базаровы, а «трезвые» деятели легальной и мирной будничной работы вроде Калиновича из «Тысячи душ» Писемского или тургеневского Потугина из «Дыма».
Сплошь и рядом эта реакционная концепция приводила Анненкова к вопиющей неправде в критических оценках, к выпячиванию слабых и замалчиванию сильных, наиболее ценных сторон того или иного произведения.
Например, в статье «Русская беллетристика и г-н Щедрин» (1863) Анненков, хотя и неглубоко, но все же положительно оценивая сатиру Щедрина, вместе с тем недоумевал, почему писатель «снова возвращается к упраздненному крепостному праву». По мнению Анненкова, крепостничество-«отошедший» в прошлое порядок. По мнению же Щедрина, реформа 1861 года почистила лишь фасад Российской империи, а крепостничество осталось в своих основах и пропитывает собою всю пореформенную русскую жизнь. И последующее развитие показало, насколько был прозорлив демократ Щедрин и как глубоко заблуждался либерал-постепеновец Анненков, сторонник «дельного мыслящего консерватизма» во всем, начиная с политики и кончая эстетикой.
Анненков превозносит как произведение «замечательное» и «очень талантливое» реакционный пасквиль Писемского на «нигилистов» и «герценистов» — его роман «Взбаламученное море», остроумно названный Герценом «взболтанной помойной ямой». Анненкова вполне устраивает грубо намалеванная в этом романе «картина всеобщей игры орудиями протеста при неимении истинного его содержания», и критик-эстет упрекает Писемского лишь за «художническую неслаженность» произведения.
С середины шестидесятых годов Анненков подолгу живет с семьей за границей, а в дальнейшем обосновывается там на постоянное жительство, лишь наезжая в Россию. С отъездом за границу обрывается и его активная критическая деятельность.
Последние статьи Анненкова о произведениях текущей литературы, такие, как «Современная история в романе И. С. Тургенева „Дым“ (1867) или „Война и мир“. Роман гр. Л. Н. Толстого. Исторические и эстетические вопросы» (1868), по-прежнему обнаруживают хороший художественный вкус и эстетическую чуткость их автора. Но когда речь заходит о соотношении изображенного с реальной жизнью России, о значении произведения в идейной жизни эпохи, у Анненкова будто исчезают на это время тонкий вкус и природный ум, живая мысль уступает место голой буржуазно-постепеновской тенденции.
Живя за границей, Анненков по-прежнему в курсе всех дел и событий русской жизни. Участие в издании «Вестника Европы» и общение на этой почве с Пыпиным и Стасюлевичем, дружба с Тургеневым, приятельские отношения с Щедриным, Писемским, деятельная переписка с множеством русских литераторов, а главное, работа над литературными воспоминаниями, о создании которых Анненков стал думать, очевидно, сразу же после смерти Герцена (1870), — все это тесно связывает его с литературной жизнью эпохи до конца дней.