В 1860 году Петр Андреевич становится директором департамента общих дел МВД. Человек консервативных взглядов, Шувалов был ярым противником реформ, но именно в годы их проведения он достигает высших государственных постов. В год отмены крепостного права он назначается начальником штаба Корпуса жандармов и управляющим III отделением. Наверное, это была не лучшая должность, но она давала власть. Жандармско-полицейская служба в сознании русского человека всегда вызывала чувство настороженности, опасения и брезгливости, а III отделение получило эпитет «государственной помойной ямы». Один из тех, кто достаточно близко знал Шувалова, писал, что граф «по семейным преданиям своим и по расчету личных выгод предпочитает самодержавие как самую выгодную форму правления для людей», но «готов служить всякому, кто облечет его властью». На этом посту самыми «громкими» его делами были ликвидация студенческих беспорядков в столице и первый политический процесс – дело М.Л. Михайлова. Шувалов никогда не забывал напоминать государю, что своей безопасностью он обязан усилиям III отделения.
Еще три года, и мы видим Шувалова на должности генерал-губернатора Остзейского края (Лифляндия, Эстляндия, Курляндия) и командующего войсками Рижского военного округа. Работа здесь требовала не только опыта, но и дипломатических способностей, так как любой генерал-губернатор этого края сталкивается с большим количеством проблем. Вот некоторые из них: окончательное и прочное объединение Остзейского края с Россией; готовность и принятие мер в случае политических столкновений на западной границе; предотвращение волнений в среде немецкого населения края и другие. Никаких особых нововведений Шувалов не привнес. Ему удавалось сохранять не только спокойствие в крае, но и продемонстрировать особую энергию и активность. Все свои распоряжения он сопровождал массой подробных предписаний. Он строго пресекал любое проявление сепаратизма, не допускал расширения прав местного дворянства, поддерживал деятельность православной церкви в крае. Все конкретные дела глава краевой администрации старался решать мягко, используя тактику компромисса, и местные жители были довольны разумностью губернаторских решений. Конечно, были и трудности, но главной из них стала боязнь Шувалова сделать что-нибудь такое, что могло не понравиться монарху и двору, так как из этой должности граф решил извлечь максимальный политический капитал для дальнейшего пути вверх по ступеням власти.
Энергия генерал-губернатора была достойно оценена императором, а политические противники графа почувствовали беспокойство от усиления его позиций.
Наступает 1866 год. Граф Шувалов отмечает свое 39-летие и достигает зенита «славы». После неудачного покушения Дмитрия Каракозова на императора Шувалов назначается на пост шефа жандармов и главного начальника III отделения. Пребывание на этой должности явилось временем наиболее сильного его влияния на внутреннюю политику. Почти восемь лет он являлся ближайшим советником императора и был наделен широкими, почти диктаторскими полномочиями. Постоянный противник графа Шувалова бывший военный министр Д.А. Милютин писал, объясняя причины такого влияния: «Все делается под исключительным влиянием гр. Шувалова, который запугал государя ежедневными своими докладами о страшных опасностях, которым будто бы подвергается и государство, и лично сам государь. Вся сила Шувалова опирается на это пугало. Под предлогом сохранения личности государя и монархии гр. Шувалов вмешивается во все дела, и по его наушничеству решаются все вопросы».
Петр Андреевич рекомендовал на посты министров внутренних дел и юстиции своих сторонников, таких же противников реформ, каким был и сам. Он стремился проникать в различные сферы государственной деятельности, сплотить вокруг себя «партию» единомышленников, придерживающихся жесткого консервативного курса. И это ему удалось.
Либералы не уставали критиковать деятельность графа Шувалова. Много говорилось о политике репрессий, проводимой шефом жандармов. Но обратимся к статистике: за последние четыре года деятельности Шувалова на этом посту было проведено 10 политических процессов, а за последующие четыре года – 46.