На январском пленуме ЦК КПСС 1955 года был снят со своего поста еще один член заговора по устранению Сталина и Берии — глава правительства Маленков. Он был обвинен в «бюрократическом стиле» руководства. Несколько позже Хрущев расправился с остальными своими коллегами по сталинскому периоду правления партией и государством. На июньском пленуме ЦК КПСС 1957 года в антипартийной деятельности были обвинены Молотов, Маленков, Каганович, Ворошилов, Николай Булганин, Михаил Первухин, Максим Сабуров «и примкнувший к ним» (как было указано в постановлении) Дмитрий Шепилов. Открывал работу пленума сосланный Сталиным в Одессу опальный маршал Жуков, участвовавший в свое время в операции по убийству Берии. Члены «антипартийной» группы первоначально были выведены из состава ЦК КПСС, а затем исключены из партии. В октябре 1957 года маршал Жуков, так помогший Хрущеву, был выведен из состава президиума ЦК и ЦК КПСС и уволен с поста министра обороны. Однако репрессирован никто из них не был.
Тем не менее отравление Сталина, убийство Берии и последовавший затем расстрел ближайшего окружения Берии, прежде всего по линии МВД и МГБ, открыли новую страницу в советской истории. Эра убийств и расстрелов отошла в прошлое: партия перестала расстреливать офицеров госбезопасности; госбезопасность прекратила чистки, аресты и казни партийной и советской номенклатуры. С приходом Хрущева в стране установился мир и покой, невиданный с 1917 года. За пределами внешних конфликтов (например, подавления антисоветского восстания в Венгрии в 1956 году) красный террор перестал быть массовым. Партия и госбезопасность прекратили взаимное истребление друг друга.
В июне 1957 года состоялся очередной пленум ЦК КПСС. Серов доложил пленуму об увольнении из органов госбезопасности 18 тысяч человек. 40 ответственных сотрудников ведомства лишили генеральских званий. Были сняты и заменены новыми практически все руководящие сотрудники центрального аппарата КГБ. На ряд вакантных должностей назначили 60 человек, направленных на работу в КГБ по решению ЦК КПСС с руководящих партийных и советских должностей.
Это была очередная грандиозная чистка госбезопасности, но уже без расстрелов, посадок и пыток. Опасаясь повторения репрессий, прежде всего против партийной номенклатуры, партия поставила госбезопасность под строжайший партийный контроль и заслала в КГБ на руководящие посты своих чиновников, не подвергнув при этом репрессиям увольняемых офицеров госбезопасности, а оставив их, десятки тысяч, разочарованных и озлобленных, на свободе.
Находившийся в ГДР Питовранов благополучно избежал этой чистки. 15 марта 1957 года его назначили начальником 4-го Управления КГБ, занимавшегося борьбой с антисоветским подпольем, националистическими формированиями и враждебными элементами. Вскоре Питовранов стал еще и членом Коллегии КГБ. А уже в следующем году Серов потерял свою должность: решением президиума ЦК КПСС от 10 декабря 1958 года его назначили начальником Главного разведывательного управления в связи с необходимостью «укрепления руководства ГРУ». Это было очевидное понижение в должности, внешне оформленное как повышение: «с сохранением за ним материального содержания, получаемого по прежней работе», как было указано в приказе.
Новым председателем КГБ 25 декабря 1958 года стал Александр Шелепин, занимавший до этого должность главы отдела партийных органов ЦК КПСС по союзным республикам. Иными словами, Шелепин был партийным работником, внедренным в госбезопасность на должность руководителя этого ведомства — партия все еще не доверяла КГБ и опасалась репрессий со стороны этого кровавого учреждения.
Как бы успокаивая партийных руководителей, Шелепин при вступлении в должность сказал, что хочет «коренным образом переориентировать КГБ на международные дела, а внутренние должны уйти на десятый план». Но уверенности в своих силах у новоназначенного партийного работника не было. Держать при себе «бериевцев» типа Питовранова он опасался, и при первой возможности поспешил от того избавиться, отправив его представителем КГБ в Китай, где тот послушно прослужил с 1960 по 1962 годы, пересидев, впрочем, очередную большую чистку, проводимую Хрущевым— Шелепиным. «Вы, Никита Сергеевич, совершенно правильно говорили в своем выступлении […] о необходимости дальнейшего сокращения органов госбезопасности», — писал в ЦК КПСС Шелепин 7 апреля 1959 года.
Выступая на ХХII съезде КПСС в октябре 1961 года, Шелепин готов был уже подвести некоторые итоги бескровной чистки КГБ: