После войны Шелепин стал первым секретарем ЦК ВЛКСМ. В 1957 году он активно помогал Хрущеву в разгроме «антипартийной группы» Маленкова, Кагановича и Молотова. За это через два года Никита Сергеевич сделал его главой Комитета государственной безопасности вместо пониженного в должности генерала Серова. В 1961 году Шелепин стал секретарем ЦК КПСС, а затем возглавил Комитет партийно-государственного контроля.
Он считался главным организатором и идейным вдохновителем заговора по смещению Хрущева, потому что часть партийной элиты именно в нем видела будущего главу СССР. Для этого у него были все данные — молодость, хорошее образование, опыт партийной работы, энергичность и политические амбиции. Однако Шелепин и его соратники недооценили хитрость и опыт аппаратных интриг Брежнева, которого поддержало большинство в Политбюро и ЦК.
Партийная элита опасалась, что молодой и амбициозный Шелепин начнет «чистку» старых кадров партноменклатуры и отправит их на пенсию. Зато Леонид Ильич был для них своим и понятным. Он хотел стабильности во всём, и в первую очередь в кадровом вопросе. Номенклатура не ошиблась в своём выборе, Брежнев никого из верных ему людей не тронул, а врагов он очень постепенно и почти демократично отстранял от власти, так что никто не сопротивлялся…
В 1967 году Шелепина перевели на должность председателя ВЦСПС, где он утратил прежнее влияние в партии, хотя и оставался членом Политбюро. Хотя и здесь он попытался проявить инициативу и сделать ВЦСПС оплотом подлинного рабочего движения. Но в этом ему не помог даже верный друг и соратник, сменивший его на посту председателя КГБ, Семичастный.
В 1975 году Брежнев еще понизил Шелепина в должности, назначив заместителем председателя Госкомитета СССР по профессионально-техническому образованию. Затем в 1984 году его незаметно отправили на пенсию. Александр Николаевич в должности председателя КГБ опрометчиво отказался от генеральского звания, поэтому оказался на рядовой гражданской пенсии.
Денег ему не хватало, и он обратился в Политбюро с просьбой повысить пенсию до уровня министра, но ему категорически было отказано. В Политбюро запомнили, как предлагал им отказаться от всех льгот и привилегий. Поэтому они предложили ему на собственном примере убедиться в том, что он был не прав.
Шелепин был яркой и противоречивой личностью. Он умудрился трижды участвовать в своих и чужих заговорах с целью захвата власти. Сначала на стороне Хрущева, затем против него и, наконец, чтобы отобрать власть у Брежнева. Дважды успешно, но в последний раз неудачно.
Похоже, что он не задумывался о том, что как руководитель органов госбезопасности, участвуя в заговорах против действующей, законно избранной власти, он нарушает не только этические, но и юридические нормы. Оправданием ему может служить только то, что в его действиях всегда присутствовал объективная целесообразность перемен в интересах государства и общества. Хотя в его борьбе за власть с Брежневым преобладали личные счеты и амбиции.
Возможно, он просто опередил своё время, а его единомышленники из ЦК ВЛКСМ были недостаточно опытными в политике и не имели авторитета в руководстве партии и народе. История не знает сослагательного наклонения, но когда после развал СССР в 1991 году многие выходцы из руководства комсомолом оказались во власти и стали олигархами, то проявили себя не лучшим образом.
Владимир Ефимович Семичастный в 1950‐х годах был ближайшим соратником Шелепина — секретарем ЦК ВЛКСМ. Он после ухода Шелепина возглавил комсомол, а 1961 году сменил его на посту председателя КГБ.
Этот позволяло Шелепину и его коллегам по заговору гарантированно спланировать и завершить смещение Хрущева с помощью руководителя КГБ Семичастного. «Комсомольцы» рассчитывали вскоре после отстранения Никиты Сергеевича от власти самим занять ведущие посты в руководстве СССР. При этом Шелепин должен был стать главой партии и правительства, а члены его команды — получить всю полноту власти.