Когда в СССР при Хрущеве началась десталинизация, в Венгрии возникли волнения, в результате которых Ракоши был смещен с поста руководителя партии и новым лидером стал либерал Имре Надь, бывший в 30‐е годы агентом НКВД. По его доносам были ликвидированы десятки политэмигрантов в СССР. Он возглавил оппозиционные силы и легализовал деятельность антикоммунистических партий, что привело к обострению ситуации и массовым актам террора против коммунистов.
Андропов и новый руководитель венгерских коммунистов Янош Кадар настояли на подавление восстания силами группировки советских войск в Венгрии. 4 ноября под руководством маршала Жукова для разоружения мятежников началась операция «Вихрь». В ходе боев было убито 2550 мятежников и погибло около 2000 советских солдат.
Андропов играл в этих событиях важную роль. Он был связующим звеном между советским и венгерским руководством, консультировал их по самым актуальным вопросам, хотя основные решения на территории Венгрии принимались главой МВД Серовым, а в Москве — лично Хрущевым.
По рекомендации Андропова лидером венгерских коммунистов стал Янош Кадар, который быстро стабилизировал положение. Однако в итоге в Венгрии установился самый либеральный режим в социалистической системе. Но эти события сформировали у Андропова неприязнь к любым политическим кризисам в соцстранах и в СССР. Арбатов назвал это «венгерским» психологическим комплексом, который повлиял на характер Андропова.
Решительность, проявленная Андроповым в подавлении мятежа в Венгрии, стала одной из причин его перевода в КГБ. Он сначала стал заведующим Международным отделом ЦК КПСС, который занимался связями с компартиями соцстран под руководством кандидата в члены Политбюро Пономарева, где пользовался большим доверием у руководства.
С 1957 по 1967 год Андропов постепенно превращался в профессионального политического деятеля, хотя на внешнюю политику он сам влияния не имел. После XXII съезда КПСС он стал членом и секретарем ЦК и создал группу консультантов из молодых интеллектуалов во главе с журналистом Бурлацким, члены которой отличались свободомыслием и стремлением к переменам.
Андропов любил интеллектуальную работу и вместе с консультантами лично участвовал в процессе создания политических документов. Он обладал организаторским талантом и острым видением политических проблем, а с этого времени у него отчётливо проявилось особое либеральное отношение к творческим личностям.
Он помогал Театру на Таганке, поддерживал советских абстракционистов, однако не вступал в конфликты с Хрущевым и партаппаратом. Хрущев доверял Андропову и повысил его статус в аппарате ЦК, что вызвало недоверие группы Брежнева — Шелепина, готовившей смещение Хрущева. Андропов вначале не знал о заговоре, потому что заговорщики не посвящали его в свои подлинные планы, но их вполне устраивал и его нейтралитет.
Поэтому даже после свершившегося он ошибочно предполагал, что Хрущева сняли за слабую критику сталинизма. 6 декабря 1964 года в «Правде» была опубликована редакционная статья, подготовленная Андроповым, с программой перехода к экономической реформе, с развитием демократического самоуправления и сосредоточением партии на политическом руководстве.
Это было невпопад с линией партии и не встретило понимания у Брежнева и членов Политбюро, особенно у Суслова, опасавшегося конкуренции Андропова в руководстве идеологией. В стране произошел консервативный переворот, с которым Андропов не был согласен.
Однако в Политбюро он боялся Суслова даже больше, чем Брежнева, который с уважением относился к Андропову и доверял ему, но не желал его возвышения, пренебрегал советами и не допускал в свое окружение. Андропов пытался проявлять лояльность к Брежневу, но делал это недостаточно искренне, потому что не был способен к излишней лести перед ним. Он, как и Суслов, был аскетом, не участвовал в любимых Брежневым застольях и охоте, не увлекался женщинами, не стремился к подаркам и наградам.
Брежнев чувствовал это и не испытывал желания иметь в своем окружении человека, который не разделял его взглядов на жизнь. Андропов был чужим, поэтому Брежнев вывел его из Секретариата ЦК, но это не было политической опалой, Андропов всегда оставался членом высшей политической элиты, и его мнение учитывалось.
По данным историка Фурсова, родителями Андропова были евреи. Отцом — Либерман, который работал телеграфистом, а матерью — Геня Ванштейн. Поэтому, когда в 1967 году, он стал председателем КГБ, по его указанию группа чекистов уничтожила все компрометирующие материалы на Андропова, сохранившиеся в Рыбинске и Петрозаводске, хотя, возможно, предварительно они попали к Суслову.
В эти годы почти обо всех членах Политбюро ходили сплетни, что они сами и их жены были евреями, но об Андропове так не шутил никто и никогда. Его боялись и уважали, как и Сталина, но совсем за другое.
В 1974–1975 годах из политики была удалена группа бывшего руководителя КГБ Шелепина и политически был дискредитирован лидер ленинградских коммунистов Романов.