Когда в 1952 г. Куусинена избрали членом Президиума ЦК КПСС, вместе с ним в Москву отправился и Андропов, занявший должность в аппарате ЦК. В 1954 г. он был уже послом в Венгрии.
Эти годы стали едва ли не самыми яркими в жизни будущего Генсека. Обстановка в стране в связи с тяжелой экономической ситуацией и репрессивными методами руководства Матьяша Ракоши была неспокойной. Осенью 1956 г. в Будапеште вспыхнули массовые волнения, принявшие ярко выраженный антисоциалистический характер. По требованию посла СССР в столицу были введены советские войска. Венгры не покорились. В советские танки полетели бутылки с зажигательной смесью. Расстрелы манифестантов, стрельба по домам из танковых орудий и пулеметов только обострили ситуацию. Избранный народом Имре Надь потребовал вывода советских войск, и Хрущев согласился. Однако после этого начались расправы над столичными партийными работниками и сотрудниками госбезопасности. Их вешали на деревьях вниз головой. Правительство СССР решило сменить правительство в Венгрии. Выбор пал на Яноша Кадара, его приход к власти был обеспечен советскими войсками.
Функции посла состояли в том, чтобы информировать свою страну о ситуации, давать прогнозы и предложения. Некоторые исследователи сообщают о том, что Андропов ловко дезинформировал венгерскую сторону относительно намерений СССР. Наряду с этим можно утверждать, что свои обязанности Юрий Владимирович выполнял чрезвычайно добросовестно и четкостью действий в осуществлении операции по усмирению Венгрии советское правительство во многом обязано своему послу.
Тогда советское посольство пережило страшные дни, хотя и было защищено щитом из 30 танков. Из окон можно было наблюдать кровавые сцены расправы как над коммунистами, так и над восставшими. Достаточно сказать, что во время венгерских событий жена Андропова получила сильнейшее нервное потрясение, от которого так и не оправилась. Позже в Москве она не раз лежала в неврологическом отделении 4-го главного управления при Минздраве СССР. Ей постоянно требовался морфий.
В 1957 г. Андропов вернулся из Венгрии героем и возглавил новый отдел ЦК по связям с коммунистическими и рабочими партиями социалистических стран, а 19 мая 1967 г. Андропов против своего желания сменил Семичастного на посту председателя КГБ. Этот пост он занимал 25 лет – более чем кто-либо из его предшественников. В награду за послушание Брежнев уже через месяц сделал нового хозяина Лубянки кандидатом в члены Политбюро. Вероятно, Андропов помнил это, так как всегда во всех дискуссиях был на стороне генсека и строго следил за лояльностью других по отношению к главе государства. Известно, что некорректные высказывания о генсеке среди аппаратчиков, если они становились известны, чаще всего приводили к увольнению. Впрочем, по воспоминаниям многих очевидцев, Юрий Владимирович еще в молодости отличался большим пиететом по отношению к начальству.
Главным итогом работы Андропова на посту председателя КГБ явилась переориентация работы Комитета. Из карательного органа, типичного для периода сталинизма, он превратился в орган «профилактики» антисоветских настроений в стране.
Во времена Андропова была восстановлена сошедшая на нет при Хрущеве тотальная слежка за состоянием общества: расширена сеть местных КГБ и созданы новые управления, в том числе знаменитое 5-е управление по борьбе с идеологическими диверсиями, т. е. с диссидентами; восстановлена система тайных информаторов, попросту доносчиков, в трудовых коллективах и даже по месту жительства. Письма подвергались перлюстрации, прослушивались телефонные разговоры. Даже высшие государственные чиновники были уверены, что на каждого из них в аппарате КГБ имеются досье, а их телефоны прослушиваются. Недаром Брежнев однажды в кругу членов Политбюро обронил: «На каждого из вас у меня есть материалы». Прослушивались не только телефоны, но и квартиры. Сам Андропов не скрывал этого и мог даже в личном разговоре сообщить: «У меня на прослушивании телефонных и просто разговоров сидят молодые девчата. Им иногда очень трудно слушать то, о чем говорят и что делают в домах у людей. Ведь прослушивание ведется круглосуточно…»
К неблагонадежным лицам применялись различные меры пресечения: заключение в лагеря, принудительное лечение в психоневрологических лечебницах, высылка за границу. По более невинным поводам можно было распрощаться с работой. Например, одного из послов по требованию Андропова убрали, когда в беседе с каким-то немцем он неосторожно заметил: «Умный человек на Западе не пропадет».
Во время работы в КГБ Андропов вел активную борьбу с «сионизмом». Строго ограничивался выезд евреев за границу. Негласно существовало и запрещение выдвигать их на руководящие посты.