В 1940–1944 гг. первый секретарь ЦК ВЛКСМ вновь образованной Карело-Финской ССР. Во время войны участвовал в организации партизанского движения в Карелии, занимался созданием подполья на временно оккупированной территории. С 1944 г. на партийной работе: в 1944 г. — второй секретарь Петрозаводского горкома. В 1947 г. в возрасте 33 лет становится вторым секретарем ЦК ВКП (б) Карело-Финской ССР. Учился в Петрозаводском университете, но не окончил его.
По «Ленинградскому делу» был арестован первый секретарь Карело-Финской ССР Г. Н. Куприянов. У Андропова с ним были хорошие отношения. Однако он поддержал все обвинения, предъявленные Куприянову, который был осужден на 25 лет.
В 1951–1953 гг. инспектор, заведующий подотделом ЦК ВКП(б). После смерти Сталина вынужден был покинуть ЦК. С 1953 г. заведующий 4-м европейским отделом МИД СССР, который занимался отношениями с Польшей и Чехословакией. Вскоре произошло понижение в должности, его отправили советником посольства СССР в Венгрию. В 1954–1957 гг. стал чрезвычайным и полномочным послом. Был одной из ключевых фигур в подавлении венгерского восстания в октябре-ноябре 1956 г. Эти события превратили Андропова, одного из многих послов, в человека, лично известного высшему политическому руководству страны.
Весной 1957
2. Андропов вернулся в Москву в ореоле спасителя социализма в Венгрии. Он получил повышение. Возглавил вновь созданный отдел ЦК КПСС по связям с коммунистическими и рабочими партиями социалистических стран. Отдел возглавлял 10 лет, будучи одновременно с 1962 г. секретарем ЦК КПСС. С 1961 г. — член ЦК КПСС. В отделе Андропов собрал группу консультантов либеральной ориентации: Ф. Бурлацкого, А. Арбатова, Г. Шахназарова, А. Бовина, О. Богомолова, Н. Шишлина и др.