С августа по декабрь 1930 года Юрий Андропов работал рабочим на телеграфе, а с декабря 1930 по апрель 1932 года — учеником и помощником киномеханика клуба железнодорожников. С 1931 года был матросом в Волжском пароходстве. В 1932 году поступил в Рыбинский речной техникум, окончив который в 1936 году работал на Рыбинской судоверфи.
В 1935 году он женился на дочери управляющего Череповецким отделением Госбанка Нине Ивановне Енгалычевой, которая училась в том же техникуме на электротехническом факультете, а потом работала в Ярославском архиве НКВД. У них было двое детей — Евгения и Владимир.
В 1936 году Андропов стал освобождённым секретарём комсомольской организации техникума, затем комсоргом Рыбинской судоверфи. Вскоре его повысили до завотделом горкома комсомола Рыбинска и завотделом обкома комсомола Ярославской области.
С 1938 по 1940 год он возглавлял Ярославский обком ВЛКСМ. Благодаря активной общественной деятельности он быстро продвигается по комсомольской линии в Ярославской области, а с 1940 года в Петрозаводске он руководил комсомолом и партизанским движением на оккупированных территориях, но за линию фронта не направлялся из-за болезни почек.
В 1943 году в «Комсомольской правде» была опубликована его статья «Любовь к народу» с критикой Жданова и Маленкова за недостаточную идеологическую работу. За это Андропова сняли с должности, но вскоре он, наоборот, стал вторым секретарем ЦК ВКП(б) Карело-Финской республики.
Андропов всегда работал в тесном контакте с руководителями НКВД в Ярославской области и в Карелии, где было большое количество объектов ГУЛАГа. При этом, когда вышло указание НКВД о прекращении «тесного сотрудничества» с партийными работниками, Андропов связь с органами не прекращал. Очевидно, это и было главной причиной того, что он уцелел не только во время репрессий 1937–1938 годов, но и в послевоенные годы.
Основателю Компартии Финляндии и председателю Президиума Верховного Совета Карело-Финской республики Отто Куусинену, который был серым кардиналом еще при Сталине, удалось избежать широкого размаха репрессий по «Ленинградскому делу», потому что он не был русским. Андропов тоже ждал ареста, но уцелел и на всю жизнь сохранял осторожность, скрытность и подозрительность.
Он не смог получить законченного высшего образования, хотя и учился в двух вузах — в Высшей партийной школе и Петрозаводском госуниверситете. Однако, постоянно занимаясь самообразованием, он стал одним из самых теоретически подкованных и эрудированных руководителей партии.
В первой половине 50‐х Андропов уже работал в аппарате ЦК ВКП(б), но его карьере помешал конфликт с Маленковым. Он не выполнил его поручение о подготовке материалов для снятия литовского секретаря Снечкуса по требованию Суслова и его перевели в МИД, где сначала он возглавлял Четвертый европейский отдел, а затем был направлен советником в советское посольство в Венгерскую Народную Республику.
Здесь он проявил себя как энергичный и эффективный советник, изучивший венгерский язык, поэтому вскоре стал послом в Венгрии, где просталинское руководство во главе с Ракоши осуществляло форсированную индустриализацию и коллективизацию, сопровождавшиеся жесткими репрессиям.