21 июня 1951 года Андропова перевели на работу в аппарат ЦК КПСС в качестве инспектора, контролировавшего работу партийных организаций прибалтийских республик. Начиналось его восхождение к вершине власти в партии и стране.
Оказавшись во главе КГБ, Андропов испытывал обоснованное чувство тревоги. У него не было своей команды, на которую он бы мог опереться. Осторожный Брежнев, пришедший к власти в результате переворота, окружил новоназначенного главу КГБ своими доверенными людьми. Заместителем Андропова поставили Семена Цвигуна, занимавшего ранее пост заместителя председателя КГБ Молдавской ССР, когда первым секретарем ЦК КП Молдавии был Брежнев.
Другим доверенным человеком Брежнева в КГБ был его давний сослуживец по Днепропетровску Цинев, возглавлявший в центральном аппарате госбезопасности военную контрразведку. Цинев был женат на сестре жены Брежнева. Одновременно с назначением Андропова на должность председателя КГБ Цинева ввели в Коллегию КГБ.
Перестраховываясь, Брежнев назначил начальником Управления кадров КГБ еще одного земляка из Днепропетровска — Виктора Чебрикова. Через год тот стал одним из заместителей Андропова. В дополнение к этому партия продолжала разбавлять госбезопасность своими людьми. «ЦК направил в КГБ много “гражданских”, — рассказывал Чебриков. — За очень короткое время в КГБ пришли достойные люди […] Все они в итоге стали зампредами, начальниками главков, управлений».
Андропов понимал, что за каждым его шагом следят Цинев и Цвигун, без приглашения являвшиеся к нему в кабинет на третьем этаже здания Лубянки. К кабинету можно было пройти через главный подъезд, имевший номер «1». Мало кому было известно, что попасть в кабинет председателя КГБ можно было и из внутреннего двора огромного здания на Лубянке. Во внутренний двор можно было проехать на автомобиле через двойные поочередно открывавшиеся ворота, после чего узким проездом следовало проехать в крайний правый угол здания, где располагался выход во двор здания из кабинета председателя КГБ. Туда вел отдельный лифт, которым мог воспользоваться только сам глава ведомства, обладавший специальным ключом, или же получившие этот ключ приближенные. Все остальные лифты на Лубянке были обычными.
Включавшийся специальным ключом лифт Андропова располагался в так называемой спецзоне, на третьем этаже основного здания КГБ, где находился кабинет главы ведомства. Собственно, весь третий этаж входил в эту спецзону. Допуск в нее даже для сотрудников центрального аппарата КГБ осуществлялся по специальным пропускам.