Еще во времена Н. Хрущева и особенно в дни Карибского кризиса стало очевидным, что в современных условиях недостаточно одних лишь официальных отношений между главами больших государств. Обмен мнениями через официальные каналы происходит слишком медленно и зависит нередко от мнения не только глав государств, но и окружающих их чиновников. Однако время «красных» или «белых» телефонов прямой связи, по которым Горбачев или Ельцин могли без посредников говорить с президентами США и Франции, с премьером Великобритании и канцлером ФРГ, пришло позднее. У Андропова появилась мысль о создании неофициального или даже тайного канала связи между Брежневым и В. Брандтом. Роль связного между руководством СССР и ФРГ с советской стороны выполняли работник КГБ Вячеслав Кеворков и журналист Валерий Леднев, а с германской стороны — статс-секретарь ведомства канцлера Эгон Бар. Многие из успехов советской внешней политики на европейском направлении были связаны и с успешной деятельностью этого тайного канала. Конечно, решающее слово во внешней политике страны в 70-е годы принадлежало Брежневу. Однако Андропов сумел убедить Брежнева в правоте своей точки зрения. Как писал Кеворков, «с самого начала установления канала с немецким канцлером Генеральный секретарь понял, что передаваемую и получаемую информацию надежнее всего пропускать через голову Андропова, которую он считал более светлой, чем у остальных приближенных, да и у него самого. Человек, признающий чье-либо умственное превосходство, уже не дурак. Андропову такая постановка вопроса давала серьезные преимущества перед остальными, обеспечивая ему постоянный доступ к Генеральному секретарю и возможность еще более доверительного с ним общения»[163]. Громыко был крайне недоволен возросшей ролью Андропова в решении проблем внешней политики. По свидетельству Кеворкова, на одном из заседаний Политбюро Громыко заявил, что ему мешают проводить согласованный с руководством страны внешнеполитический курс, и обратился к Брежневу с просьбой убрать с пути всех людей Андропова, не способных понять, что «ключи от Германии лежат в Вашингтоне». Но Брежнев не поддержал амбиций министра иностранных дел, и тот вскоре понял, что допустил непростительный просчет. Громыко понял не только свой аппаратный просчет и даже не только просчет по поводу места, где лежат «ключи» от Германии и Европы. Деятельность Андропова в области внешней политики проходила по тайным каналам, он никогда не участвовал открыто ни в каких встречах на высшем уровне и не подписывал никаких соглашений кроме соглашений о совместной работе спецслужб социалистических стран. Поэтому все успехи внешней политики, а они в 70-е годы были очевидны, становились также и успехами МИДа. Уже в 1971–1972 гг. в отношениях между Громыко и Андроповым исчез элемент конфронтации и соперничества, эти два лидера стали успешно сотрудничать друг с другом.
Андропов участвовал в заседаниях Политбюро ЦК КПСС как кандидат в члены Политбюро, т. е. без права голоса. В 1973 году по предложению Брежнева Андропов был избран полноправным членом Политбюро. Одновременно членами Политбюро стали Андрей Громыко и Андрей Гречко. После смерти А. А. Гречко в 1976 году министром обороны СССР, а также членом Политбюро стал Дмитрий Устинов, с которым у Андропова были самые добрые и доверительные отношения. Появление в Политбюро Андропова, Громыко и Устинова укрепило позиции Брежнева, о личной преданности этих людей Брежневу было хорошо известно. Однако укрепились позиции во власти и самих этих советских лидеров. По многим вопросам они могли принимать самостоятельные решения, а по более важным обращаться непосредственно к Брежневу, минуя Суслова или Косыгина. Лишь по вопросам «особой важности» обсуждение и решение выносилось на Политбюро.