Юрий Андропов не поддержал Румянцева. Он держался крайне осторожно, не примыкая ни к одной из группировок, возникших в это время и вокруг Брежнева, и вокруг Косыгина, и вокруг Шелепина, и вокруг Суслова. На XXIII съезде КПСС состав ЦК значительно изменился. Но Андропов был вновь избран членом ЦК, а затем и секретарем ЦК. Он продолжал возглавлять свой прежний отдел. Однако характер работы в отделе и прежняя атмосфера «интеллектуальной вольницы» изменились, и это был очень трудный период для самого Андропова. Он видел, что в стране происходит консервативный поворот. Но он не мог открыто восстать против него. Андропов был профессиональным политиком и кадровым партийным работником. Для такого человека не имелось в то время никаких возможностей выступать. самостоятельно в идеологии или политике. К тому же он не хотел потерять те позиции в партийной иерархии и в структуре власти, которых он добивался и которых достиг с немалым трудом. Пример Дмитрия Шепилова, которому Андропов направлял в 1956 году свои шифрограммы и который трудился теперь в архивном управлении Совета Министров СССР, был хорошо известен Андропову. Поэтому он решил остаться, вероятно в надежде на то, что в стране со временем возобладают иные политические течения и он получит шанс использовать их, разумеется не столько в личных интересах, сколько в интересах народа, как он эти интересы понимал. Это был мучительный личный компромисс, который даже в его ближайшем окружении далеко не все могли понять и одобрить.
Андропов часто выглядел подавленным, мрачным, раздраженным. Его ближайшее окружение Начало постепенно распадаться. Одним из первых ушел из аппарата ЦК Ф. Бурлацкий. «…Это было, — вспоминает Федор Михайлович, — в конце декабря 1964 года. В девять часов вечера я все еще сидел в своем просторном кабинете, просматривая последние сообщения ТАСС и деловые бумаги. Попалась на глаза подготовленная мной для Политбюро записка «О планировании внешней политики СССР». Перечитывая текст, я с горечью думал о том, как гибнут или превращаются в свою противоположность самые разумные идеи, о повороте, который начался после падения Хрущева.
Вдруг зазвонил телефон.
— Вы не могли бы зайти ко мне? — раздался в трубке какой-то растерянный и хрипловатый голос Андропова.
Я зашел к нему, сел в кресло напротив и поразился необычно печальному и удрученному выражению его лица. Посидели несколько минут молча: он — опустив глаза, а я — всматриваясь в его лицо и пытаясь понять, что происходит. И тут — по какому-то совершенно необъяснимому импульсивному движению души — я неожиданно сказал:
— Юрий Владимирович, мне хотелось бы поговорить с вами об этом все последнее время. (Он удивленно вскинул на меня глаза.) Я чувствую все большую неуместность продолжения своей работы в отделе. Вы знаете, что я никогда не стремился, да, вероятно, и не мог стать работником аппарата. Я люблю писать. Но главное, пожалуй, не это. Сейчас происходит крутой поворот во внутренней и внешней политике. Вначале казалось, что мы пойдем дальше по пути реформ, по пути Двадцатого съезда. Теперь видно, что эта линия отвергнута. Наступает какая-то новая пора. А новая политика требует новых людей. Я хотел просить вас отпустить меня. Я давно мечтал работать в газете политическим обозревателем и сейчас, считаю, для этого самый подходящий момент, кроме того, вероятно, и вам это в чем-то развяжет руки, поскольку на меня многие косятся, считая фанатичным антисталинистом.
Все это я выложил залпом. И тут увидел лицо Андропова. У меня нет слов, чтобы передать его выражение. Он смотрел на меня каким-то змеиным взглядом несколько долгих минут и молчал. Я до сих пор мучаюсь загадкой — что означал этот взгляд? В тот момент мне казалось, что в нем выражалось недовольство моим неожиданным заявлением. Ничего подобного, конечно, Ю. В. от меня не ожидал… Через некоторую паузу с хрипотцой в голосе Ю. В. медленно сказал:
— А кого вы предлагаете вместо себя?
Он не назвал меня Федором, как это делал обычно, а задал вопрос в безличной, равнодушной, даже во враждебной манере.
— Я думаю, что для этой роли равно годятся Шахназаров и Арбатов — по вашему выбору. Каждый из них вполне в состоянии руководить группой. Они работают уже больше двух лет и хорошо овладели делом.
— Наверное, Арбатов все-таки больше подходит, — сказал Андропов… — Что касается вашего перехода политическим обозревателем в «Правду», то помогать вам я не буду, хлопочите сами.