Нарастало недовольство деятельностью руководства партии и правительства. Все более активно и открыто стали высказываться соображения о необходимости изменений в центральном руководстве.
Теперь часто пишут и говорят о каком-то заговоре против Н.С. Хрущева. Как свидетель и в какой-то мере участник тех событий должен сказать, что никакого заговора (как пишут, «дворцового») не было. Просто созрели условия, возникла острая необходимость изменений в высшем руководстве партии и страны. В ЦК партии образовалась группа деятелей, взявших на себя непростую задачу — заменить Н.С. Хрущева на посту Первого секретаря ЦК и Председателя Совета Министров СССР. Это было рискованное дело, связанное с возможными тяжелыми последствиями в случае неудачи. Идейным (если можно так сказать) вдохновителем этого дела являлся Н.В. Подгорный — член Президиума и секретарь ЦК. Практическую работу по подготовке отставки Н.С. Хрущева вел Л.И. Брежнев, являвшийся, по существу, вторым секретарем в ЦК партии. Он привлек к подготовке этой акции секретарей ЦК П.Н. Демичева, А.Н. Шелепина, министра обороны СССР Р.Я. Малиновского, председателя КГБ В.Е. Семичастного, А.Н. Косыгина. Лично переговорил по этому поводу с каждым членом и кандидатом в члены Президиума ЦК, и в частности со мной. Просил меня поддержать это решение (ибо я представлял многомиллионную организацию, будучи председателем ВЦСПС). Я согласился с Л.И. Брежневым, при этом выразив мнение, что, может быть, установить для Н.С. Хрущева какую- то почетную отставку. Когда я вернулся от Л.И. Брежнева, мне позвонил П.Н. Демичев, попросил зайти к нему. При встрече он стал рассказывать о намерении группы товарищей поставить вопрос об освобождении Н.С. Хрущева от занимаемых им постов. Я сказал, что знаю об этом, что об этом со мной говорил Л.И. Брежнев. Демичев выразил свое удовлетворение, заявив: «Я очень рад, что мы вместе».
Вскоре, в октябре 1964 года, собрался в Кремле Президиум ЦК партии. С мест были вызваны члены и кандидаты в члены ЦК, члены Центральной ревизионной комиссии. Когда шло заседание Президиума, они находились в зале пленумов ЦК, в Кремле. На заседании было решено, чтобы Л.И. Брежнев позвонил по телефону на госдачу в Пицунду, где отдыхал Н.С. Хрущев, и пригласил его прилететь в Москву на заседание Президиума ЦК. Войдя в соседнюю комнату, Л.И. Брежнев быстро созвонился с Н.С. Хрущевым и передал ему просьбу срочно прилететь в Москву. После некоторых колебаний Н.С. Хрущев согласился прибыть на заседание.
Прямо с аэродрома Внуково Н.С. Хрущев вместе с А.И. Микояном (он был в то время Председателем Президиума Верховного Совета СССР и находился с Хрущевым в Пицунде) приехали в Кремль и пришли в зал заседаний Президиума ЦК.
Мы все сидели на своих местах. Н.С. Хрущеву предложили, как и прежде, председательствовать на заседании. Первым выступил Л.И. Брежнев. Он рассказал, что в партии и стране накопилось много претензий к работе Н.С. Хрущева, как Первого секретаря ЦК, Председателя Совета Министров СССР. В этих условиях целесообразно, чтобы он подал в отставку и ушел на пенсию. Далее Н.С. Хрущев предоставлял поочередно слово всем членам и кандидатам в члены Президиума ЦК. Каждый отмечал недостатки и ошибки в работе Первого секретаря ЦК, предлагал ему подать заявление об уходе на пенсию. Лишь один А.И. Микоян, не возражая против освобождения Никиты Сергеевича от занимаемых постов, рекомендовал утвердить его министром сельского хозяйства. На заседании выступал и я. Говорил, что по возрасту Н.С. Хрущеву уже трудно выполнять возложенные на него обязанности, что он стал почти недоступен для решения вопросов, возникающих у руководящих товарищей, даже входящих в состав Президиума ЦК, и что в сложившейся обстановке ему целесообразно перейти на пенсию.
Последним выступил Н.С. Хрущев. Он выразил признательность всем товарищам за критические замечания в свой адрес, посетовав на то, что мы раньше этих замечаний ему не высказывали. Говорил, что все свои силы, опыт, жизнь он посвятил партии. Был и будет до конца ей верен (здесь он заплакал). Сказал: пусть подготовят заявление о переходе на пенсию, которое он подпишет. Президиумом было поручено мне и секретарю ЦК Ильичеву Л.Ф. подготовить такое заявление. Оно было составлено, Никита Сергеевич его подписал.