Но Кириченко, хоть и не очень одаренный, но порядочный, хороший человек, однажды прямо при Игнатове выразил удивление, что тот часто общается с Серовым, хотя по работе у них точек соприкосновения практически нет, так как председатель КГБ выходил прямо на Первого секретаря — Хрущева. Речь шла о том, что Серов часто в рабочее время приезжает в кабинет Игнатова. «Конечно, это не криминал, — заметил Кириченко. — Просто как-то непонятно, несколько раз искал Серова и находил его по телефону у тебя». Игнатов стал утверждать, что ничего подобного не было, что он с Серовым не общается. В этот раз прошло без последствий, хотя само такое яростное отрицание очевидного факта обычно выглядит хуже, чем сам факт.
Кириченко не успокоился и через некоторое время вернулся к этому вопросу уже при Хрущеве. «Как же ты говоришь, что не общаешься с Серовым? — спросил он Игнатова. — Я его сегодня искал, ответили, что он в ЦК, стали искать в Отделе административных органов — не нашли. В конечном итоге оказалось, что он был опять у тебя в кабинете». — «Нет, он у меня не был!» Тогда Кириченко называет фамилию человека, который по его поручению искал Серова и нашел его выходившим из кабинета Игнатова. Хрущев так искоса посмотрел на Игнатова, промолчал. Но все стало ясно.
Только после этого случая Хрущев согласился убрать Серова из КГБ. Перевели его в Генштаб начальником ГРУ. Эта должность не связана с политикой внутри страны. Но только после дела Пеньковского удалось нам настоять на том, чтобы уменьшить его генеральский чин и убрать с большой работы.
Козлов и Игнатов вели борьбу друг против друга. Между прочим, я сначала к Игнатову хорошо относился: выходец из рабочих, ловкий и активный в работе. Но он оказался неисправимым интриганом с непомерными амбициями. Поэтому вначале Козлов старался заручиться моей поддержкой, дружить со мной, когда работали в Совете Министров. Конечно, дружбы у нас с ним быть не могло.
Козлов был неумным человеком, просталински настроенным, реакционером, карьеристом и нечистоплотным к тому же. Интриги сразу заменили для него подлинную работу. Вскоре после того, как Хрущев перевел его в Москву из Ленинграда, выведя из-под острой критики и недовольства им Ленинградской партийной организации, роль Козлова, введенного в Президиум ЦК, стала возрастать. Он был большой подхалим. Видимо, разгадал в Хрущеве слабость к подхалимам, еще будучи в Ленинграде. Тогда-то Хрущев и сказал знаменитую фразу: «Не делайте из Козлова козла отпущения». Между тем к нему были обоснованные претензии ленинградцев за его преследование тех лиц, которые уцелели в ходе «ленинградского дела» 1949-1950 гг.
Припоминаю эпизод, когда на Президиуме ЦК Козлов чуть не разрушил весь механизм СЭВа. Однажды, незадолго до его инсульта, на Президиуме докладывал Архипов о СЭВе. Видимо, интригуя против меня (я курировал наше представительство в СЭВе), Козлов выступил очень резко против нашей деятельности в СЭВе. Конечно, не по существу, не конкретно, так как он не знал сути работы этой организации, да и знать не хотел. У меня тоже время от времени возникало неудовлетворение работой СЭВа, но я искал пути, как улучшить эту работу. Козлов же стал все огульно хаять, грубо обзывать Архипова, назвав дураком, что было недопустимо на официальном заседании. Более того, он предложил Хрущеву потребовать от социалистических стран Европы отказаться от правила единогласия в СЭВе и перейти к решению вопросов простым большинством, отменив право вето каждого из участников. Это был бы чрезвычайно опасный шаг: и так со стороны Польши, Румынии, Венгрии было недовольство навязыванием им определенных решений, а лишить их права вето означало бы пойти на риск прямого конфликта, саботажа деятельности СЭВа. Потенциально такой конфликт мог потянуть за собой и другие конфликты. Услышав такое, я решил опередить Хрущева — его реакция была непредсказуемой — и вмешался. «Это — суверенные государства, — сказал я. — Заставить их подчиняться большинству, которое мы, конечно, почти всегда себе обеспечим, значит, посягнуть на их суверенитет. Мы уже имели события в Венгрии и Польше. Только право вето позволяет иметь СЭВ. Козлов не понимает простых вещей. Фрол, — сказал я, обращаясь уже непосредственно к нему, — ты называешь людей дураками, хотя в данном случае больше это слово относится к тебе самому». Я не на шутку рассердился, говорил очень горячо, сознательно пошел на грубость, чтобы защитить Архипова и спасти СЭВ, а Козлова поставить на место. Хрущев в такой обстановке уже не мог его поддержать — право вето в СЭВе было сохранено.