После ареста группы кремлевских врачей, в большинстве евреев, которые были объявлены вредителями и шпионами, в СССР началась новая широкая антисемитская кампания. В некоторых западных книгах, и в частности в книге А. Авторханова «Загадка смерти Сталина», полной вымыслов и противоречий, можно найти версию о том, что Каганович якобы бурно протестовал против преследования евреев в СССР, что именно он предъявил Сталину ультиматум с требованием пересмотреть «дело врачей». Более того, Каганович якобы «изорвал на мелкие клочки свой членский билет Президиума ЦК КПСС и швырнул Сталину в лицо. Не успел Сталин вызвать охрану Кремля, как его поразил удар: он упал без сознания» (Авторханов А. Загадка смерти Сталина. Франкфурт-на-Майне, 1976. С. 226—227.).
Авторханов ссылается на какие-то слова Ильи Эренбурга. Я часто встречался с Эренбургом в 1964—1966 годах, мы не раз говорили о Сталине, но ничего подобного Илья Григорьевич никогда не рассказывал, да он и не мог знать подробностей смерти Сталина. Все это чистый вымысел. Каганович был не в состоянии восстать против Сталина. Он в начале 1953 года молчал и со страхом ждал развития событий. Как и многих других, и отнюдь не только евреев, Кагановича спасла смерть Сталина.
В антипартийной группе
После смерти Сталина влияние Кагановича на короткое время вновь возросло. Как один из первых заместителей Председателя Совета Министров СССР он контролировал несколько важных министерств. Каганович поддержал предложение Хрущева и Маленкова арестовать и устранить Берию. Еще раньше он активно поддержал все меры по пересмотру «дела врачей» и прекращению антисемитской кампании в стране. Был реабилитирован и его старший брат М. М. Каганович.
И тем не менее начавшиеся в 1953—1954 годах первые реабилитации ставили Кагановича во все более трудное положение. Не все жертвы террора 1937—1938 годов были расстреляны или погибли в лагерях. В Москву стали возвращаться люди, которые знали о той ведущей роли, которую играл Каганович при проведении незаконных массовых репрессий. Так, например, в 1954 году был полностью реабилитирован А. В. Снегов, которого Каганович хорошо знал еще по партийной работе на Украине в середине 20-х годов. Снегов был назначен, по предложению Хрущева, на работу в политотдел и коллегию МВД СССР. В перерыве торжественного заседания в Большом театре по случаю 39-й годовщины Октябрьской революции Каганович увидел Снегова, идущего под руку с Г. И. Петровским, когда-то возглавлявшим ЦИК Украины, а ныне работавшим завхозом Музея Революции. Каганович поспешил к ним с приветствиями. Но Снегов не ответил на них. «Я не буду пожимать руку, запятнанную кровью лучших людей партии», – громко, чтобы слышали все вокруг, сказал Снегов. Каганович помрачнел и вместе с дочерью быстро отошел в сторону. Но он уже не имел прежних возможностей карать и преследовать своих врагов.
Каганович решительно протестовал против намерения Хрущева доложить делегатам XX съезда КПСС о преступлениях Сталина. Когда было предложено дать слово на съезде нескольким вернувшимся из лагерей старым большевикам, Каганович воскликнул: «И эти бывшие каторжники будут нас судить?» В своей речи на съезде партии Каганович должен был все-таки мимоходом сказать несколько слов о вредности культа личности. Хрущев, однако, преодолел сопротивление и прочел в конце съезда свой знаменитый доклад.
В прошлом Каганович был в очень плохих отношениях с Молотовым и Маленковым. Теперь они стали сближаться на почве общей вражды к Хрущеву и его политике. Они тщательно фиксировали все ошибки Хрущева в руководстве промышленностью и сельским хозяйством. Но главное, что им не нравилось, – это проведение «десталинизации» и освобождение и реабилитация миллионов политических заключенных. Выступление антихрущевской группы закончилось полным поражением. Молотов, Каганович, Маленков и «примкнувший к ним Шепилов» были выведены из состава Политбюро и ЦК КПСС. Они сами и их выступление обсуждались и осуждались на всех партийных собраниях. Это была советская «банда четырех».
После июньского Пленума 1957 года Кагановича охватил страх. Он опасался ареста и боялся, что его постигнет судьба Берии. В конце концов, на его совести было не намного меньше преступлений, чем на совести Лаврентия. Каганович даже позвонил Хрущеву и униженно просил его не поступать с ним слишком жестоко. Он ссылался на прежнюю дружбу с Хрущевым. Ведь именно Каганович способствовал быстрому выдвижению Хрущева в Московской партийной организации. Хрущев ответил, что никаких репрессий не будет, если члены антипартийной группы прекратят борьбу против линии партии и станут добросовестно работать на тех постах, которые им поручит теперь партия. И действительно, Кагановича вскоре направили в Свердловскую область управляющим трестом Союзасбест.