При всех явных натяжках этой похвальной речи доля истины в ней была. Каганович, когда было нужно, претворял в жизнь индивидуальный подход, хотя человек оставался для него не целью, но средством, о чем свидетельствует и его выступление на IX съезде комсомола: «Надо не только считать 1000, 2000, 3000, 500 000, миллионами, а изучать каждого: Ивана, Сидора, Петра и т. д. Каждый имеет свою особенность. Уметь нужно тысячами ворочать, но надо и уметь выявлять талант каждого в отдельности… Когда ты видишь не просто лицо, когда ты будешь считать не по головам, а когда будешь читать, что в этой голове находится, тогда увидишь, что ты гораздо богаче» (Рабочая Москва. 1935. 15 июля.). Подчеркивая значение индивидуальности, Каганович отнюдь не высказывает какого-либо уважения к личности и достоинству «Ивана, Сидора, Петра»; он рекомендует индивидуальный подход как средство стать «гораздо богаче» самому.
Время действительно было такое; оно породило поговорку: «Порядочный человек тот, кто делает подлость неохотно». Но люди, как и во все другие времена, оставались разными, по-разному отвечая на вопрос «Что такое хорошо и что такое плохо?».
И в окружении Сталина, несмотря ни на что, люди были неодинаковы в моральном отношении. У Хрущева, по его собственному признанию, тоже «руки по локоть в крови», но он пошел на риск разоблачения Сталина; Микоян тоже участвовал в терроре, но поддержал Хрущева в 50-е годы; маршал Жуков публично возносил хвалу Сталину на Параде Победы, но умел отстаивать перед Гениальным Стратегом свое мнение; безропотный Калинин в 20-е годы возражал против «закручивания гаек» в деревне; многие, подобно Фадееву, не выдержали тяжести грехов и заблуждений и покончили с собой.
Каганович не принадлежал к числу тех, кто пытался хоть как-то уменьшить свое участие во лжи и терроре или, считая себя бессильным что-либо изменить, испытывал муки совести. Наоборот, Каганович активно боролся с «ленью» таких невольных и полуневольных соучастников преступлений. Еще при жизни Кирова он громко заявил, что в Ленинграде на собраниях и митингах присутствующие не встают при упоминании имени Сталина, тогда как в Москве это давно стало правилом.
И тут Лазарь Моисеевич был отчасти прав: человека характеризует не только то, что он делает, но и то, чего он не делает.
Когда Кагановича исключали из партии, он не стал переосмысливать свой жизненный путь. Ему предоставили слово, и он заговорил с обидой и возмущением: «Судя по тем обвинениям, которые мне предъявляют, я уже труп, нечего мне делать на земле, когда подо мной земля горит, как можно продолжать жить. Надо умирать. Но я этого не сделаю…
Я буду жить и жить для того, чтобы доказать, что я коммунист. Когда здесь говорят, что я нечестный человек, совершил преступление… да как вам не стыдно… Вы должны подумать и сказать: вот, Каганович, записываем решение, тебя следовало бы из партии исключить, но мы тебя оставляем, посмотрим, как ты будешь работать, опыт у тебя есть, этого отрицать нельзя, этого отнять у меня никто не может…» (Цит. по: Сланская М., Небогин О. Приговор выносит время // Московская правда. 1989. 10 янв.)
Каганович не пустил себе пулю в лоб. Никогда не выказал раскаянья. Не поддержал хрущевские разоблачения в 50-е годы. Не возражал Сталину. Не просил облегчить чью-то участь, оставить в живых приговоренного к смерти. Каганович – не жертва обстоятельств, не жертва «такого времени». Он сам, сознательно и неуклонно, творил «такое» время и поэтому стоит в одном ряду с Ежовым, Берией, Вышинским, Ворошиловым…
Беспартийный пенсионер
Каганович проработал в Асбесте до 1959 года. Этот человек, который прежде отличался крайне жестоким и грубым отношением к подчиненным, был на своем последнем руководящем посту весьма либеральным начальником. В 1957—1958 годах Каганович приезжал в Москву на сессии Верховного Совета, однако на очередных выборах в Верховный Совет его кандидатура уже не выдвигалась. В ноябре 1957 года в связи с 40-летней годовщиной Октября Каганович даже дал интервью одной иностранной корреспондентке.
Известно, что на XXII съезде КПСС в октябре 1961 года Хрущев опять поднял вопрос об антипартийной группе Молотова, Кагановича и Маленкова и о преступлениях этих людей в эпоху Сталина. При этом многие делегаты съезда говорили в первую очередь о преступлениях Кагановича, приводили документы и факты, свидетельствующие о его активном участии в незаконных репрессиях. Делегаты съезда требовали исключения Кагановича из партии. На заседании бюро МГК КПСС 23 мая 1962 года Каганович был исключен из партии.
После Асбеста никакого нового назначения Каганович не получил. Ему было 67 лет, и он вернулся в Москву, чтобы начать здесь жизнь простого пенсионера.