Ночами Лазарь Моисеевич ходил кругами с палочкой и в очках вокруг своего дома два-три часа подряд; во всех встречных внимательно вглядывался. Впрочем, жильцы обходили его стороной, как и Маленкова и Булганина. Между собой бывшие соратники и нынешние соседи не общались совершенно. Пока Каганович гулял, жена его сидела у подъезда и разговаривала с лифтершами, которые любили ее и не любили ее мужа. Мария Марковна Каганович была очень полной женщиной, у нее была водянка, и она с трудом передвигалась на распухших ногах. Она тоже была старой большевичкой, получала персональную пенсию и пользовалась кремлевской столовой и поликлиникой.
Каганович ежегодно отдыхал в пансионатах и санаториях 4-го управления Минздрава. Он не избегал общения с другими отдыхающими. Но в этих беседах Каганович не касался темы сталинских репрессий и своего участия в них. Он также очень любил кататься по Москве-реке на речном трамвае. Когда повысили стоимость билетов, Лазарь Моисеевич был крайне недоволен. Он ворчал: «При мне этого не было…» Когда-то он отвечал и за работу московского транспорта.
Однажды его видели на речном трамвае читающим «Грамматику русского языка».
Конечно, и у Кагановича было немало неприятных для него встреч. Однажды его увидела на улице группа немолодых мужчин — детей партийных работников, погибших на Украине в годы сталинских репрессий. Некоторые из них и сами провели немало лет в лагерях. Среди них был, например, сын В. Чубаря. Они окружили Кагановича и стали ругать его как палача и негодяя. Лазарь сильно испугался. Он начал громко кричать: «Караул! Убивают! Милиция!» И милиция появилась. Всех участников этого инцидента задержали и препроводили в ближайшее отделение милиции. Дело кончилось лишь выявлением личности задержанных, которых после этого сразу же отпустили.
Разных слухов о драках Кагановича на улице существует очень много: то кто-то его побил, то кто-то напал, но победителем вышел Каганович, то он звал милицию, то просил милицию не вмешиваться. Надо полагать, нет дыма без огня, и вряд ли «заслуженный отдых» Кагановича мог протекать без неприятных встреч.
В конце 60-х годов у него умерла жена. Вскоре Каганович женился вновь на пожилой, приятной и крепкой даме; но через несколько лет она тоже умерла.
В начале 70-х годов знаменитая артистка Алиса Коонен, которой было уже за восемьдесят, пришла на Новодевичье кладбище к могиле своего мужа А. Я. Таирова. Таиров был основателем и неизменным руководителем Камерного театра. Еще в 1929 году Сталин назвал в одном из писем драматургу В. М. Биль-Белоцерковскому театр Таирова «действительно буржуазным Камерным театром». Тогда это не имело для театра существенного значения. Но в 1949 году в собрании сочинений Сталина указанное письмо было опубликовано и популярный в Москве Камерный театр, обвиненный в формализме, был закрыт. Вскоре Таиров умер. И вот теперь к Алисе Коонен подошел старик и стал выражать ей свое восхищение. Он действительно помнил многие ее роли: Эммы Бовари, Комиссара, Катерины из «Грозы» Островского. «Простите, с кем я имею дело?» — спросила артистка. «Я — Лазарь Моисеевич Каганович, — ответил старик. — Скажите, Алиса Георгиевна, — спросил Каганович, — после того, что случилось с Таировым и с вами, ваши друзья не отвернулись от вас?» «Нет, почему же, — ответила артистка, — когда закрыли наш театр, я уже не могла встречать своих поклонников у подъезда театра после спектакля. Но у нас много друзей и родных, и они всегда были с нами». — «Да, в вашем мире все это происходит иначе, чем в нашем», — заметил Каганович. Сухо простившись с собеседником, Алиса Коонен ушла. Своим знакомым она позднее говорила: «Мне стал выражать свое восхищение Каганович, одно слово которого в 49-м году могло спасти наш театр».
Мой коллега и помощник П. В. Хмелинский родился в 1958 году и впервые о существовании Кагановича узнал в возрасте 24 лет, случайно наткнувшись в каком-то старом журнале на фотографию с подписью «Московский метрополитен им Л. М. Кагановича» На протяжении школьного курса истории СССР и университетского курса истории партии о Кагановиче не было сказано ни слова Брежнев однажды сказал, что «нам не нужно» никакого Сталина — ни хорошего, ни плохого На самом же деле «нам не нужно» было никакой истории С момента исключения Кагановича из партии и до снятия Хрущева со всех постов участников антипартийной группы еще упоминали, в нейтральном или отрицательном тоне, в публикациях на исторические темы А затем настала долгая тишина Будто поставлена последняя точка.