Первая половина 30-х годов — время наибольшей власти Кагановича. Интересно, что в 1930 году он еще носил небольшую аккуратную бородку, подобно Ленину, Троцкому, Калинину, Каменеву, Рыкову, Бухарину, Дзержинскому и многим другим видным большевикам. Но вскоре Каганович оставил одни усы, попав тем самым по своему внешнему облику в другой ряд: Сталин, Молотов, Орджоникидзе, Ворошилов, Шверник, Микоян… В сталинском политбюро со временем остались люди низкорослые, под стать вождю. Каганович был исключением — высокого роста, тяжелый, с большими руками и толстыми пальцами. И взгляд у него был невероятно тяжелый, проницательный, бычий. Большие вытаращенные глаза, если он всматривался в лицо человеку, становились еще больше. Первенство Сталина в 1930 году было уже несомненным, но абсолютной властью он еще не обладал, а начинавшийся культ его личности лишь немного «превышал отметку», обычную для довольно многих руководителей 20-х годов. Газеты тоже пока еще позволяли себе опасные шалости. Так, в «Известиях» от 7 марта 1930 года можно было прочесть поразительный заголовок: «Сталинщина не выполняет своих обязательств». Под ним было помещено совершенно безобидное сообщение из города Сталино (ныне Донецк) о том, что в Сталинской области плохо идет работа по ликвидации безграмотности.
В высшем партийном руководстве также еще случались разногласия. Хотя «правые» лидеры — Бухарин, Томский и Рыков были уже выведены из политбюро, этот орган не был еще полностью послушен воле Сталина. По ряду вопросов Киров, Орджоникидзе, Рудзутак, Калинин, Куйбышев иногда возражали Сталину. Но Каганович всегда голосовал на стороне последнего.
В 1930 году, после внезапного появления статьи Сталина «Головокружение от успехов», внутренняя политика на какое-то время смягчилась. Деревня вздохнула свободнее. Люди почувствовали послабление, и в течение нескольких недель многие крестьяне вышли из колхозов. Тогда из центра на места выехали руководители высшего уровня с задачей: положить конец саботажу колхозного дела. Начиналась новая волна репрессий на селе. Каганович отправился в Воронеж, знакомый ему по Гражданской войне.
Молодой летчик Иосиф Ханнович Явно служил в то время под Воронежом. Как-то под утро, после ночных полетов, он пешком возвращался домой с аэродрома. Светало. Пешехода догнал длиннейший обоз телег, прикрытых рогожами. Мрачные возчики молчали, на летчика не глядели. Когда последняя телега ушла вперед, стало видно, что обоз оставляет за собой на дороге полосу крови. В последующие дни, после осторожных расспросов, И. Явно узнал, что под рогожами лежали мертвые крестьяне, расстрелянные по приказу Кагановича за отказ возвращаться в колхоз.
В эти месяцы Лазаря заметили за рубежом. О нем стала упоминать иностранная пресса.
В 1930 году какому-нибудь не знакомому с жизнью СССР новоприбывшему политическому наблюдателю должно бы было, вероятно, показаться, что Каганович — человек № 2 в партии и государстве; при том, что никому в Союзе это, наверное, пока не приходило в голову. Своеобразие положения Кагановича заключалось в том, что он все еще был сравнительно новым человеком в Москве, его имя до сих пор никогда еще не звучало на всю страну, и всерьез воспринимать его как выдающегося лидера было невозможно. Используя его в качестве противовеса другим, не столь покорным деятелям, Сталин мог до поры не опасаться, что верный соратник захочет стать великим вождем. Поэтому активность Кагановича не ограничивалась, и его выступления звучали чаще и были больше по объему, чем 4–5 лет спустя, когда его влияние действительно достигло апогея. На XVI съезде партии в июне 1930 года Каганович выступил с большим докладом, не уступавшим по объему докладу Сталина. Обсуждение двух докладов шло на съезде параллельно, благодаря чему словосочетание «Сталин и Каганович» примелькалось и впервые сделалось привычным.