Как у заместителя наркома, у Байбакова был широкий круг обязанностей. «Каждый день, — вспоминал Николай Константинович, — приходилось вертеться в адском кругу неожиданно возникающих и всегда неотложных дел, нужно было везде успеть, исправить недочеты, помочь и техникой, и людьми, часто в авральном порядке».
Работа требовала много сил и нервов. Громадные физические и психологические перегрузки. Распорядок дня такой, что приходилось дневать и ночевать в наркомате. «Обычно в 4–5 часов утра, — рассказывал Байбаков, — Поскребышев, заведующий Секретариатом ЦК ВКП(б), звонил по телефону членам Политбюро и сообщал, что Сталин ушел отдыхать. Только после этого расходились по домам Берия, Маленков, Молотов и другие члены Политбюро. Каганович, следуя этому режиму работы, по обыкновению ночью собирал нас и давал задания подготовить к утру ту или иную справку или записку по интересующему его вопросу. Он уезжал, а мы весь остаток ночи спешили составить эту справку или докладную и тут же, уже ранним утром включались в свою повседневную работу. Но к 11 часам, к приезду Кагановича, требуемые им бумаги лежали на столе»…
В начале июля 1940 года Лазарь Моисеевич собрал ответственных работников наркомата и объявил — с должности руководителя нефтяной промышленности он уходит. У него, как у заместителя председателя СНК и наркома путей сообщений, слишком много обязанностей. «Вместо себя оставляю на хозяйстве первого зама Ивана Корнеевича Седина», — попрощался Каганович.
Так сложилось, что под началом «железного наркома» Николай Байбаков проработал совсем недолго. Конечно, его учителем и наставником Лазарь Моисеевич не стал. Слишком грубый, вспыльчивый, непрофессиональный… Слишком, «железный», что ли? Кажется, именно поработав с Кагановичем, Николай Константинович старался придерживаться прямо противоположных методов. Всегда сдержанный, внимательный к собеседнику, ценящий в первую очередь профессиональные качества, а не личную лояльность — таким запомнился Байбаков людям, которые его знали… Но именно Каганович дал ему путевку, шанс в жизни. Именно Каганович закалил его, научил концентрироваться, работать 24 часа в сутки и держать удар. Что и говорить, «железная школа»!
В июне 1957 года на политическом олимпе разгорелись нешуточные страсти. Попытка сместить первого секретаря ЦК КПСС Н. С. Хрущева на заседании Президиума ЦК обернулась прямо противоположным результатом. Собранный в чрезвычайном режиме Пленум осудил фракционную антипартийную группу и вывел из состава ЦК В. М. Молотова, Л. М. Кагановича, Г. М. Маленкова и «примкнувшего к ним» Д. Т. Шепилова.
Казалось, страсти уже улеглись. Но неожиданно Николаю Константиновичу позвонила секретарь ЦК Екатерина Алексеевна Фурцева (она горячо поддержала Хрущева в те драматические дни) и передала просьбу Никиты Сергеевича: Байбакову, как бывшему заместителю Кагановича, поручалось доложить о решении Пленума на партийном собрании предприятия, где Лазарь Моисеевич состоял на учете около тридцати лет. Конечно, отношения с Кагановичем у него были непростые. Байбаков помнил, как тот «тряс его за грудки», как неоднократно грозился отправить на Колыму, скольких людей он пересажал… Но разве мог он забыть, что именно этот человек дал ему путевку в большую жизнь?