Фирюбин был с треском снят с должности вместе с Георгием Поповым. В 1949 году его отправили на курсы переподготовки руководящих партийных и советских работников при Высшей партийной школе. Через два года выпускнику курсов подобрали невысокую должность — начальника технического управления исполкома Моссовета. Летом 1951 года повысили — сделали заместителем председателя Моссовета. Одному из недавних руководителей города не очень приятно было подчиняться тем, кто еще недавно просиживал в его приемной, ожидая, пока их вызовут…
Николай Павлович прошел жестокую школу в сталинские времена. Иногда под настроение рассказывал эпизоды из жизни партийных работников. Однажды, когда Фирюбин был секретарем МГК, он пришел утром на работу и увидел на столе пепельницу из кабинета Сталина. У него в глазах потемнело.
Фирюбин помнил анекдот, который любил рассказывать член политбюро Андрей Жданов: «Сталин жалуется: пропала трубка. Говорит: „Я бы много дал, чтобы ее найти“. Берия уже через три дня нашел десять воров, и каждый из них признался, что именно он украл трубку. А еще через день Сталин нашел свою трубку, которая просто завалилась за диван в его комнате». Жданов, рассказывая анекдот, весело смеялся…
Фирюбину было не до смеха: что про него подумают, когда узнают, что он прихватил из кабинета вождя пепельницу? Он позвонил помощнику вождя Александру Николаевичу Поскребышеву, покаялся.
— Нехорошо, — осудил его сталинский помощник. — Вы так весь кабинет растащите. Пришлите обратно фельдъегерем.
Опытный Поскребышев поинтересовался, кто накануне сидел рядом с Фирюбиным. Николай Павлович вспомнил:
— Паршин и Ванников.
Петр Иванович Паршин был наркомом машиностроения и приборостроения, а Борис Львович Ванников, начальник Первого главного управления, занимался созданием ядерного оружия. Поскребышев предположил, что это дело рук Ванникова. Фирюбина предупредили, чтобы на совещаниях не садился с Борисом Львовичем. Тот любил такие шутки. Возможно, научился у Сталина.
До войны Ванников был наркомом вооружений. Летом 1941 года его посадили. А когда началась война, так понадобился, что освободили. Его привели к Сталину прямо из тюрьмы. На предложение вернуться в Наркомат Ванников неуверенно ответил:
— А будут ли со мной товарищи работать? Ведь я в тюрьме сидел.
Сталин махнул рукой:
— Пустое. Я тоже сидел в тюрьме…
Роман Фурцевой и Фирюбина был предметом пересудов в Москве. В те времена разводы не поощрялись. Женщина должна была исполнять одну роль — самоотверженной жены и матери. Любовница — понятие отрицательное.
В Советском государстве все женские проблемы решены. «Где, в какой еще стране существует забота о женщинах-матерях? — писали тогда газеты. — Где еще женщины пользуются такими правами? Нет в мире такой другой страны». И поэтесса Екатерина Шевелева 8 марта опубликовала в «Известиях» лирическое стихотворение о счастливой женской судьбе:
Николай Павлович Фирюбин не спешил рвать с прежней жизнью, уходить из семьи. Екатерина Алексеевна переживала, хотя больше всего старалась не показать своей слабости. Светлана Фурцева говорила о матери: «Мама всегда выглядела чуточку недоступной для мужчин — она находилась выше их обычного представления о женщине-жене… Но не думаю, что ее не интересовало женское счастье…»
Когда брак стал возможным, Екатерина Алексеевна была счастлива, хотя в доме ее сообщение о том, что она выходит замуж за Николая Фирюбина, встретили, мягко говоря, без восторга. Теща и падчерица его сразу невзлюбили.
«Бабушке он не нравился, — рассказывала журналистам Светлана Фурцева. — Фирюбин, еще будучи секретарем горкома, до нас тоже жил на даче в Ильичеве, и о его семье ходили разные слухи… Словом, бабушке пришлось ломать что-то внутри себя, принимая Фирюбина в дом».
Конечно же это была ревность. Ни Матрена Николаевна, ни Светлана ни с кем не желали делить Екатерину Алексеевну.
«Мы все, — записала в дневнике Светлана Фурцева, — ревнуем маму — бабушка и я к Николаю Павловичу, он к нам, и все вместе — к работе».
Едва Екатерина Алексеевна и Николай Павлович стали жить вместе, как в их счастье вмешалась большая политика.
В первых числах мая 1953 года вновь назначенный министром иностранных дел Вячеслав Михайлович Молотов попросил направить в распоряжение МИДа трех работников аппарата ЦК. Так стал дипломатом будущий председатель КГБ Юрий Владимирович Андропов. Точно так же в Министерстве иностранных дел заинтересовались Николаем Павловичем Фирюбиным.
Георгий Попов вспоминал, как ему на квартиру позвонил Молотов и поинтересовался мнением о Фирюбине. Попов всячески расхваливал своего бывшего подчиненного. Первый год Николай Павлович осваивал новую стезю и набирался дипломатического опыта в роли советника посольства в Чехословакии.