В 1938 году Берию перевели в Москву, поручив руководить Главным управлением госбезопасности и сделав заместителем наркома Ежова. Для борьбы с начальником Берии была нужна команда, и он выписал в Москву почти всё своё окружение. Позднее на допросах Меркулов утверждал, что, по его мнению, причиной его возвышения был тот факт, что он являлся единственным русским в окружении Берии. Тот предпочитал опираться на свой кавказский клан, но Кремлю не понравилось, что Берия окружил себя сплошь грузинами, и часть людей ему даже пришлось отослать назад. Таким образом, Меркулов был идеальной и гарантированно проходящей кандидатурой на роль первого заместителя.
Сам Меркулов нашёл в лице Берии могущественного защитника и заступника, который мог прикрыть его от любых нападок. В конце концов, он был дворянином, офицером и вдобавок роднёй живущего в Америке царского генерала. В любой момент его могли изгнать из партии, а в 30-е – и вовсе расстрелять. Не только карьера, но и жизнь Меркулова в значительной степени зависели от покровительства Берии.
Но и Берия нуждался в своём подчинённом. Меркулов был хорошо образован и умён. Когда Берия ушёл на партийную работу, ему часто приходилось выступать с речами. Нередко Меркулов брал на себя функции спичрайтера и писал или редактировал речи своего начальника.
В конце 1938 года Берия «съел» Ежова и сам стал наркомом внутренних дел. Меркулов переместился на должность первого заместителя. А в 1941 году он и сам становится наркомом. За несколько месяцев до войны НКВД было разделено на два наркомата: внутренних дел, который остался под контролем Берии, и государственной безопасности, который возглавил Меркулов.
Однако уже через месяц после начала войны наркоматы вновь были сведены вместе, а Меркулов переместился на должность первого заместителя. Только в 1943 году, после очередного разделения, он вернул должность наркома госбезопасности. НКВД теперь контролировал лагеря, внутренние и пограничные войска, а также милицию, а в ведении НКГБ были разведка и контрразведка.
В декабре 1938-го Меркулов возглавил Главное управление госбезопасности и стал 1-м заместителем наркома внутренних дел. Берия поручал ему самые важные дела и расследования. По его указанию Меркулов лично отвез тело насмерть забитого на допросе маршала Блюхера на кремацию. Именно на допросе у Меркулова 13 апреля 1939-го после пяти месяцев молчания «сознался» в участии в «ежовском заговоре» Ефим Евдокимов – человек с легендарным анархистско-эсеровским прошлым, поступивший в 1919-м на службу в ЧК. Отказавшись от этих признаний на суде, Евдокимов заявил, что не выдержал: «Меня сильно били по пяткам».
Нельзя сказать, что Меркулов хорошо подходил для новой должности. Оставаясь заместителем Берии, человеком в его тени, он нёс ответственность как исполнитель, а не как руководитель. Но теперь он самостоятельно возглавлял важнейшее ведомство, к чему не имел большой охоты. Так что отчасти он был подставным лицом, позволявшим Берии сохранять своё влияние сразу в двух наркоматах. В действительности львиную долю работы в НКГБ выполнял 1-й заместитель Меркулова Кобулов.
Кобулов входил в ближайшее окружение Берии и был одним из самых доверенных его людей. Фактически именно в руках Кобулова и было сосредоточено руководство ключевыми вопросами ведомства. Об этом говорят два факта. Во-первых, Кобулов обладал неслыханной привилегией – он был единственным из первых заместителей, который лично ходил на доклады к Сталину. Во-вторых, достаточно сравнить количество наград двух руководителей. У Меркулова был орден Ленина, орден Красного знамени, орден Кутузова 1-й степени и тувинский орден Республики. Не самый внушительный наградной список. Зато у его помощника Кобулова – три ордена Ленина, пять орденов Красного знамени, два ордена трудового Красного знамени, ордена Суворова, Кутузова и Отечественной войны 1-й степени.
Кроме того, существуют свидетельства, что именно Кобулов лично руководил наиболее важными спецоперациями наркомата госбезопасности.
Согласно решению Политбюро ЦК ВКП(б) от 5 марта 1940-го Меркулов возглавил «тройку» НКВД, которой предстояло вынести решения о расстрелах польских военнопленных и гражданских лиц. По решениям этой «тройки» весной 1940-го были расстреляны 21 857 человек, из них в Катынском лесу под Смоленском – 4421 человек. Роль Меркулова не ограничилась руководством «тройкой». Он лично выезжал в Белоруссию проверить, как идут расстрелы поляков – гражданских лиц – в рамках решения от 5 марта 1940-го. Как отмечалось в отчете МГБ Белоруссии, «в 1940 году тов. Меркулов приезжал специально по делу ведения следствия и приведения приговоров в исполнение на арестованных в западных областях Белорусской ССР». Осенью 1943-го, будучи наркомом госбезопасности, Меркулов приложил усилия скрыть злодеяние НКВД в Катыни. Еще до эксгумации, проведенной Бурденко, он направил туда сотрудников 2-го управления НКГБ для заметания следов – они перекапывали захоронение, подбрасывая ложные документы, готовили лжесвидетелей и т. п.