В феврале 1941-го Меркулов занял пост во главе выделившегося из НКВД наркомата госбезопасности. В этот год его особенно часто Сталин принимает в своем кремлевском кабинете. В журнале посещений зафиксировано 22 визита. И неудивительно. Накануне войны по прямому указанию Сталина Меркулов затеял громкое дело против ряда высокопоставленных генералов РККА и руководителей оборонной промышленности, среди них были нарком вооружения Ванников и заместитель наркома обороны Мерецков. Как скажет потом в 1953-м на допросе Берия, к арестованным по этому делу применялись пытки, а Меркулов заявил ему, что «раскрыл подпольное правительство, чуть ли не Гитлером организованное». В 1953-м Меркулов продемонстрировал весьма своеобразное понимание того, что называть пытками: «…На допросах, производимых с моим участием и без меня, Мерецкова и Ванникова били рукой по лицу и резиновой палкой по спине и мягким частям тела, но нанесение этих ударов не превращалось при мне в истязание. Я лично тоже бил Мерецкова, Ванникова и некоторых других арестованных, но пыток к ним не применял».
В ходе следствия по делу Берии генеральный прокурор Руденко обратил внимание на опубликованные в 1952-м в США свидетельства о том, что Берия, принимая в 1940-м группу польских офицеров, в косвенной форме признал факт убийства польских военнопленных, заявив, что в отношении этих лиц «мы допустили большой промах. Мы сделали большую ошибку». Примерно то же в октябре 1940-го говорил и Меркулов, когда речь шла о формировании польской бронетанковой дивизии. Руденко ухватился за возможность обвинить Берию и Меркулова в разглашении тайны катынского расстрела. Меркулову 21 июля 1953-го был поставлен прямой вопрос: что он тогда ответил полякам? Меркулов вспомнил, что принимал в октябре 1940-го поляков во главе с Берлингом. А какой он им дал ответ на вопрос о людях из Козельска и Старобельска, не помнит, и об ответе Берии тоже не помнит. Тогда его напрямую спросили: «А не ответили вы, что была допущена большая ошибка?» Меркулов: «Смешно было бы говорить о возможности такого ответа. Разумеется, я такого ответа не давал. В моем присутствии Берия тоже не давал польским офицерам такого ответа».
Сталин не был доволен работой НКГБ и осенью 1945-го неоднократно высказывал желание сменить все руководство наркомата. У него был новый фаворит – начальник ГУКР СМЕРШ Виктор Абакумов. Первым делом из НКГБ в конце 1945-го был уволен заместитель наркома Богдан Кобулов. Весной 1946-го Меркулов занят разработкой новой структуры МГБ, но уже понятно, что его дни на посту министра сочтены. 4 мая 1946-го Политбюро ЦК ВКП(б) утвердило новую структуру МГБ, и одновременно вместо Меркулова министром был назначен Абакумов. Процесс приема-передачи дел в МГБ был и болезненным, и мучительным для Меркулова. Абакумов всячески старался опорочить его работу. Сам Меркулов в письме Сталину в июне 1946-го правильно уловил истинные причины своего снятия: «Вы, товарищ Сталин, как-то назвали меня «робким». К сожалению, это правильно. Я стеснялся звонить Вам по телефону, стеснялся даже писать Вам по многим вопросам, которые я ошибочно считал в свое время не столь важными для того, чтобы отрывать у Вас время в период войны, зная как Вы заняты. Эта робость перед Вами привела меня к ошибкам, из которых самая тяжкая заключалась в том, что в нескольких случаях я не информировал Вас или информировал в смягченной форме о вопросах, по которым моя прямая обязанность была докладывать Вам немедленно».
По результатам приема—передачи дел в МГБ был составлен акт, в котором были отмечены «извращения и недостатки в следственной и агентурной работе», выразившиеся в том, что госбезопасность больше занималась выявлением так называемых антисоветских элементов, чем шпионов. Сыграл свою роль и случившийся в 1945-м громкий провал советской разведсети в США. В августе 1946-го в качестве партийного наказания Меркулова перевели из членов в кандидаты в члены ЦК ВКП(б).
Вскоре после войны позиции Берии несколько ослабли, началась новая борьба кланов за власть и Меркулов лишился своего поста. Формально – за крупные недочёты в разведработе в иностранных государствах. Меркулова лишили членства в ЦК и перевели руководить Главным управлением советского имущества за границей по Австрии.
Разумеется, это было серьёзным понижением, но Меркулов переживал не из-за карьеры, а из-за того, что вызвал недовольство вождя своей работой. Тем не менее, никаких серьёзных санкций к нему не применили. А в 1950 году Сталин как бы простил его и предложил на пост министра государственного контроля. Что-то вроде современной Счётной палаты, только с чуть большими полномочиями.
Меркулов был ужасно рад и написал Сталину письмо с благодарностями: "за последние годы я многому научился… я понял, как часто в прошлом не хватало мне государственности в работе: иногда вместо государственного подхода к делу я руководствовался, как Вы однажды правильно указали, идеями «человеколюбия». Сейчас такие ошибки для меня уже невозможны".