Чекисты под руководством Серова арестовали и выслали из западных областей Украины и Белоруссии 380 тысяч человек. В августе 1941 года, когда в результате нападения нацистской Германии политическая ситуация изменилась, почти все поляки — кто выжил — были амнистированы.
Для непосредственного руководства операциями Серов из Киева перебрался во Львов, культурный и исторический центр Западной Украины.
Валентин Бережков был на Украине, когда Западную Украину присоединили. То, что он увидел, потрясло его:
«Началось раскулачивание, насильственная коллективизация, ликвидация частных предприятий и кустарных мастерских… Наши офицеры и работники различных советских ведомств, нахлынувшие в освобожденные районы, скупали все, что в Москве являлось дефицитом. Мелкие лавочки и кустари разорились. Цены на все, включая и продовольствие, подскочили до небес, а заработная плата у местного населения оставалась прежней. Все это, естественно, вызвало протесты, вспыхнули студенческие демонстрации…
Начались аресты, жестокие расправы с участниками демонстраций, депортации…
Наши органы госбезопасности занимали в освобожденных районах помещения бывшей жандармерии, что многим украинцам и белорусам, ненавидевшим секретную службу панской Польши, представлялось особенно зловещим. Использовать такие здания, было, видимо, удобно, ибо там имелись подземные тюрьмы. Однако с политической точки зрения это было конечно же недопустимо, ибо оскорбляло чувства населения».
Серов как нарком внутренних дел Украины, вспоминает Хрущев, «установил тогда контакты с гестапо. Представитель гестапо официально прибыл по взаимной договоренности во Львов со своей агентурой… Предлогом был „обмен людьми“ между нами и Германией». Это было время союзнических отношений с нацистской Германией.
В апреле 1940 года Серов получил первый орден Ленина.
Серов прослужил на Украине полтора года. В феврале 1941 года, после разделения НКВД на два наркомата, его отозвали в Москву и 25 февраля назначили первым заместителем наркома госбезопасности СССР, наркомом был Всеволод Николаевич Меркулов. Через полгода НКВД и НКГБ слили, и Серова назначили заместителем наркома внутренних дел.
Серов курировал милицию, пожарную охрану, тюремное управление, штаб истребительных батальонов и управление по делам о военнопленных и интернированных.
Вместе с другими заместителями Берии Иван Александрович занимался крупномасштабными операциями по депортации целых народов. 12 августа 1941 года Сталин приказал ликвидировать Автономную Советскую Социалистическую Республику Немцев Поволжья и вывезти всех немцев подальше от линии фронта в Сибирь, на Алтай, в Киргизию и Казахстан.
Руководил операцией замнаркома внутренних дел Серов. Справились за два месяца. Для вывоза немцев собрали несколько тысяч сотрудников наркомата внутренних дел, милиции и даже армейские части. В решающие недели осени 1941 года фронт отчаянно нуждался в людях, но Сталин страшно боялся восстания в тылу, того, что недовольные советской властью люди попытаются ее свергнуть.
В дни обороны Москвы Серов командовал войсками НКВД московской зоны, в частности занимался очищением столицы от преступного элемента. В конце 1942 года он получил второй орден Ленина.
В 1944 году вместе со всем наркоматом Серов участвовал в депортации чеченцев, ингушей, калмыков, крымских татар. Руководил этими операциями сам Берия. У каждого из его заместителей был собственный сектор.
За эту работу Сталин всех щедро наградил.
8 марта 1944 года Серов получил орден Суворова I степени. Такие же ордена были вручены Берии, Круглову и Кобулову. Начальнику СМЕРШ Абакумову дали орден Суворова II степени.
В июле Серова наградили орденом Красного Знамени «за проведение операции по очистке территории Крыма от антисоветских и шпионских элементов». Такой же орден получил Богдан Кобулов. Они действовали вдвоем и в ходе операции выселили из Крыма двести с лишним тысяч человек крымских татар, болгар, греков, армян.
Депортации продолжались и после войны — из Прибалтики, Украину и Молдавии. Но уже без участия Серова. Ему досталась более интересная работа.
В начале января 1945 года «для обеспечения очистки фронтовых тылов действующей Красной армии от вражеских элементов» был учрежден институт уполномоченных НКВД СССР. Иван Александрович Серов поехал уполномоченным на 1-й Белорусский фронт к Жукову. Можно предположить, что сам маршал и назвал его имя. Они вполне ладили и даже дружили.
Уполномоченным на 2-й Белорусский фронт отправили наркома госбезопасности Белоруссии Лаврентия Фомича Цанаву, при Игнатьеве он станет заместителем министра госбезопасности СССР. 4 апреля 1953 года его арестуют как соучастника убийства Михолэса. Через два года он умрет в тюрьме.
Уполномоченным при 3-м Белорусском станет начальник СМЕРШ Виктор Абакумов. Он же — заместитель представителя советского правительства при Польском комитете национального освобождения.