Работа Ивана Серова была разносторонней. По словам А. Шепилова, именно Серов, «занимая в свое время пост заместителя наркома внутренних дел, организовал для А. Г. Маленкова секретную партийную тюрьму». Назначенный в конце войны на должность заместителя руководителя советской военной администрации в Германии, Серов, по его же словам, вывез оттуда в 50 железнодорожных эшелонах немыслимое количество материальных и культурных ценностей (антикварную мебель, фарфор, хрусталь, столовое серебро, картины, ковры и оружие).
Эти вещи в основном были собственностью немецких аристократов или захвачены гитлеровцами на оккупированных территориях. Значительная часть имущества состояла из конфискованных нацистами вещей арестованных и потом принадлежала начальникам концентрационных лагерей. Большинство из этого осталось в квартирах высокопоставленных партийных руководителей и их непосредственных подчиненных. По некоторым сведениям, по распоряжению Серова в мае 1945 г. через пакгаузы спецзавода № 2 ХОЗУ НКВД в летнюю резиденцию Л. П. Берии в поселке Семеновская Отрада (Подмосковье) проследовали фрагменты знаменитой Янтарной комнаты, похищенной немцами во время войны.
Подчиненные И. Серова также участвовали в «распределении» трофейных ценностей, но в значительно меньших размерах. Впоследствии они подтвердили весь размах действий «Ивана Грозного», как прозвали Серова жители Польши и Германии. По их словам, этот представитель военного командования не брезговал не только мехами, гобеленами и столовым серебром, но и постельным бельем, люстрами, каминами и велосипедными звонками. Более того, он разыскал бывшего владельца оружейных заводов И. П. Зауэра, создал ему условия для возобновления производства и организовал выпуск ружей класса «люкс» с соответствующими отделкой и инкрустациями для высших партийных и военных функционеров.
Другими деяниями бравого генерала стали присвоение огромных сумм рейхсмарок, поступивших в его распоряжение для служебного пользования, уничтожение части официальной документации (описи, расходные листы) на трофейное имущество и деньги и вывоз с территории Германии золотой короны с бриллиантами (семейного наследия бельгийского короля). Этим действиям попытался противостоять член Военного совета Группы оккупационных войск в Германии генерал К. Ф. Телегин, но был немедленно арестован и заключен на 10 лет.
С весны 1947 г. Серов получил должность первого заместителя наркома внутренних дел СССР. Ему непосредственно подчинялись Главное управление по борьбе с бандитизмом, пограничные войска, милиция, отдел правительственной связи, отдел контрразведки, учетно-статистический и шифровальный спецотделы. На этой должности он прославился интригами, с помощью которых устранял своих противников. Так, Серов постоянно направлял записки на имя И. В. Сталина с обвинениями в адрес В. С. Абакумова. Последний был вынужден искать покровительства у Л. П. Берии, но безуспешно.
Во время волнений в Венгрии в 1956 г. Серов выезжал туда для руководства органами государственной безопасности. На месте он незамедлительно организовал массовые аресты и высылку в Сибирь более 5 000 человек. Во время попытки внутрипартийной группы Л. М. Кагановича, В. М. Молотова, Г. М. Маленкова и других добиться отстранения Хрущева от власти Иван Серов фактически спас положение, организовав доставку в Москву на военных вертолетах более 100 преданных и благонадежных членов ЦК, которые поддержали Хрущева и смогли сорвать «антипартийный заговор».