В декабре 2002 г. попытался перевести генерала Геннадия Трошева с Северо-Кавказского военного округа на Сибирский, а генерала Владимира Болдырева — с Сибирского на Северо-Кавказский, однако Трошев публично отказался принять новое назначение. В итоге Трошев был освобожден от должности и отправлен в отпуск, а затем получил пост советника президента по вопросам казачества.
В 2002 г. распространил практику «силового комплектования» армии призывниками (массовые проверки и задержания лиц призывного возраста на улицах), опробованную осенью 2001 г. в Москве, на другие крупные города.
С декабря 2002 г. — член попечительского совета Общенационального фонда «Центр национальной славы России».
Весной 2003 г. предложил план военной реформы, который преду-сматриваел постепенный перевод армии на профессиональную (контрактную) основу и некоторое сокращение срока обязательной службы — начиная с 2007–2008 гг., с выделением министерству обороны 150 млрд, рублей на реформу. На заседании правительства 24 апреля 2003 план Иванова встретил сопротивление председателя правительства Касьянова, который выступил за финансирование реформы в объеме не более 50 млрд, рублей. В начале сентября 2003 г. премьер-министр Касьянов подписал доработанный план военной реформы на 2004–2007 гг., который предусматривал ее финансирование в размере 80 млрд, рублей.
В начале октября 2003 г. Иванов выступил в Минобороне с докладом «Актуальные задачи развития вооруженных сил», в котором содержалось утверждение, что Россия отныне допускает применение превентивных ударов по другим государствам (т. н. «доктрина Иванова»).
В начале 2005 г. Иванов активно участвовал в подготовке встречи Путина с Джорджем Бушем в Братиславе, а на переговорах со своим коллегой Дональдом Рамсфельдом, как писала западная пресса, интересовался возможной реакцией Вашингтона на выход России из двустороннего договора 1987 г. о запрещении ракет средней и меньшей дальности (РСМД).
С апреля 2005 г. — председатель комиссии по экспортному контролю Российской Федерации.
14 ноября 2005 г. был назначен заместителем председателя правительства РФ, сохранив должность министра обороны РФ.
В 2005–2008 гг. Иванов был специальным представителем президента Путина в отношениях с руководством США. Бывшая госсекретарь США Кондолиза Райс писала про Иванова: «Сергей был жёстким и немного подозрительным по отношению к Соединённым Штатам, однако на него можно было положиться. Он никогда не обещал сделать того, что сделать не мог».
В декабре 2005 г. был назначен председателем Морской коллегии при правительстве РФ.
В 2005 г. генеральный прокурор РФ Владимир Устинов, выступая коллегии Генеральной прокуратуры России, подверг резкой критике ситуацию с коррупцией в Вооруженных силах.[61]
24 мая 2005 г. главный военный прокурор РФ Александр Савенков на пресс-конференции подверг критике Министерство обороны, заявив, что уровень преступности в армии постоянно растет, что преобладают преступления против собственности и «объемы хищений во многом обусловлены отсутствием четко организованной системы ведомственного контроля». Кроме того, Савенков выразил недовольство решением Иванова назначить своим советником отбывающего условный срок экс-командующего Северным флотом адмирала Геннадия Сучкова[62].После назначения в 2005 г. первым заместителем председателя правительства РФ у Сергея Иванова осложнились отношения с Игорем Сечиным, который занимал пост помощника президента России Путина. В частности, они разошлись по вопросу о создании и статусе Следственного комитета России. Как утверждал источник газеты «Ведомости», в высших эшелонах власти якобы сложились две группы влияния: генпрокурор Юрий Чайка и первый вице-премьер Сергей Иванов — с одной стороны, а с другой — министр юстиции Владимир Устинов и замглавы президентской администрации Игорь Сечин. Первоначально, в 2007 году, следственный комитет был создан при Генеральной прокуратуре, и возглавивший его однокурсник Путина по Ленинградскому университету Александр Бастрыкин одновременно был первым заместителем Генпрокурора. В январе 2011 года Следственный комитет России преобразован в самостоятельное ведомство.
25 января 2006 г. в СМИ попала информация о «новогодних» пытках новобранцев старослужащими в Челябинском танковой училище; раны от пыток вызвали гангрену у одного из пострадавших — Андрея Сычева, которому ампутировали ноги и гениталии. 26 января 2006 г. последовал комментарий Иванова: «Я последние несколько дней находился далеко от российской территории, высоко в горах, и о том, что произошло в Челябинске, не слышал. При этом думаю, что ничего очень серьезного там нет…».
20 марта 2006 г. указом Путина при правительстве РФ была создана Военно-промышленная комиссия, которую возглавил С.Иванов.
12 декабря 2006 г. был избран председателем совета директоров ОАО «Объединенная авиастроительная корпорация» (ОАК).