С июня 2002 г. — председатель совета директоров ОАО «Концерн ПВО «Алмаз-Антей». Гендиректором концерна был назначен помощник Иванова Игорь Климов (убит в 2003 г.), а после него, с августа 2003 — Владислав Меньшов.
В августе 2003 г. руководитель Фонда эффективной политики (ФЭП) Глеб Павловский опубликовал доклад, в котором обвинил «группу Пугачева — Сечина — Виктора Иванова» в наличии у нее собственных политических целей, отличающихся от целей президента Путина. Одним из признаков особой линии «группы» Павловский назвал атаку на «ЮКОС» (к «группе» он причислил также президента «Роснефти» Сергея Богданчикова, генпрокурора Владимира Устинова, замдиректора ФСБ Юрия Заостровцева, министра налогов и сборов Геннадия Букаева и бывшего управделами президента Ельцина Павла Бородина).
30 октября 2003 г. новым руководителем администрации президента вместо подавшего в отставку Волошина стал Дмитрий Медведев. При нем Иванов сохранил свой пост. В начале ноября 2003 г. Медведев уточнил круг обязанностей Иванова: ему была поручена организация подготовки проектов решения президента по вопросам гражданства, помилования и награждения государственными наградами, а также по кадровым вопросам. В его обязанности вошло обеспечение взаимодействия администрации президента РФ с государственными органами в области кадровой политики и методическое руководство указанными органами по кадровым вопросам, оперативное руководство деятельностью управления кадров президента РФ, управления президента по государственным наградам, управления президента по вопросам гражданства, управления президента по вопросам помилования.
В апреле 2004 г. президент Путин провел реорганизацию администрации президента. У руководителя администрации Медведева осталось два заместителя — Игорь Сечин и Владислав Сурков. Остальные бывшие заместители, в том числе и Виктор Иванов, стали называться помощниками. Круг обязанностей Иванова остался более или менее прежним. 16 июня 2004 г. Иванов был назначен заместителем председателя комиссии по вопросам совершенствания государственного управления при президенте РФ. Возглавил межведомственную рабочую группу по реформированию государственной службы при комиссии. С июля 2004 г. — руководитель Межведомственной рабочей группы по разработке концепции национальной стратегии противодействия легализации преступных доходов.
4 ноября 2004 был избран председателем совета директоров ОАО «Аэрофлот — Российские авиалинии».
В конце 2005 г. назначен руководителем межведомственной рабочей группы по подготовке введения в России паспортно-визовых документов нового поколения (загранпаспортов с электронными носителями информации). 26 июня 2006 г. назначен председателем межведомственной комиссии по реализации государственной программы по оказанию содействия добровольному переселению в Россию соотечественников, проживающих за рубежом. В начале февраля 2007 г. назначен руководителем межведомственной рабочей группы для подготовки предложений по борьбе с коррупцией.
С мая 2008 г. — руководитель Федеральной службы по контролю за оборотом наркотических средств и психотропных веществ (сменил на этом посту Виктора Черкесова).
С 25 мая 2008 г. — член Совета безопасности РФ.
23 июня 2008 г. был вновь избран членом совета директоров ОАО «Аэрофлот — Российские авиалинии». Однако в октябре 2008 г. оставил пост председателя совета директоров компании (вместо него совет директоров возглавил министр транспорта Игорь Левитин). В конце июля 2008 г. Иванова в должности председателя совета директоров «Алмаз-Антея» сменил заместитель руководителя АП Александр Беглов.
С мая 2008 г. — председатель Государственного антинаркотического комитета.
С сентября 2008 г. — председатель Координационного совета руководителей компетентных органов по противодействию незаконному обороту наркотиков (КСОПН) государств — членов Организации Договора о коллективной безопасности (ОДКБ).
На посту руководителя ФСКН выступал за создание реабилитационных центров для наркозависимых граждан под эгидой службы, против чего возражало руководство Минздрава России.
С сентября 2011 г. — председатель правительственной комиссии по разработке и реализации антинаркотических программ, обеспечивающих интересы Российской Федерации в Центральной Азии.
В марте 2014 г. США и Канада ввели санкции в отношении Иванова, в сентябре 2014 г. — Австралия.
В январе 2015 г. Минфин России предложил ликвидировать Федеральную службу по контролю за оборотом наркотиков. По данным СМИ, президент Путин дал указание подготовить документы о ликвидации ФСКН России. Иванов направил в администрацию президента РФ письмо с возражениями. С критикой предложения о ликвидации ФСКН России выступили «Справедливая Россия», «Партия дела», Русская православная церковь. Поддержала решение о ликвидации ФСКН КПРФ. В июне 2015 г. Иванов сообщил: «Принято решение не трогать [ФСКН] и к этому вопросу больше не возвращаться». Тем не менее, в 2015 г. президент Путин дважды сокращал штатную численность ФСКН.