Весной 1994 г. баллотировался в депутаты Законодательного Собрания Санкт-Петербурга (в промэрском блоке «Весь Петербург», к созданию которого был причастен Владимир Путин). Выборы в округе были признаны несостоявшимися из-за недостаточной явки избирателей.
С сентября 1994 по июль 1996 г. — председатель юридического комитета мэрии Санкт-Петербурга (при мэре Анатолии Собчаке).
С июля 1996 по январь 1999 г. — председатель юридического комитета администрации Санкт-Петербурга (при губернаторе Владимире Яковлеве). Один из немногих руководителей мэрии, оставшихся в должности после поражения на выборах Анатолия Собчака.
С 1998 по январь 1999 г. — вице-губернатор Санкт-Петербурга. Одной из причин отставки Козака в начале 1999 г. стал конфликт губернатора Яковлева и Законодательного Собрания города по поводу устава Санкт-Петербурга, вводившего ограничения на законотворческую деятельность губернатора. В написании устава принимал участие Козак (основной автор устава — депутат ЗакС Леонид Романков).
В январе 1999 г. — учредитель ОАО «Международный инвестиционный финансовый союз» (МИФЦ, руководитель — Михаил Антонов), был избран председателем совета директоров ОАО МИФЦ.
С января по май 1999 г. работал в ТОО «Юридическая фирма «Нева-Юст».
В мае — августе 1999 г. — заместитель руководителя администрации президента РФ по правовым вопросам (руководитель администрации — Александр Волошин).
12 августа 1999 г. распоряжением и.о. председателя правительства РФ Путина был назначен первым заместителем руководителя аппарата правительства РФ и исполняющим обязанности руководителя аппарата правительства РФ вместо ушедшего в отпуск Андрея Черненко. С 19 августа 1999 г. — руководитель аппарата правительства РФ — министр РФ (премьер — Путин; после того, как Путин стал и.о. президента РФ 31.12.1999 г., правительство работало под руководством первого вице-премьера Касьянова).
В ноябре — декабре 1999 г. возглавлял штаб президентской избирательной кампании Владимира Путина. В начале января 2000 г. уступил это место заместителю руководителя администрации президента Дмитрию Медведеву.
16 мая 2000 г. комитет Совета Федерации предложил (после консультаций с администрацией президента) кандидатуру Дмитрия Козака на должность генерального прокурора. Однако 17 мая президент Владимир Путин внёс в Совет Федерации кандидатуру Владимира Устинова, который и был утвержден в должности.
С мая 2000 г. — председатель попечительского совета фонда «Центр стратегических разработок» (ЦСР, председатель совета — Герман Греф, президент — Михаил Дмитриев).
В июне 2000 г. был назначен заместителем руководителя администрации президента РФ.
С 21 августа 2000 по сентябрь 2004 г. — председатель совета директоров ОАО «Совкомфлот».
В июне 2001 г. назначен председателем комиссии по подготовке предложений о разграничении предметов ведения и полномочий между федеральными органами государственной власти, органами государственной власти субъектов РФ и органами местного самоуправления.
С июля 2003 г. — заместитель председателя комиссии правительства РФ по административной реформе.
В сентябре 2003 г. в т. н. «Меморандуме Козака» предложил проект объединения Молдавии и Приднестровья в единое федеративное государство. Предполагалось создание «асимметричной федерации» в составе Молдовы, Приднестровья и Гагаузии, двухпалатный парламент, переходное положение на период до 2015 г., демилитаризация (с сохранением на период разоружения присутствия российских миротворческих сил); придание русскому языку статуса второго государственного. В ноябре 2003 г. «Меморандум Козака» был отвергнут президентом Молдавии Владимиром Ворониным накануне намеченной даты его подписания.
9 октября 2003 г. вошел в состав совета директоров РАО «Российские железные дороги» (РЖД).
29 октября 2003 г. руководитель администрации президента РФ Александр Волошин ушёл в отставку. 31 октября 2003 г. после назначения руководителем администрации Дмитрия Медведева, Козак в тот же день был назначен его первым заместителем.
4 февраля 2004 г., после регистрации Владимира Путина кандидатом в президенты России на выборах, назначенных на 14 марта 2004 г., Козак возглавил его избирательный штаб.
9 марта 2004 г. назначен руководителем аппарата правительства — министром РФ в новом правительстве Михаила Фрадкова.
13 сентября 2004 г. во время формирования правительства Зубкова и через 10 дней после событий в Беслане, был назначен полномочным представителем президента РФ в Южном федеральном округе. Одновременно был назначен руководителем Особой федеральной комиссии по Северному Кавказу, которой были предоставлены «широкие полномочия по координации деятельности на Северном Кавказе различных федеральных ведомств, а в отдельных случаях — координация действий силовых ведомств». Комиссия была распущена в 2006 г.