С 1938 года он активно занимается преобразованием абвера из органа, собирающего нужную информацию, в мощную организацию, способную влиять на жизнь стран всего мира. К тому же теперь у него появилось несколько конкретных задач: обеспечивать секретность приготовлений Германии к войне и проводить подготовку к «блицкригу», то есть вносить хаос и неразбериху в войска и военную промышленность тех стран, на которые вермахтом намечено нападение.
Для этого он разделил свой центральный аппарат на пять отделов. Первый традиционно добывал информацию о военно-экономическом положении потенциального противника. Здесь были специалисты как по отдельным регионам и странам, так и по различным видам вооружения. Второй отдел занимался более активной и заметной деятельностью, а именно, организацией диверсионно-террористических операций. Другие работники этого отдела обеспечивали необходимое снабжение прогерманских группировок, «заграничных немцев», эмигрантских и националистических организаций, то есть всех, кто позднее стал входить в знаменитые «пятые колонны». Третий отдел должен был продолжать дело донацистского абвера, то есть осуществлять военную контрразведку и политический сыск в вооруженных силах. Этот же отдел разрабатывал операции по дезинформации иностранных разведок, следил за лагерями для военнопленных, вербовал там будущих агентов. Четвертый отдел выискивал, добывал ценную информацию, штудируя иностранную прессу, литературу и прослушивая радиопередачи, а также общаясь с германскими военными атташе за границей, деятельностью которых управлял. Наконец, в обязанности центрального отдела входило вести главный архив абвера и картотеку его агентов.
Список агентов был довольно велик. Канарис создал широкую шпионско-диверсионную сеть практически во всех странах Европы, Азии, Африки и Америки. Легенда связывает его имя с первой вербовкой известной шпионки Маты Хари. Безусловно, это легенда, поскольку мифическая шпионская деятельность этой известной, но никогда по сути дела шпионажем не занимавшейся танцовщицы относится к тому периоду, когда Канарис с разведкой еще не был связан. Но живучесть слухов об этом, разумеется, основывается на том, что масштаб реальной работы адмирала с агентами был очень велик.
Канарис принимал участие в разработке и осуществлении гитлеровских агрессивных планов. Еще во время формирования добровольческих корпусов он познакомился с капитаном фон Хиппелем, ветераном оперотрядов, воевавших во время первой мировой войны в районе Танганьика. В 1935 году Кана-рис пригласил его на пост советника абвера по партизанским операциям. И адмирал, и его капитан были уверены, что методы «коммандос», испытанные когда-то в Африке, могут найти применение и в Европе. Они не сомневались, что в недалеком будущем Германии потребуются партизанские соединения, «коммандос» — элитные формирования со специальной подготовкой.
Этим группам предстояло проникать сквозь границы противника еще до объявления войны или начала наступательных действий, чтобы захватывать важнейшие цели в самом начале боевой операции. Руководителей привлекал такой вид войск и операций прежде всего большой эффективностью и малыми потерями. В начале 1938 года началось секретное формирование экспериментального подразделения «профессиональных партизан». Кандидатам в отряд предъявлялись очень высокие требования: уровень интеллекта выше среднего, хорошая физическая и военная подготовка. Кроме того, они должны были владеть несколькими языками, легко приспосабливаться к новой ситуации, иметь незапоминающуюся внешность, что позволило бы им действовать под разными фамилиями. Преимущество предоставлялось немцам, жившим ранее в Северной и Южной Америке или в Африке. Их готовили к разведывательной работе, актам саботажа, а затем забрасывали в страны, где они проживали ранее. Правда, иногда ограничивались и более грубыми приемами.