Преемником Гроскурта стал Эрвин Лахузен-Вивремон. Офицер австрийской службы, глава службы разведки Генерального штаба в Вене, он сотрудничал с Канарисом еще до аншлюса Австрии. Это и сыграло главную роль в решении назначить его руководителем диверсионного подразделения в Абвере.
Третьим, контрразведывательным направлением Абвера ведал в первые годы администрации Канариса майор Генерального штаба Рудольф Бамлер. Военная контрразведка в определенной степени занималась и политическим сыском в вооруженных силах и на предприятиях военной промышленности. Она самым тесным образом сотрудничала с гестапо — ведущим полицейским органом «третьего рейха», ведавшим контрразведкой и подавлением политических противников режима.
Версальский мир запретил Германии иметь официальных военных представителей при посольствах за границей — институт, который традиционно являлся важнейшим источником стратегической информации для военно-политического руководства. По этой причине одним из первых актов гитлеровского правительства в комплексе мер по восстановлению военной мощи Германии и подготовке к войне явилось его возрождение. Уже в апреле 1933 года последовали первые назначения военных атташе в европейские столицы — к концу года они были уже в Англии, Франции, СССР, Италии, Венгрии, Болгарии, Нидерландах; Польше, Чехословакии, Румынии. Как правило, на эти посты назначались опытные офицеры службы Генерального штаба в звании полковника или генерала. При этом каждый вид вооруженных сил получил право назначать своего собственного военного атташе, хотя после 1938 года один из аккредитованных в данной стране военно-дипломатических представителей считался старшим и носил титул «военного атташе вооруженных сил». Всего к началу второй мировой войны Германия имела 18 военных, 12 морских и 13 авиационных атташе в различных странах мира. Руководство их работой осуществлял специальный отдел «Заграница» («Аусланд»), которым бессменно руководил капитан I ранга (позже адмирал) Леопольд Бюркнер. Статус этого подразделения обеспечивал ему значительную автономию. Стекавшиеся сюда сведения направлялись Бюркнером самостоятельно «наверх» или в другие заинтересованные органы, главным образом в министерство иностранных дел.
Роль квази-штаба Канариса играл подотдел «Зет». Его шефом бессменно являлся Ганс Остер, главный доверенный Канариса. Подобно Канарису, он был убежденным монархистом консервативного толка, сторонником возрождения «величия» Германии, но так же, как и шеф, пытался добиться полюбовного соглашения с западными державами, прежде всего с Англией. Вероятно, это обстоятельство способствовало установлению между Остером и Канарисом доверительных отношений. Остер, в отличие от Канариса, был менее осторожным и менее искусным политиком и заговорщиком и довольно быстро оказался на заметке у гестапо. Он постоянно отпускал едкие реплики в отношении «Эмиля» — так именовали в кругу фрондирующих военных Гитлера.
Еще в предвоенные годы руководство Абвера развернуло за рубежом сеть резидентур, «имплантированных» в аппараты посольств. Эти новые филиалы Абвера — так называемые КО (сокращение от «Кригсорганизатион» — «военная организация») располагались в нейтральных странах или государствах, поддерживавших юридически или фактически союзные отношения с Германией. Резиденты, как правило, опытные офицеры военной разведки, действовали под ложными именами и были аккредитованы обычно как коммерческие атташе.
КО вели как военную, так и политическую разведку не только, иногда не столько в стране пребывания, но и третьих странах, расположенных в данном географическом регионе, а иногда и за его пределами. Почти все КО представляли собой центры управления обширной сетью филиалов, действовавших «под крышей» консульств. К примеру, КО «Мадрид», учрежденная после окончания гражданской войны в Испании, имела филиалы при консульствах в Сан-Себастьяне, Барселоне, Севилье, Тетуане и некоторых других городах.