Волльвебер не стал немедленно скрываться, когда нацисты пришли к власти. Он хотел сохранить и перегруппировать коммунистическое подполье, проявляя при этом энергию и смелость. И долго после того, как высшие партийные лидеры добрались до заграничных гаваней, а более мелкие были арестованы, он все ещё колесил по стране, встречаясь со своими товарищами и спасая то, что еще можно было спасти. Хотя ему мало что удалось сделать, его престиж в глазах Москвы за эти месяцы сильно возрос.
В свои 35 лет Волльвебер стал умным, дерзким и беспощадным вожаком подполья. Он никогда не выступал на митингах и не писал для прессы. Он был груб, много пил и казался настоящим практиком-нелегалом. Ян Вальтин (бывший член руководства Интернационального союза моряков) вспоминал: «Когда он говорил, то каждое его слово напоминало зловещее рычание». Он производил впечатление человека, который никогда не спешит, человека, который не знает страха, которого ничто не может удивить и который лишен всяких иллюзий.[129]
В начале 1934 года Волльвебер был вызван в Москву, оттуда он вернулся с новым назначением. В дополнение к его обязанностям члена западноевропейского бюро Коминтерна в Копенгагене на него возлагалась задача запустить новый подрывной аппарат, чьи действия будут направлены главным образом против потенциальных противников Советского Союза — Германии и Японии, — и рекрутировать в него людей из союза моряков. Этот аппарат должен был держаться особняком от всех коммунистических партий и ни в каком отношении, даже в финансовом, не зависеть от КПГ.[130]
Он поддерживался и финансировался специальными структурами советского правительства. Аппарат Волльвебера (или, как его называли позже в Скандинавии, «Лига Волльвебера») насчитывал от двадцати до пятидесяти тщательно отобранных людей, в основном датчан, норвежцев и шведов, хотя в него входило и несколько немцев. Среди последних были Вольдемар Вернер (впоследствии — начальник морской полиции ГДР), Генрих Шрамм, Карл Баргштедт, Адольф Байер, Рольф Хагге и другие.Специальной задачей «Лиги» был саботаж морских перевозок. Осенью 1933 года морская полиция в Роттердаме произвела первый арест одного из агентов Волльвебера, у которого обнаружили мешок динамита. В следующем году в бухте Таранто пошло на дно итальянское судно «Фельче». Японский транспорт «Тахима Мару», потопленный вблизи Роттердама, тоже относят на счет Волльвебера.[131]
В 1937 году, когда Германия начала перевозить военные грузы для франкистов в Испанию, деятельность Волльвебера существенно расширилась. Операции проводились не только на маршрутах, связывающих Германию с Испанией, но и на линиях, по которым шло снабжение самой Германии военными материалами. Электростанции в Швеции, которая снабжала Германию железной рудой, тоже стали объектом диверсий. В Гамбурге Волльвебер нашел поддержку в лице всё ещё сохранившейся коммунистической группы, которой руководил доктор Михаэлис. Эта группа информировала Волльвебера о морских перевозках, отходящих судах, родах груза и т. д. В 1937 г. группа была арестована и двенадцать ее членов казнены.[132]
Участились случаи взрыва судов. Обычный способ заключался в том, что в трюм между грузами помещался заряд динамита, а взрыватель ставился так, чтобы взрыв произошел, когда судно будет уже в открытом море. Взрывы произошли: на датском судне «Вестплейн», японском «Каси Мару», германском «Клаус Беге», румынском «Бессарабия», польском «Баторий» и многих других, некоторые суда были полностью разрушены. В некоторых случаях время взрыва устанавливалось с таким расчетом, чтобы судно успело подойти к шлюзам Хольтенауэр или каналу Кайзера Вильгельма и экипаж мог быть спасен.
В меморандуме от десятого июня 1941 года шеф Главного управления имперской безопасности Рейнхард Гейдрих докладывал о группе Волльвебера Генриху Гиммлеру: