Кроме этого, Зиверс был лично заинтересован в том, чтобы избавиться от Вирта, которому он до сих пор продолжал формально подчиняться. Он хотел предать забвению отдельные страницы из прошлого, о коих Вирт был более чем осведомлен. Ранее он был открытым, не определившимся с жизненными ориентирами юношей, который хотел, чтобы Вирт, авторитет для многих молодых людей, сделал его своим учеником. По мере того как Зиверс врастал в структуру СС, он все чаще ловил себя на мысли, что его юношеские увлечения были минутной слабостью. Он цинично решил, что необходимо во что бы то ни стало избавиться от свидетеля его «юношеских заблуждений», пока Вирту самому не пришла в голову мысль использовать эти знания в собственных целях. Зиверсу удалось нанести первый удар, когда в 1936 году он предложил свои услуги для подготовки молодых эсэсовцев. Он мотивировал этот шаг тем, что как никто знал взгляды Вирта, а потому мог легко заменить его.
Это оскорбление Вирт так и не смог никогда простить своему бывшему ассистенту.
Зиверс, сначала как генеральный секретарь, а затем как имперский руководитель общества (организационный руководитель) был в курсе всех дел «Аненербе», к тому же Гиммлер доверял ему. Это был хороший стартовый капитал для карьеры внутри СС. Он полагал, что был просто предназначен для того, чтобы заменить Вирта. Устав 1937 года дал ему возможность осуществить свою мечту. Заручившись поддержкой президента (Вюста), Зиверс начал интригу. Он стал распускать слухи, что назначение его на пост почетного председателя было бы логичным шагом в развитии «Аненербе». Вюст, присутствовавший на этих разговорах, подчеркивал, что это было бы не просто логично, но и целесообразно. Даже Райшле, который когда-то благожелательно относился к Вирту, вторил, что прошли все сроки для того, чтобы образумить нынешнего почетного председателя Вирта. К январю 1938 года Вирт сдал последние позиции в «Наследии предков». В это время Вюст совместно с Зиверсом планировали будущую работу «Аненербе», предоставляя свои наброски лично рейхсфюреру СС. Раньше подобные задачи были сферой деятельности Вирта, к которой Зиверса даже не подпускали.
Пик кризиса в «Аненербе» пришелся на май 1938 года. Тогда Вюст и Зиверс написали Вирту нелицеприятное письмо, в котором заявили, что его чудачества противоречили научным и культурным целям рейхсфюрера СС. Авторы письма с «неподдельным» ужасом обнаруживали, что Вирт не понимал ни структуры, ни важнейших задач, ни объема работ, предстоящих «Аненербе». Вюст и Зиверс приходили к уничижительному выводу, что он подменял цели и задачи «Наследия предков» своими собственными научными и исследовательскими интересами. Далее Вирту было даже заявлено, что и свое свободное духовное творчество он должен был согласовывать с руководством СС. В последних строках письма Вюст и Зиверс подчеркивали, что в сложившихся условиях они как представители «Аненербе» наотрез отказались ходатайствовать перед Имперским министерством воспитания и образования о присуждении Вирту научной степени. Не имея возможности продолжать свою работу в рамках «Наследия предков», Вирт теперь потерял всякие надежды и на научную карьеру. Он был подавлен.
Это письмо как никакой другой документ того времени показывало, что Вирт мог продолжить свою исследовательскую деятельность только в одном случае. Он должен был оставить все посты и покинуть «Аненербе». Это шаг он сделал в декабре 1938 года.
Бурные «разборки» между Виртом и новым руководством «Аненербе», как ни парадоксально, фактически никак не отразились на деятельности «Наследия предков». После того как в 1938 году рухнули надежды Вирта создать собственную кафедру в Берлинском университете и получить титул профессора, он отправился в своей дом в Марбурге, где вел жизнь отшельника. Надо подчеркнуть, что он не таил зла на рейхсфюрера и по мере возможности поддерживал с ним контакт. Этому способствовало и то, что, покинув «Аненербе», Вирт все-таки остался хауптштурмфюрером СС, подчиненным лично Гиммлеру. Проведя несколько лет в изоляции, Вирт все же защитил в 1941 году диссертацию и получил звание «профессора — исследователя истории древней символики и религиозности». Этот факт можно было бы не упоминать, если бы после войны не всплыли документы, говорящие о том, что Гиммлер