Зиверса в фигуре Вирта не устраивало очень многое. Например, прошлые контакты, когда он был фактически подчинен исследователю, что Зиверс, как честолюбец, очень тяжело переживал. Вообще крайне напряженные отношения, которые сложились к 1937 году между Виртом и Зиверсом, можно объяснить только при помощи психологического анализа их неясных связей накануне создания «Аненэрбэ». Несомненно, при создании «Наследия предков» Вирт рассчитывал на поддержку Зиверса. Только этим можно объяснить восстановление отношений, разорванных в 1933 году. Это подтверждало его письмо, в котором Зиверс писал своей будущей жене, что он вынужден был согласиться на более тесные взаимоотношения с ученым, так как это могло сделать его полностью независимым. Но договоренность с Виртом осталась только словами. С первых же дней работы в «Аненэрбэ» Зиверс начал выступать на стороне Гиммлера. Он прекрасно осознавал, какие возможности давал его пост в решении административных проблем, и собирался использовать его как можно эффективнее. Зиверс пришел в «Аненэрбэ» восторженным романтиком с идеалистичными представлениями о будущей элите Германии. Но постепенно он стал меняться. К 1938 году он превратился в «холодного эсэсовского технократа», чему способствовали его частые встречи и непосредственное подчинение рейхсфюреру СС. Не являясь сторонником эсэсовской идеологии, Зиверс предстал в виде расчетливого функционера, готового ради своего карьерного роста поддерживать любую, даже самую бесчеловечную идею. Он презирал наивную романтику Генриха Гиммлера. Но вместе с тем он полностью отказался от мечтательных теорий Хильшера и мифологических конструкций Вирта. Отныне он руководствовался лишь своим ненасытным честолюбием, а элитарность понималась им исключительно как личные успехи.
Кроме этого, Зиверс был лично заинтересован в том, чтобы избавиться от Вирта, которому он до сих пор продолжал формально подчиняться. Он хотел предать забвению отдельные страницы из прошлого, о коих Вирт был более чем осведомлен. Ранее он был открытым, не определившимся с жизненными ориентирами юношей, который хотел, чтобы Вирт, авторитет для многих молодых людей, сделал его своим учеником. По мере того как Зиверс врастал в структуру СС, он все чаще ловил себя на мысли, что его юношеские увлечения были минутной слабостью. Он цинично решил, что необходимо во что бы то ни стало избавиться от свидетеля его «юношеских заблуждений», пока Вирту самому не пришла в голову мысль использовать эти знания в собственных целях. Зиверсу удалось нанести первый удар, когда в 1936 году он предложил Гальке свои услуги для подготовки молодых эсэсовцев. Он мотивировал этот шаг тем, что как никто знал взгляды Вирта, а потому мог легко заменить его. Это оскорбление Вирт так и не смог никогда простить своему бывшему ассистенту.
Зиверс сначала как генеральный секретарь, а затем как имперский руководитель общества (организационный руководитель) был в курсе всех дел «Аненэрбэ», к тому же Гиммлер доверял ему. Это был хороший стартовый капитал для карьеры внутри СС. Он полагал, что был просто предназначен для того, чтобы заменить Вирта. Устав 1937 года дал ему возможность осуществить свою мечту. Заручившись поддержкой Президента (Вюста), Зиверс начал интригу. Он стал распускать слухи, что назначение его на пост Почетного председателя было бы логичным шагом в развитии «Аненэрбэ». Вюст, присутствовавший на этих разговорах, подчеркивал, что это было бы не просто логично, но и целесообразно. Даже Райшле, который когда-то благожелательно относился к Вирту, вторил, что прошли все сроки для того, чтобы образумить нынешнего Почетного председателя Вирта. К январю 1938 года Вирт сдал последние позиции в «Наследии предков». В это время Вюст совместно с Зиверсом планировал будущую работу «Аненэрбэ», предоставляя свои наброски лично рейхсфюреру СС. Раньше подобные задачи были сферой деятельности Вирта, к которой Зиверса даже не подпускали.
Пик кризиса в «Аненэрбэ» пришелся на май 1938 года. Тогда Вюст и Зиверс написали Вирту нелицеприятное письмо, в котором заявили, что его чудачества противоречили научным и культурным целям рейхсфюрера СС. Авторы письма с «неподдельным» ужасом обнаружили, что Вирт не понимал ни структуры, ни важнейших задач, ни объема работ, предстоящих «Аненэрбэ». Вюст и Зиверс приходили к уничижительному выводу, что он подменял цели и задачи «Наследия предков» своими собственными научными и исследовательскими интересами. Далее Вирту было даже заявлено, что и свое свободное духовное творчество он должен был согласовывать с руководством СС. В последних строках письма Вюст и Зиверс подчеркивали, что в сложившихся условиях они как представители «Аненэрбэ» наотрез отказались ходатайствовать перед Имперским министерством воспитания и образования о присуждении Вирту научной степени. Не имея возможности продолжать свою работу в рамках «Наследия предков», Вирт теперь потерял всякие надежды и на научную карьеру. Он был подавлен.