Киппенбергер протестовал против уничтожения дела его жизни, но Ульбрихт, выходивший на первые роли в качестве советского агента номер один, настоял на своем. В любом случае русские уже потеряли веру в способности Киппенбергера и его АМ. Его голландское отделение в Амстердаме сотрудничало с британской разведкой, что в глазах Советов являлось смертельным грехом. В ноябре 1935 года Ульбрихт отправил в Амстердам Вильгельма Кнохеля, выпускника Ленинской школы и члена Z-аппарата (диверсии), которому доверял, и отстранил „предателей“, включая „инструкторов“ Эрвика Фишера, „Хайнца“ и „Мартина“.
Русские начали работать с Ульбрихтом. Даже советской разведке пришлось признать, что эффективная работа в Германии больше невозможна. Приблизительно во время работы конференции „проверяющий“ доктор Рабинович покинул Москву с целью ликвидации организации, бывшей когда-то предметом гордости советской шпионской империи в Германии. Он распустил организацию ББ по промышленному шпионажу и заморозил деятельность всего „аппарата“. Даже само его название было вычеркнуто из словаря разведки. В довершение ко всему Рабинович ликвидировал базы Разведупра в Германии.
От мощной структуры различных аппаратов» и тайных организаций осталось только 25 агентов и связников. Рабинович распределил их по всей стране и взял с них обещание продолжить работу на советскую разведку. В начале 1936 года, перед возвращением в Москву, он встретился с руководством своей рухнувшей надежды, но уже в Копенгагене, поскольку больше не считал Германию достаточно безопасной. Там он дал сигнал к началу самой крупной эвакуации за всю историю советского шпионажа.
Это был печальный исход. Команда Разведупра переехала из Германии в Голландию и Францию, откуда могла наблюдать за развертыванием программы вооружения Третьего рейха. Западноевропейское бюро Коминтерна перебралось в Копенгаген и Париж, организация по изготовлению фальшивых документов, или точнее её остатки, нашла свое убежище в земле Саар, все ещё остававшейся под международным контролем, но долго там не задержалась и переехала во Францию, где пополнилась агентами Коминтерна, Разведупра и пражскими изгнанниками.
Крах советской агентуры стал абсолютным, а тем временем её хозяева в России были втянуты во внутренние распри. За бесплодные восемнадцать месяцев с того момента, как Рабинович свернул деятельность разведки в Германии, лучшие кадры разведки коммунистов нашли конец в жерновах сталинской мельницы смерти.
Борьба за власть в Советском Союзе привела к вспышке старой вражды между тайной полицией и разведкой. Иосиф Сталин принимал все более жесткие меры для сохранения своей личной диктатуры и уничтожения любого реального или возможного противника в партии, государстве и вооруженных силах. Для этой цели в качестве смертоносного оружия он все активнее использовал тайную полицию. Она тем временем была ещё раз переименована и получила беспрецедентную полноту власти.
В июле 1934 года ГПУ стало ГУГБ (Главное Управление Государственной Безопасности), образовав особое подразделение НКВД. Возглавляемое Николаем Ежовым, оно утопило в волнах террора всякую оппозицию. Ежовский террор обрушился и на трех традиционных соперников: тайную полицию, Разведупр и Коминтерн. Недоверчивый мизантроп из Кремля подозревал их руководителей в заговорах против своей особы. Вскоре «глава торговцев подозрениями» из ГУГБ приготовился нанести им смертельный удар: в июне 1937 года был смещен самый влиятельный человек в Красной Армии, маршал Тухачевский, а председатель Коминтерна Зиновьев к тому времени уже предстал перед судом. Вместе с ними были почти полностью уничтожены их подпольные организации.
Один за другим от рук палачей тайной полиции пали руководители разведки: Берзин и его преемник Урицкий, создатель Коминтерна Пятницкий и его заместитель Миров-Абросимов, советский военный атташе в Лондоне генерал Путна, руководитель Разведупра в Швейцарии Игнаций Райс. Сотням разведчиков приказали вернуться в Россию и затем расстреляли, тысячи были арестованы.
Не избежали этой участи и руководители германских «аппаратов». Киппенбергера объявили немецким шпионом, арестовали и расстреляли. Та же самая участь была уготована Москвой главе паспортного аппарата Флигу, заместителю Киппенбергера Роту, руководителя старого «М-аппарата» Эберлайну. Типичной для многих аппаратчиков стала судьба начальника старого ББ. Он руководил разведывательной сетью Разведупра в Скандинавии, когда получил приказ вернуться в Москву.
— Я не рвусь на встречу со своей смертью, — сказал он, — но у меня нет выбора.
И он был расстрелян.