Однако в конце 1943 года, когда положение немецких войск на Восточном фронте существенно ухудшилось, вышестоящее руководство Зондерштаба «Р» больше не желало терпеть самоуправство главы этого формирования. И, действительно, как писал исследователь С. И. Дробязко, за Смысловским к этому периоду накопилось немало «грехов».67 Командование Абвера раздражало то, что Смысловский установил слишком тесные связи с украинскими и польскими партизанами-националистами, отказался поддержать акцию генерала Власова, привлекал в Зондерштаб «Р» русских националистов из Народно-трудового союза, но также немецкие начальники Б. А. Смысловского выяснили, что руководитель зондерштаба предоставлял им неполные разведданные, получаемые им от своих разведчиков. На этом терпение немецкого руководства иссякло. 1 декабря 1943 года Смысловский вместе с несколькими высокопоставленными офицерами Зондерштаба «Р» был взят под арест немецким командованием. Однако это вовсе не означало, что карьере Смысловского как офицера Абвера и немецкого разведчика пришел конец.
Причин ареста Смысловского и расформирования его штаба было несколько. Это могло быть результатом интриг недоброжелателей Бориса Алексеевича из среды представителей высшего немецкого командования, а также следствием подрывной деятельности русских националистов из Народно-трудового союза, которые искренне недолюбливали Смысловского. Сам Борис Алексеевич в своих воспоминаниях утверждал, что поводом к его аресту стало его сотрудничество с украинским националистом Тарасом Бульбой Боровцом, у которого, в свою очередь, были серьезные разногласия с немецкими оккупационными войсками в Украине.68
Как бы то ни было, но немецкое военное командование вскоре вновь было вынуждено прибегнуть к услугам Хольмстона-Смысловского. Весной 1944 года с него были сняты все обвинения. Сразу же после этого Бориса Алексеевича вызвали в ставку Адольфа Гитлера и наградили орденом Германского орла II степени с мечами.69 В мае этого же года, его вызывают в ставку Верховного командования Вермахта (ОКВ), где офицеру было предложено возглавить новый разведывательный орган при немецкой армии. Однако на этот раз, в отличие от назначения Зондерштаба «Р», эта организация должна была сосредоточить свои силы на агентурной разведке в тылу советских войск.70 Смысловский принял предложение немцев. Однако теперь он выдвинул им на встречу свои собственные условия:
Немцы не без колебаний приняли эти условия, но с учетом некоторых поправок. Таким образом, Смысловский получил больше возможностей для формирования своего личного войска, которое, по его замыслу, действовало бы в интересах русских.
Вскоре Смысловский прибыл в варшавскую разведшколу. На базе этого учреждения он начал формирование новой разведывательной структуры – Штаб части особого назначения (Stab Einheit z.b. V.). Рядовой состав для новой разведшколы набирался из курсантов учебных лагерей и в спецчастях немецкой армии. Использовались также и советские военнопленные. Новое начинание Бориса Алексеевича также имело успех: «С августа по декабрь 1944 года Смысловскому удалось наладить механизм по подготовке и переброске шпионов в тыл наступавшей Красной Армии. За это время через его разведшколу прошло несколько тысяч советских военнопленных, окончивших специальные курсы».72 Осенью-зимой 1944 года Борису Смысловскому удалось наладить механизм по подготовке шпионов и переброске их в тыл советских войск. Однако работать этим разведчикам в тылу у «красных» было нелегко. Советской контрразведке зачастую удавалось мгновенно пресекать попытки противника добыть ценную информацию о частях и соединениях Красной Армии. Но, несмотря на большие промахи и неудачи, Смысловский продолжал свою работу.