Через некоторое время Смысловский пришел к выводу, что есть реальная возможность сформировать из эмигрантов специальное подразделение, которое бы занималось сбором дополнительной разведывательной информации. По сути, речь велась о школе по подготовке разведчиков и диверсантов для действий в советском тылу. Предложения Смысловского заинтересовали вышестоящее командование, и вскоре он был командирован в Генеральный штаб сухопутных сил. В ходе переговоров с представителями ОКХ офицер добился положительного решения — ему позволили создать учебный разведывательный батальон (Lehrbataillon fur Feind-Abwehr und N achrichtendienst).
24 сентября 1941 г. при штабе группы армий «Север» завершилось формирование первой русской добровольческой части на Восточном фронте. Организация батальона осуществлялась в тылу 18-й армии вермахта (583-й тыловой район). Основу части составили эмигранты. На все командные должности Смысловский поставил лично преданных ему людей, преимущественно из Генерал-губернаторства и Протектората Богемия и Моравия.
В то же врямя Смысловский уделял внимание и отбору подходящих кадров из числа пленных бойцов и командиров РККА, и за счет них пополнил свой батальон. Отобранных кандидатов изолировали от остальных военнопленных и под охраной немецких солдат или вербовщиков направляли в специальные проверочные лагеря или непосредственно в разведывательнодиверсионные школы.
Осенью 1941 г. благодаря инициативе Смысловского было организовано от двух до четырех батальонов. Их личный состав был поставлен на все виды довольствия, отправлен на обучение и вооружен. Батальоны вошли в состав подчинявшейся штабу «Валли» «Северной группы», которая вела тактическую и оперативную разведку в тылу РККА. До начала 1942 г. майор фон Регенау организовал 12 батальонов, находившихся на разных участках Восточного фронта (под этими батальонами надо понимать разведывательные школы абвера, действовавшие на оккупированной территории Прибалтики, а также в других областях СССР, занятых немецкими войсками). Работа Смыслов-ского в первые месяцы войны также была связана с получением оперативных данных от агентов.
Рост советского партизанского движения привел к тому, что в абвере созрело решение о создании специального разведывательного органа, который бы занимался агентурной разработкой, выявлением и ликвидацией партизан, контактируя по этой линии со всеми структурами немецкой контрразведки на оккупированной территории СССР. В результате в марте 1942 г., при 1-м отделе штаба «Ваяли» появился Особый штаб «Россия», известный как Зондернггаб «Р» (Sonderstab «Rutland»). Штаб дислоцировался в Варшаве и был законспирирован под вывеской «Восточная строительная кампания «Гклыен». Возглавил организацию майор Б А Смысловский.
В структурном отношении Зондерштаб включал в себя четыре отдела. Первые три занимались оперативной деятельностью, четвертый — отвечал за административно-хозяйственное обеспечение.
Разделив оккупированную территорию СССР на пять областей (такое деление сохранялось примерно до осени 1943 г., после чего осталось четыре области), Зондерштаб «Р» вел разведку и заброску агентуры в партизанские отряды и подпольные группы. Вся работа штаба строилась через межобластные резидентуры (или «Разведывательно-резидентские области»), которые охватывали своей деятельностью сразу несколько регионов. Общая численность сотрудников Зондерштаба «Р» составляла более 1000 человек (по другим данным, от 300 до 500 человек).
В начале 1943 г. Смысловский завершил формирование Особой дивизии «Россия» (Sonder-Division R), куда были включены 12 учебно-разведывательных батальонов. Это соединение представляло собой диверсионное формирование, личный состав которого прошел подготовку в разведшколах абвера, а затем перешел в подчинение Зондерштаба «Р» и использовался в составе специальных групп и подразделений для выполнения заданий особой важности.
Зондерштаб «Р» никогда полностью не замыкался на контрразведывательной работе (хотя он и задумывался как орган для противодействия партизанам), но был вовлечен и в зафрон-товую разведывательную деятельность, о чем говорят как советские, так и немецкие документы. Агентура, состоявшая из бывших пленных красноармейцев, получала задачи выявлять новые формирования РККА, распространять провокационные слухи, чтобы подорвать боеспособность воинских частей, склонять советских военнослужащих к переходу через линию фронта, совершать диверсионные акты в войсках и в их тылу.