28 марта 1928 года на совещании у начальника 2-го отдела Управления делами НКВМД и РВС СССР было принято постановление об организации «военно-морской части по дешифровке в Центре, в Москве». Но дело продвигалось очень медленно. Новое совещание, которое состоялось 10 января 1929 года и было посвящено тому же вопросу, на котором кроме руководителей ОГПУ и Спецотдела, представителей штаба РККА и ВМФ были также работники морских штабов Балтийского и Черного морей, снова подтвердило необходимость организации соответствующей дешифровальной службы. Однако прошел еще год, а «военно-морская часть по дешифровке» так и не была создана.
В конце февраля 1930 года Г. И. Бокий подготовил письмо К. Е. Ворошилову, в котором писал: «Специальный отдел при ОГПУ считает такой темп, взятый штабом РККА в разрешении вопроса об организации военно-морской части по дешифровке, слишком медленным. Желательно ускорить разрешение этого вопроса, т. е. в отношении дешифровальной службы РККА отстала от армий своих возможных противников, у которых это дело давно налажено».
И только в августе 1930 года было создано первое дешифровальное подразделение при штабе РККА. Находилось оно в оперативном подчинении Спецотдела при ОГПУ и фактически входило в его состав. По штату оно называлось 13-м сектором 7-го отдела Штаба РККА. Приказом РВС СССР от 5 августа 1930 года было утверждено «Положение о 7-м отделе Штаба РККА».
В одном из пунктов этого Положения было записано, что на отдел возлагались вопросы организации дешифровальной работы, руководства и контроля за ней. «Начальник 7-го отдела в специальном отношении подчиняется начальнику Специального отдела при ОГПУ». Начальником военно-морского дешифровального сектора было решено назначить помощника начальника Спецотдела при ОГПУ Павла Хрисанфовича Харкевича (1896–?).
Развитие военной дешифровальной службы продвигалось быстрыми темпами. Менее чем через год 13-й дешифровальный сектор был реорганизован в 5-й отдел 4-го управления штаба РККА, но, как и раньше, остался в оперативном подчинении Спецотдела при ОГПУ. Все работники отдела имели хорошую языковую подготовку и зарекомендовали себя способными аналитиками. Ведущими специалистами в дешифровке военных шифров того времени были Борис Владимирович Звонарев (1899–1944), Карл Густавович Тракман (1887–1938), Павел Матвеевич Шунгский (1893–?) и др.
В области подготовки и обучения кадров Спецотдел ОГПУ сотрудничал со специальной дешифровально-разведывательной службой (далее — ДРС) ГШ РККА. 15 ноября 1929 года были открыты «Курсы совершенствования командного состава РККА», на которых готовились офицерские кадры шифровальной службы. Тогда же в Херсоне в режиме строжайшей секретности был организован отдел по подготовке офицеров шифровального дела. Именно выпускники херсонского отдела впоследствии принимали участие в разработке малогабаритной дисковой кодирующей машины К-37 «Кристалл», осуществившей настоящую революцию в шифровальном деле.
В январе 1931 года были созданы объединенные дешифровальные трехмесячные курсы по подготовке криптологов дипломатического и военного направлений с ежегодным выпуском 25 человек; а в 1932 году при ДРС — Центральные курсы по подготовке дешифровщиков. Начальником курсов был назначен П. Х. Харкевич, а преподавателями — И. А. Зыбин, И. М. Ямченко, Б. А. Аронский, Кильдишев. В 1934 году начальником этих курсов был назначен опытный криптолог Сергей Григорьевич Андреев, который работал в Спецотделе с 1921 года.
Эти курсы затем вошли в состав спецотделения Разведывательных курсов усовершенствования командного состава (РКУКС). С 1 сентября 1939 года на этих курсах началась подготовка военных криптологов. Два выпуска — 1939-го и 1940 годов в количестве 107 человек были направлены на укомплектование 10-го отдела РУ ГШ и отделений при военных округах.
Однако потребность в подготовке специалистов в должной мере не удовлетворялась, так как различные краткосрочные курсы не могли полностью обеспечить государство криптологическими кадрами как в количественном, так и качественном отношении.
В марте 1930 года начальником 1-й (шифровальной) части IV (Разведывательного) Управления Штаба РККА был назначен Э. Я. Озолин, а дешифровальный сектор 8-го отдела Штаба РККА был переведен в состав 5-го отделения Спецотдела при ОГПУ для обеспечения совместной работы над шифроперепиской иностранных государств.
В сентябре 1930 года 2-й отдел Управления делами НКВМД был реорганизован в 7-й отдел Штаба РККА, а уже 13 октября 1930 года — в 8-й отдел Штаба РККА. В штабах военных округов и флотов шифрорганы назывались 7-ми отделами, которые в феврале 1931 года были переименованы в военных округах в 8-е отделы, а на флотах — 10-е отделы.
В марте 1931 года в составе IV Управления (с 22 ноября 1934 года — 5-го Управления) Штаба РККА был создан 5-й (дешифровальный) отдел (начальник — П. Х. Харкевич). Военно-дешифровальный сектор 5-го отделения Спецотдела при ОГПУ был переведен в состав 5-го отдела IV управления Штаба РККА.