6 июля 1923 года на территории бывшей Российской империи было образовано новое государство — Союз Советских Социалистических Республик (далее — СССР) и была принята его Конституция. 2 ноября того же года при СНК СССР было образовано Объединенное государственное политическое управление (далее — ОГПУ), а 15 ноября утверждено «Положение об ОГПУ». На основании этого Положения ГПУ республик были выведены из подчинения республиканских НКВД и переподчинены непосредственно ОГПУ при СНК СССР.
12 ноября 1923 года в соответствии с новым «Положением о НКИД СССР» его шифровальная часть была названа «шифровальной и секретной частью». Она вышла из состава Управления делами и стала структурным подразделением Секретариата Коллегии НКИД. Однако в этот же период происходило сокращение штатов государственных учреждений.
В одном из писем в соответствующие органы 31 июля 1923 года нарком иностранных дел Г. П. Чичерин писал: «На шифрчасти чрезвычайно тяжело отражаются как колоссальные сокращения, произведенные у нас, так и ужасающе низкие ставки… Мы должны признать безграничную преданность тех партийных товарищей, которые в такой тяжелой обстановке тем не менее до изнурения работают, перенося непосильную тяжесть, лежащую на безмерно сокращенной шифрчасти».
В этих же письмах он сообщал, что вновь назначенному члену Коллегии НКИД В. Л. Коппу поручено «работать над всеми вопросами по организации в НКИД шифровального дела». В соответствии с данными о выполненной в 1924 году работе 2-го отделения секретно-шифровальной части НКИД значится, что зашифровано было 309 408, а дешифровано 479 299 документов.
Что касается Украины, то 10 сентября 1924 года Постановлением СНК УССР на базе Шифровального бюро ГПУ УССР был образован Спецотдел. На него были возложены обязанности по управлению шифровальной работой во всех наркоматах и центральных учреждениях УССР (кроме общесоюзных), разработке и учету шифров, подбору и учету личного состава шифровальных подразделений, общему надзору за состоянием конспирации в шифровальной работе. Постановлением СНК УССР от 24 ноября 1924 года было утверждено его штатное расписание в количестве пяти человек.
28 марта 1924 года на основании приказа Революционного Военного Совета (далее — РВС) СССР № 446/96 о реорганизации Центрального аппарата наркомата по военным и морским делам (далее — НКВМД) СССР Центральный шифровальный отдел Штаба РККА был реорганизован в Шифровальный отдел при РВС СССР.
В 1925 году начальник Спецотдела ОГПУ Г. И. Бокий благодаря своим успехам в «секретной войне» сумел занять должность заместителя председателя ОГПУ. Он организовал образцовую работу по вопросам криптологии и радиоразведки. В 1926 году была введена в действие «Инструкция по ведению секретного и шифровального делопроизводства».
7 января 1925 года комиссия НКИД заслушала доклад о работе секретной части и постановила объединить секретную и шифровальную части и назвать вновь созданное подразделение секретно-шифровальной частью НКИД. Через два месяца, 7 марта 1925 года, было принято решение о ликвидации секретной части и создании вместо нее в составе шифровальной части 3-го (секретного) отделения. 9 марта 1925 года Коллегия НКИД утвердила это решение.
В этом же году нарком иностранных дел Г. П. Чичерин снова затронул вопрос о пополнении персонала шифровальщиков. 21 апреля и 8 мая 1925 года он обратился по этому вопросу в секретариат ЦК РКП(б): «Недостаточность персонала нашей шифрчасти становится уже государственной опасностью».
В конце 1925 года секретариат Коллегии НКИД начал функционировать на правах управления, секретно-шифровальная часть была переименована в секретно-шифровальный отдел, а три отделения, которые входили в его состав, переименованы в 1, 2 и 3-й подотделы соответственно.
В сентябре 1926 года названия управлений Штаба РККА стали номерными. Военное Разведывательное Управление превратилось в IV Управление Штаба РККА. Шифровальное отделение было выведено из состава 2-го (агентурного) отдела и реорганизовано в 1-ю (шифровальную) часть IV Управления, начальником которой стал Вольдемар Янович Закис (1896–1938), а его помощником — Эдуард Янович Озолин (1898–1938). Шифровальный отдел при РВС СССР был реорганизован в 2-й отдел Управления делами НКВМД и РВС СССР.
9 декабря 1927 года приказом ОГПУ № 242/96 было утверждено Положение о специальных отделениях при Полномочных представительствах (далее — ПП) ОГПУ. Эти отделения выполняли такие задачи:
— организовывали секретное и шифровальное делопроизводство во всех учреждениях, расположенных на территории ПП ОГПУ как местного, так и союзного значения;
— осуществляли контроль за порядком ведения и хранения мобилизационных и шифровальных материалов;
— вели учет лиц, которые ведали секретной перепиской в советских учреждениях;
— создавали шифры и обеспечивали ими все учреждения, расположенные на территории полномочного представительства за исключением тех, которые использовали шифр, установленный Специальным отделом ОГПУ.