Начальником 7-го отдела с февраля 1936 года по февраль 1939 года был полковник П. Х. Харкевич, а его заместителем — майор Б. В. Звонарев, который в совершенстве владел четырьмя иностранными языками, тремя европейскими и японским. Начальником отделения «Ш» с января 1935 года по ноябрь 1937 года был полковой комиссар Э. Я. Озолин, а с сентября 1938 года по май 1939 года — майор Николай Александрович Филатов.
В 1935 году за выполнение специального задания командования Звонарев был награжден именными золотыми часами наркома обороны, а в 1936 году — орденом Красного Знамени. Дело в том, что специалисты ДРС совместно со специалистами Спецотдела раскрыли в октябре 1935 года японский дипломатический код, о чем доложили начальнику РУ РККА С. Г. Урицкому. Последний написал рапорт заместителю наркома обороны Я. Б. Гамарнику, а он, учитывая важность события, распорядился доложить об этом лично наркому обороны К. Е. Ворошилову. Вот доклад С. Г. Урицкого К. Е. Ворошилову:
«15 октября с. г. японское правительство отклонило свой основной код и ввело вместо него новый. Создалась угроза не иметь информации о военных мероприятиях Японии по линии дешифровки японских шифротелеграмм в нужный момент. Помощник начальника… отдела РУ РККА т. Звонарев Б. В. совместно с работниками его подразделения тт. Шунгским, Калининым, Мыльниковым и работниками Спецотдела ГУГБ НКВД тт. Ермолаевым и Ермаковой в минимально короткий срок, в шесть дней, раскрыли указанный код и обеспечили бесперебойную расшифровку японских шифротелеграмм. Эти результаты достигнуты благодаря систематической подготовке т. Звонаревым своего подразделения к выполнению стоящих перед ним задач. Непосредственно при раскрытии кода особо важную роль сыграли тт. Звонарев и Шунгский. Ходатайствую о награждении ценными подарками… т. Звонарева Б. В. и специалистов тт. Шунгского, Калинина и Мыльникова…»
На этом рапорте нарком обороны наложил резолюцию: «Наградить т. Звонарева золотыми часами, а остальных тт. серебряными (хорошими) часами. К. В. 27.XI.35».
В предвоенные годы японский отдел дешифровальной службы НКВД возглавлял Сергей Семенович Толстой. Одним из самых крупных успехов накануне войны было дешифрование группой специалистов во главе с Толстым японских шифромашин, известных под названиями, данными им американцами: «оранжевая», «красная» и «пурпурная».
В 1935 году криптологи Спецотдела переехали в новое здание по улице Феликса Дзержинского, названной в честь первого председателя ВЧК-ОГПУ. Шифровальный отдел был поделен на несколько отделений, занимавшихся обеспечением секретной связи с региональными управлениями НКВД, пограничными частями и военными формированиями, администрациями тюрем и лагерей, нелегальной зарубежной агентурой и «легальными» резидентурами за рубежом.
За секретную связь с «легальными» резидентурами отвечало 6-е отделение. Его начальник по фамилии Козлов был снят с должности во время репрессий в 1937 году. А после того, как преемник Козлова был отправлен шифровальщиком в США, начальником 6-го отделения стал человек, чье имя приобрело впоследствии скандальную популярность. Это был Владимир Михайлович Петров, который в 1954 году вместе с женой Евдокией получил политическое убежище в Австралии.
В 1933 году, в момент прихода В. М. Петрова в 6-е отделение, оно насчитывало в своем составе 12 человек. Этим людям доверялись самые большие тайны наиболее секретного учреждения в СССР, и поэтому они относились к элите советского общества. Однако их работа была трудной. Операции по дешифровке сообщений выполнялись вручную, и В. М. Петрову часто приходилось задерживаться на работе до полуночи, чтобы успеть вовремя обработать всю массу шифротелеграмм, поступивших к нему в течение дня. Позже, уже будучи заместителем начальника 6-го отделения, В. М. Петров сам уже не занимался шифрованием или дешифровкой, а читал, корректировал и подписывал открытые тексты шифротелеграмм.
Иногда шифровальщикам давались поручения, выходящие далеко за рамки их прямых обязанностей, как это случилось, например, с Яковом Ефимовичем Боковым. Ему было поручено убить советского посла в одной из стран Ближнего Востока, что он и сделал в кабинете последнего, проломив ему череп одним ударом металлического бруска. Чтобы отвести от себя подозрение в убийстве, Я. Е. Боков в течение года продолжал работать шифровальщиком в этом посольстве, а затем вернулся в СССР, где «за успешное выполнение правительственного задания» 14 октября 1939 года был награжден орденом Красной Звезды.
Дешифровальный отдел был разбит на отделения по географическому и языковому принципу — китайское, японское, англо-американское и т. д. Евдокия Петрова (Дуся), которая в течение двух лет изучала японский язык в московской спецшколе, работала в японском отделении. Ее коллегами по работе были:
— Вера Плотникова, дочь профессора японского языка, который в течение многих лет был резидентом японской разведки в Москве;
— Галина Подпалова, настолько влюбленная во все японское, что, придя домой, неизменно одевалась в кимоно;