В Москве Наум Эйтингон был назначен заместителем Якова Серебрянского, возглавлявшего Особую группу при председателе ОГПУ. Этот отдел, не подчинявшийся начальнику ИНО ОГПУ, был создан по инициативе председателя ОГПУ Рудольфа Менжинского в 1930 году с целью глубокого внедрения агентуры на объекты военно-стратегического значения и подготовки диверсионных операций в тылу противника на военный период. В начале 1930 года Наум Эйтингон вместе с Яковом Серебрянским выезжал в США для вербовки китайских и японских эмигрантов, которые могли бы пригодиться советской разведке в случае начала военных действий против Японии. В США Наум Эйтингон действовал параллельно с сотрудником нелегальной резидентуры Исхаком Ахмеровым. Он внедрил в одно из американских учреждений двух агентов, выведенных из Полыни на длительное оседание в США. Одним из завербованных Эйтингоном агентов был японский художник Потоку Мияги, который впоследствии вошел в знаменитую группу «Рамзай» Рихарда Зорге в Японии.
Однако, несмотря на существенные положительные результаты, Наум Эйтингон не сработался с Яковом Серебрянским и в 1931 году поставил перед руководством ОГПУ вопрос о своем переводе обратно в ИНО. Он был назначен руководителем 8-го отделения ИНО ОГПУ (научно-техническая разведка), сменив на этом посту своего будущего резидента в Испании Александра Орлова.
Что же произошло с Наумом Исааковичем Эйтингоном дальше? На должности начальника научно-технической разведки он проработал всего несколько месяцев. Уже в конце 1931 года Эйтингон был командирован во Францию, а затем в Бельгию, откуда возвратился лишь в 1933 году. В апреле 1933 года Наум Эйтингон назначается на должность начальника 1-го отделения ИНО, иными словами, становится руководителем нелегальной разведки ОГПУ.
К этому времени во внешней разведке произошли серьезные изменения. 1 августа 1931 года начальник Иностранного отдела Станислав Мессинг за открытое выступление против действий первого заместителя председателя ОГПУ Генриха Ягоды, сфабриковавшего дело так называемой «Промпартии», а также явившегося инициатором операции «Весна», направленной против военных специалистов Красной Армии, был снят с работы и в дальнейшем репрессирован. Руководителем ИНО был назначен выдающийся чекист Артур Христианович Артузов, разработавший свыше 50 оперативных игр типа «Трест» и «Синдикат», возглавлявший до этого Контрразведывательный отдел ОГПУ. Это был сильный и грамотный оперативник, блестящий организатор. Он принял решение укрепить кадры внешней разведки и расширить ее штат. Предвидя неизбежность прихода Гитлера к власти в Германии и, следовательно, неизбежность новой мировой войны, Артур Артузов еще в ноябре 1932 года отдал распоряжение об усилении нелегальной работы и о подготовке «легальных» резидентур к переходу на нелегальные формы работы в «особый период». По предложению Артура Артузова Наум Эйтингон, которому исполнилось всего 33 года, был назначен руководителем нелегальной разведки.
Именно в это время состоялось знакомство Эйтингона с Павлом Судоплатовым, который позже стал его непосредственным начальником и товарищем. В своих мемуарах «Разведка и Кремль», опубликованных во второй половине 1990-х годов, Павел Анатольевич следующим образом охарактеризовал своего коллегу:
«Красивое лицо Эйтингона и его живые карие глаза так и светились умом. Взгляд пронзительный, волосы густые и черные, как смоль, шрам на подбородке, оставшийся после автомобильной аварии (большинство людей принимало его за след боевого ранения), — все это придавало ему вид бывалого человека. Он буквально очаровывал людей, наизусть цитируя стихи Пушкина, но главным его оружием были ирония и юмор. Пил он мало — рюмки коньяку хватало ему на целый вечер. Я сразу же обратил внимание на то, что этот человек нисколько не похож на высокопоставленного спесивого бюрократа. Полное отсутствие интереса к деньгам и комфорту в быту у Эйтингона было просто поразительным. У него никогда не было никаких сбережений, и даже скромная обстановка в квартире была казенной. Эйтингон был по-настоящему одаренной личностью и, не стань он разведчиком, наверняка преуспел бы на государственной службе или сделал бы научную карьеру».
Однако и нелегальную разведку органов госбезопасности Эйтингон возглавлял недолго. Уже в конце 1933 года он надолго выезжает в командировки в США, Китай, Иран и Германию. Основные задачи, которые были поставлены Артузовым перед Эйтингоном в этих странах, заключались в организации работы по совершенствованию деятельности нелегальных резидентур и созданию условий для перевода «легальных» резидентур на нелегальные методы работы в «особый период». С поставленными задачами Наум Эйтингон справился успешно, о чем свидетельствует присвоение ему в начале 1936 года звания майора госбезопасности, что соответствовало армейскому званию полковника.