Другим членом шпионского аппарата Зильберта был Роберт Гордон Свитц (он же Гарри Дюрей и Авиатор). Обученный сначала на фотографа, чтобы заменить Лидию Шталь, он потом стал пилотом, занимался шпионажем, исследуя военные сооружения и вооруженные силы в Панаме. Достать секретные документы о зоне канала было задачей коммунистической ячейки, которая состояла из военнослужащих и гражданских лиц, работающих там. Авиатор должен был в безопасности доставить похищенные документы в Нью-Йорк.
Субагент Свитца, русская девушка Фрема Керри, представила его своему близкому другу, Роберту Осману. Осман, высокий, худой юноша с кожей лица землистого цвета и меланхоличным взглядом, член Лиги молодых коммунистов, был сыном бедного безработного сапожника, который эмигрировал из России. В то время, когда он встретился со Свитцем, Осман был капралом в армии Соединенных Штатов, размещенной в Панаме. Как клерк в армейском офисе, он должен был перепечатывать разные документы, в том числе и секретные. Таким образом, многие из них, включая планы форта Шерман и укреплений в зоне канала, нашли свой путь в сеть Зильберта в Нью-Йорке.
Письмо из Панамы, в котором были секретные документы, адресованное Герберту Мейерсу в Нью-Йорк, которое по каким-то причинам не могло быть доставлено, вернулось в Панаму, и там его вскрыли в почтовом отделении. Так как в письме были секретные сведения, началось следствие, в результате которого было определено, что письма напечатаны на машинке Османа. Выяснили также, что Осман получил из Нью-Йорка денежный перевод на 400 долларов. Ему предъявили обвинение. Военный суд в августе 1933 года объявил приговор: двадцать лет каторжных работ и штраф в 10 тысяч долларов, а также позорное увольнение из армии.
Однако приговор не был приведен в исполнение. В марте 1934 года по ходатайству адвоката Луиса Вальдмана президент Соединенных Штатов распорядился провести повторное судебное разбирательство. На новом процессе, который состоялся в мае 1934 года, было доказано, что секретные документы в Нью-Йорк послал кто-то другой. О Роберте Свитце, настоящем главе панамской сети, не упоминалось, также осталось неизвестным, кто был его почтовым агентом в Панаме. Оскар, типичная рядовая жертва советской разведки, был оправдан.
Этот новый приговор был победой для способного Вальдмана, но он одновременно явился доказательством того, как мало приспособлен контрразведывательный американский аппарат и американская публика к задаче разоблачения шпионов, которая стала столь актуальной несколько лет спустя.
Торговая корпорация «Амторг» в Нью-Йорке по размерам была сравнима с «Аркосом» в Лондоне и торговым представительством в Берлине. Его начальный капитал составлял 100 тысяч долларов и был предоставлен московским Банком внешней торговли, который стал совладельцем «Амторга». Как и другие родственные компании, «Амторг» был настоящим предприятием, а не просто прикрытием, его торговые операции стали источником его силы и влияния. В некоторые годы его оборот достигал сотен миллионов долларов. Многие американские промышленные, финансовые и торговые интересы зависели от стабильности и процветания этого советского предприятия. Тот факт, что «Амторг» был и в самом деле прибыльным торговым предприятием, делал его вдвойне ценным в качестве прикрытия для операций советской разведки, потому что шпионские связи «Амторга», если бы их раскрыли, составляли ничтожную долю по сравнению с его крупными делами в области экономики.
Иногда проникнуть в промышленные секреты было нелегко, особенно в тех областях производства, которые считались стратегическими. В таких случаях на помощь призывалась коммунистическая партия, и это часто помогало. Например, «Амторг» долгое время не мог найти выхода на химическую промышленность. Партия предприняла напряженные усилия, и за два или три года подыскала нужных людей и установила необходимые контакты.
Один из пятнадцати отделов «Амторга» занимался авиацией. Его глава, непременно офицер, выполнял обязанности военного атташе, что и определяло его интересы.
Но в общем «Амторг» был владением скорее ГБ, чем военной разведки. ГБ наблюдала за всем громадным аппаратом «Амторга», вела слежку за служащими и развивала бурную деятельность за стенами этого учреждения.
Время от времени «Амторг» сотрясали политические скандалы, в результате которых вскрывались политические и полицейские функции ГБ в этой стране. Бэзил В. Дедгасс, вице-президент «Амторга», по случаю ухода с работы сделал в июле 1930 года несколько сенсационных заявлений о методах работы этого учреждения. Обвиняя «Амторг» в ведении военной разведки в Соединенных Штатах, он сказал: «Я видел информацию, касающуюся военных и военно-морских сил Соединенных Штатов, которую собирали в «Амторге» и направляли в Россию».