Занимаясь изучением вопросов внешнеполитического характера, Орлов тем не менее старался получать и направлять в Москву информацию о новейших зарубежных образцах вооружения и боевой техники, способную помочь совершенствованию отечественных средств поражения и защиты. Так, в декабре 1934 года Александр Григорьевич сообщил в Москву химическую формулу нового отравляющего вещества, проходившего испытания в Германии: по предварительной концепции, ни один из существовавших тогда противогазов не мог защитить от воздействия нового вещества.
Добившись значительных успехов в работе во Франции, Орлов показал себя способным, грамотным и ценным военнодипломатическим работником. Поэтому к концу года руководство Наркомата обороны решило направить Орлова в страну, являвшуюся наиболее вероятным противником СССР в войне, и в июне 1935 года он прибыл в Берлин в качестве военного атташе при полпредстве СССР в Германии.
В Берлине Орлову была поставлена задача наблюдения и своевременного информирования обо всех мобилизационных мероприятиях рейхсвера, о перевооружении немецкой армии, технических и тактических характеристиках германского вооружения. Особое беспокойство вызывало стремление Германии создать военный блок государств, направленный против Советского Союза.
Германская контрразведка, естественно, всеми силами стремилась помешать получению какой-либо информации (касающейся внешней политики, армии, промышленности) советскими военными представителями. В ноябре 1935 года Москва направила Орлову предупреждение: «По нашим сведениям, за Вашими помощниками Герасимовым и Клименко установлена слежка гестапо. Учтите это». Но сообщение не стало неожиданностью — Александр Григорьевич знал о постоянной слежке немцев за работниками посольства, тем более за сотрудниками аппарата. военного атташе. В письме в Москву он привел пример ничем не прикрытых акций немецкой контрразведки. «Нахальство следящих доходит до того, что две ночи у квартиры т. Герасимова сидел человек на лесах у окна (в доме ремонт). Вообще все это происходит довольно явно. В отношении меня эта история идет непрерывно. Последней была попытка установления мне радиоаппарата. Удалось пресечь».
Несмотря на то что Орлов находился в Германии всего полгода, он сумел наладить постоянное поступление необходимой для советского военного и политического руководства информации. Получаемые от него сведения ценились очень высоко. За образцовое выполнение заданий командования 26 ноября 1935 года Александру Григорьевичу было присвоено воинское звание комбрига. Однако не все было так гладко в его работе. Помимо трудностей, создаваемых контрразведкой, возникали проблемы, связанные с укомплектованием аппарата военного атташе. Сотрудники были прекрасными военными специалистами, но слабо владели немецким языком, и, несмотря на приказ начальника Разведывательного управления РККА С. Урицкого, Москва не могла подобрать подходящего человека. В результате Орлов вынужден был взвалить всю тяжесть работы на себя, вплоть до ведения приема посетителей, что было очень непросто в столь напряженной обстановке.
Командование Наркомата обороны прекрасно сознавало степень загруженности военного атташе в Германии, но тем не менее объем работы не уменьшался. «Немало послано Вам заданий, вероятно, обратно пропорционально Вашим возможностям, но что делать? Вот еще одно (а я лично пишу Вам о заданиях — только полученных от хозяина). Нужно собрать все возможные сведения об авариях и катастрофах в германском авиафлоте, количестве убитых, разбитых самолетов (за возможный промежуток времени). Точно так же было бы хорошо раздобыть какие-либо материалы по подготовке летчиков», — писал в мае 1936 года С. Урицкий.
Работа военного атташе предусматривала участие в разнообразных приемах, маневрах и т. п. Так, в 1936 году на приеме у польского атташе полковника Шиманского ему довелось познакомиться с адмиралом Канарисом, начальником абвера. Александр Григорьевич оценил знание Канарисом нескольких иностранных языков, отметил его сдержанность в разговорах и личную дружбу с немецким военным атташе в СССР генералом Кестрингом.
Летом 1936 года отношения между СССР и Германией находились на грани разрыва. Причиной послужили разные подходы к испанским событиям. Орлов заблаговременно предупредил, что германский флот предпримет ряд акций по поддержке генерала Франко и попытается организовать провокационные столкновения с республиканским флотом. «В случае резкого ухудшения положения мадридского правительства не исключена возможность еще более активного вмешательства Германии на помощь Франко. Особенно если в мадридских делах остро выпрыгнут экстремистские анархосиндикалистские элементы, которые, круто играя “влево” смогут сыграть практически “вправо”. А это для внутренних дел на мадридской стороне наиболее опасная вещь», — докладывал он в Москву.