О восприятии им событий в Третьем рейхе красноречиво свидетельствует такой штрих. Когда заместитель Гитлера по НСДАП Р. Гесс в мае 1941 года совершил перелет в Англию и был в Германии официально объявлен сумасшедшим, Леман в беседе с сотрудником резидентуры прокомментировал этот факт саркастическим замечанием: «Ну вот, теперь ясно, кто нами правит».
Доверительное общение с друзьями из СССР, видимо, не прошло для Вилли бесследно, оказало заметное влияние на его взгляды.
Но было бы наивно думать, что в обстановке захлестнувшего Германию террора отношения Лемана с советскими разведчиками были неизменно сердечными и теплыми. В середине 30-х годов он, случалось, приходил на встречи в нервозном состоянии, говорил о возросшей активности контрразведки в стране, порой давал понять, что не мешало бы личное общение с ним ограничить, чаще использовать другие конспиративные способы связи.
К этому времени гестапо действительно приобрело опыт контрразведывательной работы и нейтрализовало деятельность агентурных сетей ряда сильнейших разведок мира.
У Лемана были веские поводы беспокоиться о собственной безопасности. В гестапо поступил донос на Лемана, в котором его обвиняли, что на рубеже 20-х годов он исповедовал демократические убеждения, поддерживал в указанный период контакты с председателем совета рабочих и солдатских депутатов О. Штробелем (позднее тот изменил политические взгляды, порвал с левыми и вступил в НСДАП, став правой рукой рейхсминистра пропаганды Геб-бельса).
Обвинения против Лемана соответствовали истине, в те годы он на самом деле был близок к представителям социал-демократии Германии, однако в свое время позаботился, чтобы эти факты его биографии не стали известны руководству полиции и конечно же никоим образом не нашли отражения в личном деле. Тем не менее в гестапо было проведено служебное расследование. Дело Лемана тогда прекратили за «недоказанностью вины». Перевесила его репутация опытного профессионала и хорошие отношения с начальством, а главное — новое положение самого Штробеля. Разве можно было попрекать Лемана, что в молодости он был близок с помощником такого человека, как Геббельс!
Но спустя некоторое времени некая Дильтей дала тайной полиции показания, что советское посольство в Берлине якобы имеет в гестапо «своего человека», и назвала фамилию Лемана. За ним установили слежку, но ничего подозрительного не обнаружили. Как впоследствии рассказал Леману начальник русского отдела гестапо, его знакомый, Дильтей сожительствовала с сотрудником тайной полиции — его однофамильцем — и сделала ложный донос, чтобы насолить провинившемуся перед ней любовнику.
Центр потребовал от резидентуры максимальной осторожности в работе с Брайтенбахом. В 1935 году Леман на одной из конспиративных встреч попросил сотрудника разведки приготовить для него паспорт на другую фамилию на случай, если бы пришлось перейти на нелегальное положение и немедленно выбраться из Германии. Его просьба была удовлетворена, такой документ подготовили.
Состояние здоровья Лемана, человека уже немолодого, также влияло на его настроение. Однажды он пришел на явку совершенно больной, с трудом передвигая ноги. Но, несмотря на плохое самочувствие, назначенной встречи не пропустил и нужные документы принес. На сообщение В.М. Зарубина о том, что Брайтенбах серьезно болен, руководство внешней разведки ответило срочной шифро-телеграммой, в которой указывало, что его нужно спасти во что бы то ни стало, а если лечение потребует больших денежных затрат, помочь Леману, легализовав их получение таким образом, чтобы не вызвать подозрений в отношении его. Развитие болезни врачам удалось приостановить, но Лемана и его друзей из берлинской резидентуры ждали новые испытания.
В начале 1937 года В.М. Зарубина отозвали из Германии, и он предстал перед заместителем наркома внутренних дел Л.П. Берией, курировавшим тогда и разведку. По словам очевидцев, Берия обвинил Зарубина в предательстве. Однако, несмотря на тяжкое обвинение, Зарубина не расстреляли, не приняли по отношению к нему других суровых репрессивных мер. Его понизили в должности, оставив в центральном аппарате разведслужбы, и передали под начало молодого лейтенанта В.Г. Павлова, лишь начинавшего свой путь в разведке.
Перед отъездом в СССР Зарубин познакомил Брайтенбаха со своим агентом — женщиной, проходящей в документах разведки под псевдонимом Клеменс. Она содержала конспиративную квартиру в Берлине. К сожалению, Клеменс плохо знала немецкий язык и с тру-дом на нем изъяснялась, но в распоряжении Зарубина в тот момент не было другой кандидатуры связника, да и не предполагал он, что возвращается в СССР надолго.