Однако эти деньги очень быстро кончились, и Гримм решил пойти на очередную авантюру: выйти на связь с австрийской разведкой. В конце 1899 г. он составил письмо, аналогичное берлинскому, а затем, явившись в Варшаве домой к австрийскому консулу барону Геккингу-о-Карроль, попросил срочно переправить это письмо начальнику Генерального штаба. Дипломат сам был опытным шпионом и явно опешил от такого предложения. Однако после некоторых колебаний согласился — и через пять дней вручил Гримму конверт с приглашением лично приехать в Вену для переговоров. Через неделю, взяв недельный отпуск, Гримм выехал курьерским поездом в Вену, прихватив с собой документы, которые прошли апробацию в немецкой разведке.
Прибыв вечером следующего дня в Вену, Гримм не захотел ждать, а сразу же бросился на поиски Военного министерства. Позднее на допросах он подробно и красочно расскажет о своих «мытарствах» по вечерней Вене. Лишь поздно вечером он нашел сотрудника австрийской разведслужбы майора Носека, который сразу доставил его к офицеру, ведавшему нелегальной агентурой. Им оказался Юлиан Дзиковский, который был хорошим специалистом в области конспирации. Для начала он сделал новому агенту серьезный выговор, а затем, соблюдая все правила конспирации, отвез его в гостиницу. На следующий день на встрече с начальником разведывательного отделения выяснилось, что австрийцев больше всего интересуют вопросы стратегического характера, связанные с войсками Киевского военного округа, а также планы крепостей Ивангород и Дубно, «не исключая инструкций по обучению войск, приказов по округам, копий бумаг по изменению штатов, по увеличению войсковых частей, по изменениям в дислокации и т. д.». На следующий день условились о каналах связи: для телеграмм и писем дали адрес в Вене, а документы велели отправлять через консула. Шпиону передали средства для тайнописи, а также «гонорар» за услуги, которые оценили в 5 тыс. руб.
В начале 1901 г. в Вене получили первую посылку от нового агента. Гримм активно искал связи в Киевском военном округе. Особых успехов на этом поприще он не добился, однако после его ареста около мусорной ямы во дворе штаба Варшавского военного округа был обнаружен план позиций крепости Ивангород. По месту своей службы шпион стремился получить доступ к секретной информации вне своего отделения. Прежде всего он попытался найти доступ к материалам мобилизационного отделения. При этом шпион проявил большую изобретательность. Воспользовавшись тем, что в Варшавском военном округе сменилось руководство мобилизационного отделения, Гримм предложил свои услуги для оказания помощи по приему дел подполковнику Пустовойтенко и в его отсутствие взял секретные документы и передал их для переписки трем писарям. Не меньшую изобретательность проявил он при получении совершенно секретных сведений о дислокации и численности корпусов, входящих в состав военного округа. Гримм заставлял трудиться на себя штабных писарей Кречатовича, Куриловича и др. Курилович, получив очередное задание от Гримма, как-то в сердцах воскликнул: «Удивительно, зачем это адъютанту понадобился третий экземпляр "Всеподданнейшего отчета". Уже просто надоело!»
Одновременно Гримм усилил меры предосторожности, старался реже встречаться с австрийским консулом, предпочитал деньги получать лично сам в Вене. Он договорился с австрийцами, что вся корреспонденция будет отправляться в Вену под псевдонимами «Иван», «Софи», «Рубин», «Зарубин». Главным движущим мотивом предательства Гримма оставались деньги. Он постоянно набивал себе цену, сообщая австрийским разведчикам, что у него есть сообщники в Петербурге, через которых можно получить сверхсекретную информацию. Во время своего последнего визита в Вену он привез «Инструкцию командующему войсками по управлению Варшавским военным округом» и «Секретную часть всеподданнейшего отчета командующего войсками за 1899 г.». Очередной гонорар составил 12 тыс. руб. Однако начальник австрийской разведслужбы потребован съездить в Петербург. Гримм срочно выехал и попытался установить связи с офицерами Главного штаба.
На службе дела шли хорошо. Командующий войсками Варшавского военного округа представил его к награде за усердный труд, однако Главный штаб это ходатайство отклонил, и Гримм собирался выяснить причины в наградном отделении. К тому же он собирался приобрести доходное имение, которое продавалось по дешевой цене неким Гольдштейном. Гримм запросил со своих венских хозяев 30 тыс. руб., заверив их, что дела идут хорошо. Однако деньги на банкирскую контору Вавельберга не поступали. Хуже дела обстояли в личной жизни. Обострились отношения с женой и любовницей Серафимой Бергстрем, которая выполняла роль связной и уже несколько раз перевозила в Вену материалы, собранные Гриммом.