Так начался новый период в жизни Яна. 13 последующих лет посвятил он чекистской работе. Из автобиографии: «…С августа 1919 года работаю в органах ВЧК—ОГПУ. Был начальником особого отдела 16-й Армии, в 1920 году назначен особоуполномоченным особого отдела Западного фронта… При формировании 1-й Польской Красной Армии мне была поручена организация ее особого отдела, а после я вновь назначен в 16-ю Армию».
Осенью 1920 года по инициативе РСФСР и Украины начались переговоры с буржуазно-помещичьей Польшей, завершившиеся (хотя и с большим трудом) подписанием договора о перемирии. Естественно, что в договоре нельзя было предусмотреть все нюансы, поэтому возникали спорные вопросы, в том числе между противостоящими друг другу войсками. Для их решения стороны обменялись группами офицеров связи.
Одна из таких групп находилась и при штабе 16-й армии. Но, как вскоре выяснилось, польских представителей больше занимал поиск путей для сбора разведывательной информации о красноармейских частях, а не исполнение дипломатических функций. Это не осталось незамеченным военными контрразведчиками. Если бы не решительные действия чекистов, возглавляемых Яном Каликстовичем, то тайная возня польских офицеров могла привести к весьма опасным последствиям для наших войск.
Дело в том, что руководители миссии связи майор Равич-Мысловский и подхорунжий Езерский успели-таки установить связь с существовавшей еще с 1918 года польской шпионской организацией в Могилеве. В той или иной степени на Равича работали 58 человек, среди которых были командиры и солдаты, железнодорожники, служащие органов снабжения армии и даже… несколько поляков — сотрудников особых отделов. Один из предателей вознамерился передать «дипломатам» шифр особого отделения 1-й дивизии, другой даже обратился с письмом к польским военным представителям с перечнем услуг, которые он бы мог оказать в обмен на содействие после бегства в Польшу. Медлить было нельзя. Раскрыв в полном объеме шпионскую деятельность Равича и имея на руках неопровержимые улики, особый отдел армии в начале января 1921 года приступил к ликвидации разросшегося филиала польской разведки.
Итог пребывания Равича и Езерского в Могилеве был печальным: все завербованные ими агенты провалились, а сами они по возвращении в Польшу преданы военно-полевому суду как не обеспечившие выполнение важных заданий Генерального штаба.
За операцией в Могилеве последовало раскрытие крупной шпионской организации в Витебске. И там Ян Каликстович проявил себя как грамотный и решительный контрразведчик.
Закончилась война. Прекращение боевых действий на польском фронте позволило приступить к налаживанию хозяйственной жизни в Белоруссии. Но тайная война не прекращалась. С согласия и при всевозможной поддержке военных и разведки в Польше формировались, а затем перебрасывались в Белоруссию разномастные вооруженные банды. К маю 1921 года на территории республики уже насчитывалось до четырех тысяч бандитов. «Лесное воинство» постоянно пополнялось за счет все новых и новых групп, просачивавшихся через бреши в охране границы.
В начале лета в Минск прибыла специальная комиссия во главе с Уншлихтом и Каменевым. Выслушав доклады военных и чекистов, они поддержали предложение о создании Реввоенсовета Минского района, наделенного чрезвычайными полномочиями по борьбе с бандитизмом. В его состав вошли командующий 16-й армией Иероним Уборевич, нарком по военным и внутренним делам Иосиф Адамович и председатель Белорусской ЧК Ян Ольский. Чекистам поручалось не только обеспечить войска информацией о местонахождении и численности банд, но и разгромить подпольные националистические и савинковские организации, тесно связанные с вооруженными группировками.
Прицельные удары белорусского ЧК и особых отделов бандиты ощутили очень скоро. В Шуменском уезде удалось вскрыть и ликвидировать контрреволюционную группу савинковского союза, руководившую кровавыми налетами на безоружные крестьянские селения. Недолго просуществовал и так называемый Западный областной комитет с его филиалами в нескольких белорусских городах. Но предстояла еще упорная борьба. Реввоенсовет Минского района издал приказ о сохранении на территории Белоруссии военного положения.
16 декабря 1921 года, выступая на III Всебелорусском съезде Советов, председатель республиканской ЧК Ян Ольский с уверенностью заявил, что «бандитизм к данному моменту полностью ликвидирован». По докладу Яна Каликстовича участники съезда приняли резолюцию, где деятельность чекистов признавалась правильной. Съезд вновь утвердил Ольского председателем Белорусской чрезвычайной комиссии. Отмечая заслуги Яна Каликстовича в деле искоренения бандитизма, президиум ЦИК Белоруссии направил ему письмо с выражением благодарности, а Реввоенсовет наградил орденом Красного Знамени.