В 1923 году, по настоянию заместителя председателя ОГПУ Уншлихта, Ольского переводят на работу в Москву, где он возглавляет одно из подразделений контрразведки. Кто-то может подумать: все понятно, свою роль сыграли высокопоставленные связи, вот и взяли в центральный аппарат. Да, Ян Каликстович был непосредственно знаком с некоторыми руководителями ОГПУ, но дело совсем не в связях. Читаем характеристику, выданную комиссией по аттестации сотрудников ОГПУ: «Работоспособный, с широкой инициативой, безусловно, честный, усовершенствованно знакомый со всеми отраслями чекистской работы… Имеет колоссальные заслуги в области разработок разных контрреволюционных и шпионских организаций, известных ВЧК. Вполне соответствует своему назначению и, несмотря на молодость (родился в 1898 г.), способен занимать более высший пост». Это сказано о 24-летнем Ольском еще за год до переезда его в столицу.
В середине 1924 года в ОГПУ создается отдел пограничной охраны, и первым его руководителем становится Ян Каликстович, одновременно назначенный главным инспектором войск ОГПУ и начальником Высшей пограничной школы. Даже по тем временам нагрузка на его плечи легла немалая. Охрана наших рубежей, по существу, только приобретала облик стройной системы, сочетающей войсковое прикрытие и чекистскую работу в местах наиболее вероятного проникновения противника.
Значительную активизацию оперативной работы в приграничных районах отметил начальник КРО ОГПУ А. Х. Артузов. Видимо, не без его участия Ольский реализовал свое стремление вернуться в контрразведку. В конце 1925 года он стал помощником Артузова, а через некоторое время — заместителем. Во второй половине 20-х годов Ольскому пришлось руководить многими операциями чекистов и лично участвовать в наиболее важных мероприятиях. В этот период его работа отмечена двумя знаками «Почетный чекист», а к десятилетию органов госбезопасности коллегия ОГПУ наградила его почетным боевым оружием с надписью «За беспощадную борьбу с контрреволюцией». В 1927 году Ян Каликстович сменил на должности начальника контрразведывательного отдела легендарного Артузова, возглавив фактически все органы борьбы со шпионажем после объединения КРО и особого отдела в единый Особый отдел ОГПУ.
1929–1931 годы — особый период в чекистской биографии Ольского. Заняв исключительно ответственный пост в центральном аппарате органов госбезопасности, Ян Каликстович много внимания уделял обеспечению законности в деятельности чекистов и особенно следователей. Известны многочисленные факты, когда он жестко реагировал на нарушения закона со стороны работников ОГПУ. Даже по его коротким заметкам на полях документов и записок, адресованных Главному военному прокурору, можно судить, как дальновиден был Ольский, как он стремился предостеречь своих коллег и подчиненных от пренебрежения нормами закона при ведении следствия. Совместно с работниками ГВП он подготовил циркуляр, в котором категорически требовал от начальников особых отделов обеспечить соблюдение законности, устранить трения с военной прокуратурой.
Процесс устранения разногласий между военной прокуратурой и органами ОГПУ протекал сложно. Однако Ян Каликстович и его ближайшие сотрудники смогли стать выше ведомственных амбиций во имя интересов тех, кто по каким-либо причинам оказался под следствием. Ведь не секрет, что в ОГПУ тех лет торжествовал иной подход: арестовать побольше подозреваемых, а уж потом послушные следователи сумеют слепить дело любых размеров.
Ветераны-чекисты вспомнили немало фактов столкновений Яна Каликстовича с заместителем председателя ОГПУ Ягодой. И если бы не поддержка таких известных чекистов, как Е. Евдокимов, С. Мессинг, С. Реденс, то очень сомнительно, что Ольский остался бы в центральном аппарате ОГПУ.
Однако конфликт с Ягодой усиливался, и кульминация его пришлась на лето 1931 года, когда принималось решение по малоизвестному в исторической литературе, но значительному по масштабам делу «Весна». Возникло оно на Украине, а вдохновителем и организатором всех мероприятий по нему стал печально известный Леплевский, расстрелянный впоследствии за грубейшие нарушения законности. При явной поддержке Ягоды он хотел раздуть дело «Весна» до масштабов «Промпартии», и это ему удалось. В числе арестованных оказались известные военные специалисты, такие, как Верховский, Какурин, Линтау, Лукирский, Свечин, Снесарев и многие другие. Ольский и его непосредственный начальник Евдокимов резко выступили против арестов, проводимых по делу «Весна». Они допросили многих содержавшихся под стражей военных, изучили большое количество документов и утвердились в своих предположениях: дело «Весна» — «липа».