Итог пребывания Равича и Езерского в Могилеве был печальным: все завербованные ими агенты провалились, а сами они по возвращении в Польшу преданы военно-полевому суду как не обеспечившие выполнение важных заданий Генерального штаба. За операцией в Могилеве последовало раскрытие крупной шпионской организации в Витебске».
В июне 1921 г. Ольский был назначен председателем ЧК БССР, действовавшей в то время на правах губ. ЧК и подчинявшейся Полпредству ВЧК на Западном фронте, находящееся в Смоленске. Это совпало с развитием бандитизма в республике. После приезда в Минск комиссии во главе с зампредом ВЧК И.С. Уншлихтом и главкомом РККА С.С. Каменевым был создан Реввоенсовет Минского района, с чрезвычайными полномочиями по борьбе с бандитизмом. В его состав вошли командующий 16-й армии Иероним Уборевич, нарком по военным и внутренним делам Иосиф Адамович и председатель Белорусской ЧК Ян Ольский.
Белорусские чекисты разгромили в Шумянском уезде группу савинковского «Западного областного комитета».
16 декабря 1921 г., выступая на III Всебелорусском съезде Советов, председатель республиканской ЧК Ян Ольский заявил, что «бандитизм к данному моменту полностью ликвидирован».
С 1922 года после реорганизации ВЧК Ольский возглавил ГПУ при Президиуме ЦИК БССР. В 1923 г. Реввоенсовет РСФСР наградил Ольского орденом Красного Знамени. А.А. Зданович приводит характеристику комиссии по аттестации сотрудников ГПУ (1922): «Работоспособный, с широкой инициативой, безусловно, честный, усовершенствованно знакомый со всеми отраслями чекистской работы… Имеет колоссальные заслуги в области разработок разных контрреволюционных и шпионских организаций, известных ВЧК. Вполне соответствует своему назначению и, несмотря на молодость (родился в 1898 г.), способен занимать более высший пост».
В начале 1923 г. по предложению заместителя председателя ГПУ Уншлихта Ольского переводят на работу в Москву. С февраля 1923 г. он — начальник 3-го отделения (контрразведывательная работа против Польши, Румынии и балканских стран), помощник начальника контрразведывательного отдела ОГПУ, с июля 1923 г. по совместительству начальник отдела погранохраны ОГПУ. Одновременно с октября 1923 г. главный инспектор Главной инспекции войск ОГПУ и начальник Высшей пограничной школы. С декабря 1925 г. одновременно заместитель начальника Особого отдела ОГПУ (с мая 1927 г. — первый помощник начальника ОО, фактически руководил им ввиду загруженности начальника отдела Г. Г. Ягоды) и КРО ОГПУ.
Он был награжден двумя знаками «Почетный работник ВЧК-ОГПУ» (эта ведомственная награда, впоследствии именовавшаяся «Заслуженный работник НКВД» и «Почетный сотрудник КГБ», в чекистской среде известна под названием «Почетный чекист»), а к десятилетию ВЧК-ОГПУ Коллегия ОГПУ наградила его почетным боевым оружием с надписью «За беспощадную борьбу с контрреволюцией». Ольский во многом отличался от некоторых руководителей ОГПУ. По словам А.А.Здановича, «известны многочисленные факты, когда он жестко реагировал на нарушения законов со стороны работников ОГПУ. Даже судя по его кратким заметкам на полях документов и записок, адресованных Главному военному прокурору, можно судить, как далеко умел смотреть чекист, как стремился уберечь своих коллег и подчиненных от пренебрежения нормами закона при ведении следствия. Несмотря на крайнюю загруженность работой, он нашел время и совместно с работниками ГВП подготовил циркуляр, в котором категорически требовал от всех начальников особых отделов обеспечить соблюдение законности, устранить трения с военной прокуратурой».
В ноябре 1927 г. Ольский, как уже говорилось, возглавил КРО, оставаясь помощником начальника Особого отдела ОГПУ. Тогда же был создан единый секретариат обоих отделов. 26 октября 1929 г. Ольский был назначен начальником Особого отдела ОГПУ по совместительству с должностью начальника Контрразведывательного отдела (в ноябре он был назначен первым помощником начальника СОУ ОГПУ). Его помощниками (в 1927 г. в структуре центрального аппарата ОГПУ были упразднены должности заместителей) оставались Стырне и Пузицкий. Начальниками отделений были А. Формайстер (1-е — посольства), Роллер (2-е — англо-франко-итальянское), К. Науиокайтис (3-е — польское, затем- контрабанда, граница, таможня), В. Кияковский (4-е — Прибалтика и Скандинавия), И. Тубала (5-е — дальневосточные страны), Н.И. Демиденко (6-е — белая эмиграция), С. Гендин (7-е — Польша), выходец из Венгрии М.А. Розенфельд (8-е — немецкое, вместо перешедшего в ИНО О. Штейнбрюка).
Осенью 1930 года система контрразведки подверглась реорганизации. Приказом ОГПУ от 10 сентября 1930 г. для объединения борьбы с контршпионажем и «белогвардейско-кулацкой и повстанческой контрреволюцией», в т. ч. и в Красной Армии в состав Особого отдела были включены ранее упраздненные Контрразведывательный и Восточный отделы. 15 сентября была утверждена новая структура и штаты Особого отдела. Начальником был назначен Я.К. Ольский, его заместителем — Л.Б. (З.М.) Залин, переведенный с должности полномочного представителя ОГПУ по Западной области; помощниками начальника — С.В. Пузицкий (через месяц он был назначен заместителем Ольского), Н.Г. Николаев-Журид, бывший начальник КРО полномочного представительства ОГПУ по Северо-Кавказскому краю, В.А. Стырне, Т.М. Дьяков, бывший начальник Восточного отдела ОГПУ и Л.А. Иванов, бывший начальник Особой инспекции при Коллегии ОГПУ.
Структура Особого отдела была перестроена, вместо отделений были образованы отделы: 1-й отдел — контрразведка против разведок спецслужб западных стран, наблюдение за иностранными представительствами и колониями на территории СССР (начальник — В.А. Стырне); 2-й отдел — борьба с антисоветской деятельностью белогвардейских, крестьянских, молодежных групп и организаций и бандитизмом (Н.Г. Николаев-Журид); 3-й отдел — борьба с националистическими движениями и организациями, контррразведка против разведывательной деятельности со стороны государств Востока, наблюдение за представительствами и колониями этих стран на территории СССР (Т.М. Дьяков); 4-й отдел — оперативное обслуживание армии, флота, оборонного строительства и военно-учебных заведений (Л.А. Иванов). В марте 1931 г. отделы вновь были переименованы в отделения.
В июле 1931 г. решением Политбюро ЦК Ольский был снят с должности за выступление вместе с другими руководителями ОГПУ против Г.Г. Ягоды. В коллективном заявлении в ЦК ВКП (б) участвовали второй зампред ОГПУ и начальник ИНО С.А. Мессинг, начальник СОУ Е.Г. Евдокимов, начальник Административно-организационного управления (АОУ), Главного управления пограничной охраны и войск (ГУПОиВ) и Главной инспекции по милиции и уголовному розыску при ОГПУ И.А. Воронцов, полпред ОГПУ по Московской области Л.Н. Вельский. Они выступили против первого зампреда Ягоды (в частности, они обвиняли его в фабрикации следственных дел на командиров Красной Армии — бывших офицеров царской армии).
Это дело под наименованием «Весна» было начато руководителями ГПУ Украины В.А. Балицким и И.М. Леплевским с санкции высшего руководства партии (опасавшегося заговора и вооруженного мятежа бывших офицеров в случае интервенции) при поддержке Ягоды. В числе арестованных (около 10 тыс. чел. оказались известные военные специалисты бывшие генералы А.И. Верховский (военный министр Временного правительства), С.Г. Лукирский, А.А. Свечин, А.Е. Снесарев, полковник Н.Е. Какурин и многие другие. По словам А.А. Здановича, «Ольский и его непосредственный начальник Евдокимов резко выступили против арестов, проводимых по делу «Весна». Они допросили многих содержащихся под стражей военных, изучили большое количество документов и утвердились в своих предположениях: дело «Весна» — «липа».
Ягода был очень встревожен таким поворотом событий, тем более что ему стало известно о намерении Ольского, Евдокимова и еще ряда крупных чекистов опротестовать не только дело «Весна», но и некоторые другие и довести до руководства страны, что ОГПУ сворачивает на путь чрезмерных репрессий».
Конфликт завершился поражением противников Ягоды. Его поддержал председатель ОГПУ В.Р. Менжинский, а затем и Сталин. Хотя сам Генрих Григорьевич в итоге переместился с поста первого заместителя на должность второго зампреда (первым замом стал Иван Алексеевич Акулов, старый партийный работник, в ЧК ранее не служивший, а третьим зампредом руководитель украинского ГПУ Всеволод Аполлонович Балицкий). Противники Ягоды пострадали гораздо серьезнее. По постановлению ЦК были уволены из ОГПУ Мессинг, Ольский, Воронцов и Вельский, Евдокимов переведен из Центра (сперва в Ленинград, затем в Среднюю Азию) за, как говорилось в постановлении Политбюро ЦК ВКП(б) от 6 августа, «совершенно нетерпимую групповую борьбу против руководства ОГПУ», распространение «совершенно несоответствующих действительности разлагающих слухов о том, что дело о вредительстве в военном ведомстве является "дутым делом"», расшатывание «железной дисциплины среди работников ОГПУ».
