Сам я с малых лет работал у кулаков и помещиков — до 1915 года. В 1915 году мобилизовали на военную службу в старую армию в кавалерийские части, где находился до мобилизации, т. е. до 1917 года. В 1918 году во время оккупации немцами Украины я, будучи преследуем последними как выступавший против них, переехал в Одессу к своему родному брату Терентию Яровому, который в то время работал в «Русском Одесском пароходстве» и состоял в компартии. В ноябре 1918 года я был арестован контрразведкой добровольческой армии и просидел под следствием до 14 марта 1919 года в Одесской тюрьме, откуда бежал совместно с четырьмя товарищами, сидевшими со мной.
В рядах Красной Армии с момента побега, т. е. с марта месяца 1919 до 1920 года. На фронтах воевал против банд Григорьева, Деникина и Врангеля. В органах ЧК—ГПУ с 1921 г. С весны до осени 1923 г. — в Бершади, Жмеринке и Могилеве все время по борьбе с бандитизмом райуполномоченным и командиром конного отряда. В органах ЧК—ОГПУ согласился работать добровольно, т. к. в то время оперировали крупные банды на Ольгопольщине и семья наша была разгромлена бандами. Среднего брата, коммуниста Афанасия Ярового, командира конного взвода, убила банда Заболотного в 1920 году. Старший брат Терентий, член РКП (б) был убит и 1921 году.
С 1924 и в 1925 гг. был в совпартшколе в Виннице. С 1925 года по 1926 занимался профсоюзной и партийной работой в г. Гайсине. С 1927 по 1929 год был нарсудьей в г. Гайсине, откуда откомандировали в Одессу на юридические курсы. Затем был мобилизован в Одесский окружной отдел ОГПУ для постоянной работы в следственной группе. По мобилизации откомандировали в Ташкент. Член Компартии с 1924 года. Все время работаю на выборных должностях...»
В Среднюю Азию Яков Яровой ехал с двояким чувством. С одной стороны, его радовало, что в родных местах раз и навсегда покончено с бандитизмом, что он, некогда простой крестьянский парень, внес посильную лепту в торжество идей коммунизма на украинской земле. Но беспокоил его и вопрос — сможет ли он, Яков Яровой, так же успешно и настойчиво сражаться в незнакомых краях, как на Украине.
Строки же в его личном деле свидетельствовали о богатом пути воина-чекиста, пройденном им за непродолжительное время:
«Гор. Зиновьевск — 8-й Уланский Вознесенский полк. Маршевый эскадрон — против юнкеров-корниловцев, сентябрь 1917;
в Подольской губернии Ольгопольского уезда — против немцев, июль 1918;
в гор. Одессе — против гайдамаков-петлюровцев, ноябрь 1918;
в Зиновьевск-Знаменке — против банды Григорьева, июль 1919 (был ранен в правую руку);
...Полтава — против Деникина. Чернигов — против Деникина. Орел — против Деникина. Харьков — против Деникина и Шкуро...
1921. ЧК гор. Бершадь — за борьбу с бандами: отрез на костюм, ноябрь 1921; ЧК на станции Жмеринка — отрез на костюм, июль 1922...»
«В редкие дни Яша заглядывал на час-два к нам в Жабокричку. Помню, это было после убийства наших братьев Афанасия и Терентия. Как-то раз он прискакал на коне и кличет меня: «Маруся, Маруся, скорее иди сюда». Ну я бегу — с огорода-то. Слышу голос брата. А он, Яша, вот, говорит: «Маруська, это тебе и батькам, отдай им. Пошьете что-нибудь. Мне же дальше надо. Скажи, нехай не серчают — некогда, сестричка». Ну и помчался он по пыльной сельской улице куда-то, а я стою и с тем пакунком не знаю, что робыть. Понесла в хату. Развернули — а там отрез. Брат Гриша обрадовался, батько обрадовался. «Вот — сказали, — пошьем всем одежи понемногу...»
(Из рассказа Марии Ильиничны Осадчук, сестры чекиста, жительницы села Жабокричка Чечельницкого района Винницкой области).
Второй брат погибшего чекиста — Иван Ильич, проживающий в Одессе, напишет:
«Для нас, младших, Яша был во всем живым примером — в честности, трудолюбии, уважительном отношении к старшим. Он был очень добрым и откровенным. Не хочется верить, что он так рано погиб... Мне кажется, что я вижу Яшу каждый день и разговариваю с ним...»
...На новом месте Яков Яровой взялся за дело с присущей ему энергией. Местное население с самого начала относилось к чекисту с большим уважением и любовью. Через несколько месяцев Яровой мог совершенно свободно разговаривать по-туркменски. В своих воспоминаниях бывший участник борьбы с басмачеством М. X. Хабин пишет:
«Яровой в моей памяти остался молодым, подтянутым, бодрым и энергичным чекистом. Несмотря на его средний рост, он казался очень сильным человеком — это внушала вся его статная фигура, его разговор и быстрота его действий.
Его подчиненные старались быть похожими на своего руководителя. Помню, речь его была спокойной, краткой и убедительной. Говорил он на русском и туркменском языках. Чувствовалось, что подчиненные его уважают, хотя ему было всего тридцать с лишним лет...