В Воронеже, где Тираспольский отряд был на переформировании, Иона Эммануилович занялся организацией крепких красных частей. Была создана Южная завеса против немцев и белоказаков, преобразованная в сентябре 1918 года в Южный фронт. Якир был назначен начальником Политуправления фронта, а затем членом РВС 8-й армии. В боях в районе Коротояк – Лиски – Острогожск он проявил себя настоящим полководцем. Три недели изнуренный, израненный Якир выводил из кольца 12-ю дивизию. Он отличался неутомимой активностью, железной волей и энергией, в критические моменты личным примером поднимал бойцов в атаки. За организацию своими силами контрнаступления, в результате которого были освобождены Коротояк и военно-стратегический узел Лиски, Якиру был вручен орден Красного Знамени № 2 (№ 1 получил В. К. Блюхер).
В июле 1919 года Иона Эммануилович вновь проявил свои организаторские таланты. В 45-й дивизии, которая формировалась в районе Одессы – Приднепровья, «сплошь и рядом царила вольница». Времени на укрепление дивизии противник не оставил, отрезав ее от главных сил Красной Армии. «На юге – море, англо-французский флот, поддерживающий белые десанты, на юго-западе – румыны… На севере – Петлюра и галичане. В тылу – кулацкие банды, восстания… На главной тыловой магистрали – Махно с его всеразлагающей бандитской армией», – писал позже Якир, командовавший окруженной южной группой, куда входили 45, 47, 58-я дивизии, 2-я бригада Котовского. Руководство из центра прекратилось, связи не было. Именно здесь Якир продемонстрировал военный талант, умение управлять большим контингентом войск. Так называемый «Южный переход» в глубоком тылу противника на всю жизнь сдружил молодого командира с боевыми соратниками: Затонским, Гамарником, Голубенко, Левензоном, Картвелишвили, Гаркавым, Котовским. Поддерживая друг друга, командный состав вел группу на прорыв, нанося серьезный урон противнику, который считал, что шансов вырваться у Якира нет. 400-километровый поход и месяц непрерывных упорных боев в огненном кольце сплотили бойцов в единый кулак. Рейд, окончившийся стремительным освобождением Киева, заставил генерала Деникина перегруппировать силы. Это помогло основным частям Красной Армии под Орлом начать переломное наступление против белогвардейцев. Второй орден Красного Знамени украсил грудь 24-летнего командующего южной группой.
После небольшой передышки в декабре 1920 года Якир со своей 45-й дивизией принял участие в боях за Екатеринослав и Александровск (Запорожье). Командир постоянно сталкивался с попытками махновцев деморализовать бойцов. Якир противопоставил анархистам жестокие действия и дисциплину. Совершенно уничтожить банды Махно силами одной 133-й бригады не удалось, «батька» укрылся в Гуляйполе. Дивизия Якира участвовала в освобождении Одессы. Командуя Фастовской, Золочевской и Львовской группами, комдив проявил себя в польской кампании 1920 года и был третий раз награжден орденом Красного Знамени. Но от последнего похода остался горький осадок: бессмысленная трата сил подо Львовом, где Сталин и Буденный противопоставили свои амбиции приказам командарма Тухачевского идти на Варшаву и бесславно жертвовали бойцами, потрясла Якира. К тому же стало давать сбои здоровье (туберкулез), но комдив находил в себе силы быть вместе с родной дивизией и принял участие в разгроме войск Петлюры под Проскуровом и Волочиском. За эту операцию 45-я дивизия была представлена к ордену Красного Знамени, а комдив получил золотое оружие.
После разгрома последних банд Махно военные действия закончились. Иона Эммануилович занимал ответственные партийные и командные должности на Украине и в Крыму. С октября 1921 года ему был доверен один из самых больших военных округов – Киевский (КВО). Рядом работали боевые друзья – люди, которым он абсолютно доверял. Опираясь на их поддержку, Якир решал множество политических, народно-хозяйственных и военных проблем. Особенно много он сделал на должности командующего Вооруженными силами Украины и Крыма (с 1924 г.) при переводе армии на мирное положение и в период военных реформ. Опытный Фрунзе не побоялся доверить столь ответственный участок двадцатидевятилетнему Якиру и не ошибся в преемнике. Комдив организовал проведение огромной воспитательной работы среди бойцов, ввел шефство трудовых коллективов над красноармейскими частями, стоял у истоков зарождения советских военных праздников и поощрял связь армии и людей искусства. Над его родной 45-й дивизией шефствовали артисты театра «Березиль».