Во время войны с Японией Котовского отправили в армию, однако он сразу же бежал и вернулся в Бессарабию, где сколотил отряд гайдуков. Крестьяне прятали своего заступника от жандармов, поэтому его арестовали лишь в январе 1906-го. За четыре месяца в кишинёвской тюрьме он стал признанным лидером не только политических, но и уголовников. С их помощью он несколько раз пытался бежать, и наконец это удалось. Говорили, что некая гостья — красивая дама — передала Котовскому сигареты с опием, он угостил ими надзирателей, и они заснули. После этого силач выломал дверь камеры, поднялся на чердак и через люк спустился на землю по связанной из одеял простыне. Хотя все усилия пропали даром. Уже через месяц кишинёвский пристав Николай Хаджи-Коли сумел выследить беглеца и арестовать. На сей раз Котовского приговорили к виселице, заменённой 12 годами каторги. В Нерчинске «адский атаман» поутих, вёл себя примерно и рассчитывал на освобождение к 300-летию дома Романовых. Однако начальник тюрьмы своей рукой вычеркнул опасного преступника из списка освобождаемых, и вскоре обиженный Котовский бежал. Он хвастался, что при побеге голыми руками задушил двух конвоиров, но потом сам признавался, что до Гражданской войны никого не убивал, «имея доброе сердце».
Целых полгода он добирался в родные места, работая по дороге кочегаром, чернорабочим, кучером, молотобойцем. На родине он собрал товарищей и снова занялся грабежами, ещё более дерзкими. Его жертвами стали многие одесские богачи, например, скотопромышленник Арон Гольштейн, у которого он под дулом револьвера отобрал 10 000 рублей «на молоко для бедных детей». За помощь в поимке Котовского сулили большие деньги. Кишинёвский полицмейстер разослал повсюду его приметы:
«Прекрасно говорит по-русски, молдавски, румынски, еврейски, а равно может изъясняться на немецком и чуть ли не на французском языке. Производит впечатление вполне интеллигентного человека, умного и энергичного; в обращении старается быть со всеми изящным, чем легко привлекает на свою сторону симпатии… Одевается прилично и может разыгрывать настоящего джентльмена, любит хорошо и изысканно питаться и наблюдать за своим здоровьем».
В июне 1916 года предатель сообщил полиции, что Котовский скрывается на хуторе Кайнары, и старый знакомый Хаджи-Коли бросился по его следу. При аресте атаман пытался бежать и был тяжело ранен в грудь; по законам военного времени его приговорили к повешению. Но он не сдавался, и начал посылать по всем возможным адресам просьбы о помиловании, прося отправить его на фронт.
Одно из писем попало к жене знаменитого генерала Алексея Брусилова. Она навестила Котовского в одесской тюрьме, была им очарована и уговорила мужа отсрочить исполнение приговора. Тем временем случилась Февральская революция, объявившая амнистию политзаключённым. Котовский, как уголовник, под неё не попал, хотя, используя свой авторитет, жил в тюрьме вполне вольготно. В марте он посетил оперный театр, где произнёс пламенную речь в поддержку революции. Выступавший следом Леонид Утёсов тут же сочинил частушку:
«Котовский явился, буржуй всполошился».
К радости собравшихся, «адский атаман» не стал никого грабить — всего лишь продал свои кандалы за 3000 рублей «в пользу жертв революции».
В мае он был помилован личным указом министра внутренних дел Александра Керенского и отправлен на Румынский фронт. За храбрость будто бы получил Георгиевский крест, хотя об этом известно только с его слов. После революции солдатский комитет отправил его устанавливать в Кишинёве Советскую власть. Однако в декабре в городе провозгласили Молдавскую народную республику, которую тут же оккупировали румынские войска. Котовский со своим отрядом ушёл в Одессу, но и её в марте 1918-го заняли немцы. Красные отступили на восток, хотя атаман остался в любимом городе, уйдя в подполье. Как вспоминает его товарищ А. Гарри, он научился мастерски менять внешность:
«Я не всегда сразу узнавал Котовского: способностью перевоплощаться он владел в совершенстве. Ему служили не только грим и костюм: он изменял походку, выражение лица, голос, жестикуляцию».
Он явно получал удовольствие, перевоплощаясь то в блестящего офицера, то в священника, то в еврея-лавочника. Ему помогал «король» одесских бандитов Мишка Япончик, с которым Котовский познакомился в тюрьме. За умеренные деньги он снабжал подпольщиков оружием.
В декабре, после революции в Германии, немецкие войска оставили Одессу. В разгар эвакуации люди Котовского и Япончика взяли штурмом тюрьму и освободили всех заключённых. Через несколько дней в городе высадились французские и греческие солдаты, и атаман тут же включился в борьбу против них. Он совершал налёты на склады с оружием, пускал под откос поезда, не упуская из виду и агитацию среди солдат противника.