Цзу Ти не стал унывать и вернулся в Цзинкоу. Там он набрал отряд единомышленников из числа своих соотечественников, всего более сотни человек. Все они были храбрецами, готовыми служить родине. Они собрались вместе и приступили к военным тренировкам. Вскоре они сели на лодки и, переправившись через Янцзы, отправились на север. В тот день Цзу Ти сидя в лодке и издалека смотря на север, не видел ничего кроме безмятежно белых речных вод. Он обернулся и наблюдал прекрасную картину того, как горы и воды на юге сливаются в единое целое. Размышляя о цели этого возвращения на север, он в нетерпении чуть ли не выпрыгивал из лодки, забирал у лодочника весло и сам греб. Достигнув середины реки, Цзу Ти встал, начать стучать веслом по воде (отсюда пошел фразеологизм «бить веслом в среднем течении реки» в значении «поклясться, быть преданным идее») и громко сказал товарищам: «В этот раз я, Цзу Ти, отправляюсь на север, и если не смогу освободить срединную равнину, то, как и воды этой реки, не вернусь!». Услышав это, его товарищи все заявили: «Когда у генерала такая воля, то мы с ним до конца!».
В начале осени 313 г. н. э. Цзу Ти с отрядом переправились через Янцзы, прибыли в Хуайинь (совр. Хуайань, пров. Цзянсу), где и остановились. Они возделывали земли и накапливали запасы зерна, изготавливали оружие, а также набирали солдат. Услышав о планах вернуть утраченные территории, многие местные жители, которые были молоды и сильны, присоединились к его войску. И вскоре у Цзу Ти собралась армия численностью боле двух тысяч человек. После тренировок он двинулся с командирами и рядовыми в направлении Юйчжоу. В это время в области Юйчжоу помимо войска Ши Лэ было множество вооруженных отрядов, сформированных местным населением. Они назывались У Бао. Некоторые из них поддерживали династию Цзинь, а некоторые имели добрые отношения с Ши Лэ. Воевали они и между собой. Цзу Ти отправил к ним гонцов, предложив совместно бороться с врагом. С тех пор многие отряды У Бао заявили, что признают командование Цзу Ти. Цзу Ти, возглавив их всех, начал наступление и очень быстро отвоевал несколько городов, а затем отправился преследовать врагов на запад.
Цзу Ти сказал: «Если не смогу освободить срединную равнину, то, как и воды этой реки, не вернусь!»
Когда об этом услышал Ши Лэ, он отправил подкрепление в пятьдесят тысяч пеших и конныхвоинов под руководством своего племянника Ши Ху. Они столкнулись с армией Цзу Ти в Цзюньи (совр. Кайфын, пров. Хэнань). Между сторонами состоялся ожесточенный бой. Ши Ху потерпел крупное поражение. Оставив командира Тао Бао оборонять город Цзюньи, он бежал. Войска Цзу Ти вошли в Цзюньи, заняли восточную башню и восточные ворота. Люди Тао Бао заняли западную башню и южные ворота. Две армии заняли один город и стояли в защите своих позиций более месяца, пока не закончилось продовольствие.
Цзу Ти подумал: «Похоже, нужно уравновесить боевой дух, а значит нужно придумать способ раздобыть зерна». И тут у него появилась идея. Сначала повелел солдатам наполнить мешки для зерна песком и землей. Они наполнили более тысячи мешков. Затем их стали поднимать на стену. Тао Бао, увидев это, подумал, что там зерно и стал бросать завистливые взгляды. В этот день несколько солдат из армии Цзу Ти, которые таскали зерно, будто бы устали и остановились передохнуть на обочине дороги. Это заметили люди Тао Бао и сразу выбежали отбирать зерно, обратив в бегство перетаскивавших его солдат. Люди Тао Бао отняли, взглянули, что там и правда крупа, и зашушукались: «Смотрите все, сколько еды! У нас, однако же, ее нет. Как же биться в этом бою!». И их боевой дух сразу упал. Как раз тогда Ши Лэ прислал людей с тысячей ослов, груженых зерном. Услышав об этом, Цзу Ти сразу отправил людей отнять зерно. Тао Бао узнал, что зерна не стало, и упал духом. В ту же ночь его войска ушли. Войска Цзу Ти сразу заняли Цзюньи. Их боевой дух окреп, и они один за одним вернули еще много районов. Изначально поддерживающие Ши Лэ У Бао перешли на сторону Цзу Ти.
Незаметно пролетели годы, и Цзу Ти вернул почти все районы к югу от реки Хуанхэ. Ши Лэ более не посмел отправлять войска в Хэнань. Цзу Ти знал, что для полного восстановления государства необходимо иметь тыл. Поэтому он облегчил бремя для народа на освобожденных территориях и дал крестьянам возможность наладить нормальное производство, посеять больше зерна, а еще и начать торговую деятельность.