Убедившись, что, пешие, они не в состоянии догнать отступающего Лавкая, казаки повернули обратно и возвратились в первый Лавкаев город, наиболее укрепленный и построенный как раз на реке Урке, откуда начинался путь на Лену, который он как бы охранял своими неприступными башнями. Найденный в большом количестве в ямах хлеб, запрятанный туземцами при бегстве, позволял продовольствоваться без затруднений, но Хабаров не мог не понимать, что поход, в сущности, был неудачен. Это даже не был поход, а простая рекогносцировка, которая только показала, что с несколькими десятками человек нельзя и думать о завоевании обширной и многолюдной Даурской земли. Поэтому, оставив своих товарищей в Лавкаевом городе, он сам пошел в Якутск набирать новых ратных людей.
Прибыв в Якутск в конце мая, Хабаров расповестил про открытый благодатный край, про обширные луга и пашенные земли, которые он видел на Амуре, про богатую растительность, про великие темные леса, изобилующие соболями и всяким зверем, про разнообразие пород рыб, которыми Амур не уступает Волге, словом, про страну, которая «против всей Сибири будет украшена и изобильна». Эти рассказы привлекли под знамена ловкого предпринимателя многочисленных «охочих людей». Из них Хабаров набрал вновь 117 человек и, сверх того, получил от своего покровителя Францбекова отряд служилых людей в 21 человек и три пушки. Всего, таким образом у него составилось войско более 200 человек. С такою силой можно было сделать попытку продолжить оборвавшийся в самом начале поход.
С набранными вновь ратными людьми Хабаров весною 1651 года вернулся на Амур к оставленным им там товарищам, но уже не застал их на прежнем месте, в Лавкаевом городке. Оказалось, что в его отсутствие они не сидели, сложа руки. Двенадцать раз ходили они в походы на владения Лавкаева брата Шилгинея и захватили в аманаты его жену и младшего сына. Когда же вышел весь запас хлеба, найденный ими в ямах, они покинули свою стоянку и пошли на город князца Албазы, зятя упомянутого Шилгинея. Албаза, увидев малочисленность русских (их было всего 52 человека), отказался платить дань, замышляя напасть на них и их перебить. Тогда казаки попробовали взять Албазин штурмом: сделали щит на колесах и стали приступать; но при первой вести об опасности из окрестностей сбежались дауры. Русские были отбиты и вынуждены были отступить, потеряв четырех человек убитыми. Отойдя, они поблизости от оказавшегося неприступным города, поставили собственный острожек, в котором и дожидались возвращения Хабарова.
Когда Хабаров с артиллерией и многочисленным отрядом ратных людей присоединился к казакам, сидевшим в острожке под Албазиным городом, дауры, не рассчитывая справиться с такими большими силами, бежали и бросили свой город на произвол судьбы. Ярофей вступил в него без боя; его казаки преследовали неприятеля до соседнего Атуева города, которого достигли ночью. Утром дауры с ужасом увидели русских под стенами города, подожгли его и бежали дальше, но к полудню были настигнуты казаками и разбиты в сражении. Победители захватили много скота и с добычей вернулись к Хабарову, который ожидал их в Албазине городе. Отсюда он совершал набеги на окрестных туземцев, захватывая пленников и аманатов и терроризируя дикарей своими пушками. С побежденными он обходился с той безудержной жестокостью, которая воспитывалась у людей его типа опасностями военной жизни и отсутствием каких-либо нравственных устоев: в одном случае он приказал утопить всех пленников-мужчин, а жен, детей и шубы собольи, по казацкому обычаю «подуванить»; аманатов он заставлял работать на себя и на своих приятелей, многие из них разбежались от дурного обращения, иных он порубил. Жену Шилгинея, которая не подчинилась его насилью, он ночью удавил. Через несколько времени после того Шилгиней с другими князьями приехал к городу с ясаком и стал говорить: «Жива ли моя жена у вас? Покажите мне жену и я ясак дам со ста человек: я приехал ныне с полным ясаком». Хабарову некого было показать даурским князцам, и дауры, покружив в течение нескольких часов вокруг города по полю, с бранью отъехали прочь.