Отпустив Нагибу, Ермилов переждал десять дней, после того, как прошел лед, чтоб поспели оставленные им на волоку запасы и поплыл вслед за Нагибою. По пути он подсмотрел многолюдный улус, тайным обычаем ночью произвел на него нападение и нахватал пленных. Среди них оказались жена и дети местного князя Тоенчи; последний приехал к нему со всеми людьми и «честно поклонился» Государеву Величествку, присягнул по своей вере и обязался платить ясак, а для начала принес 32 соболя. С момента встречи с Хабаровым оба отряда объединились и стали действовать сообща.
Ермилов был озабочен судьбой посланного вперед Нагибы, и первым делом осведомился о нем у Хабарова. Тот ответил: «Я и мое войско тех служилых людей не видали, они расплылись с нами; только туземцы сказывали нам, что плывут-де казаки сверху к вам. Мы с ними расплылись где-нибудь около Сунгари, а грамотку их нашли повыше устья Сунгари». Ермолин и его товарищи стали было проситься отпустить их на низ, на поиски Нагибы, но Хабаров резко им в том отказал: «То дело на мне Государь положил, а не на вас!» Он имел, впрочем, на то свои основания, так как от туземцев были получены сведения, что на устье Сунгари стоит войско великое, вся земля в скопе, и китайцы вместе с ними, всего народу, будто тысяч с шесть. Захваченный русскими лазутчик с пытки повинился: «Вас тут ждали, рассчитывали: как-де поплывут казаки сверху или снизу, и мы-де их приманим к берегу, да тут-де их побьем; и сверху казаков не дождались, а вы на место прибежали на парусах, и меня за вами послали наблюдать, потому что соображали так: станут-де они зимовать и город поставят, и мы-де соберем войска, тысяч десять и больше, и их давом задавим». Сколько его ни пытали, он говорил одно: «Будет на вас войско тысяч с десять, и с пушками и с мелким огненным оружьем».
Эти сведения заставляли быть осторожным. Хабаров предоставил собственной судьбе Нагибу и продолжал путь вверх, громя прибрежные селения и хватая пленных. Когда они приплыли к городу сидевшего у него в аманатах князя Турончи, его дети прислали с рабами, в виде ясака, 7 соболей и 7 быков, но из «лучших людей» никто не явился на русские суда. Тщетно Хабаров через толмачей убеждал дауров: «Дайте Государю ясак полностью и живите без боязни на прежних своих кочевьях!» – никто даже близко не подъезжал. Так же неудачны были попытки дать проводников Терентью Ермолину, который по порученью Францбекова, должен был ехать в Китай. Напрасно простояли на одном месте ровно четыре недели, в надежде добиться проводников; напрасно Хабаров обращался к Туронче с упреками: «Для чего твои люди не хотят взять Третьяка и не везут его к Шунь-Чжи хану?» – Как им взять? – отвечал Туронча, – Китайская земля теперь с вами задралась, и вы многих китайских людей побили, да и ныне на вас придет войско китайское большое, тысяч десять и больше, и если наши люди возьмут того Терентья с товарищами, а вдруг их обратно из Китая не отпустят, и вы нас за то побьете».
Не добившись ничего, Хабаров поплыл дальше и 1 августа высадился на правом берегу Амура, против устья реки Зеи в улусе князя Кокурея. Здесь Ярофей стал говорить своим казакам: «Где бы нам город поставить?» Большая часть войска выразила полную готовность приступить к постройке. «Где будет годно и где лучше Государю прибыль учинить, тут и станем город делать», – говорили полчане. Но среди них нашлись, по словам Хабарова, воры, которые нарушили крестное целование и радели только о своих «зипунах» (добыче) и о нажитках. Во главе этих воров стоял енисейский казачий десятник Костька Иванов, случайно присоединившийся к походу; в совете с ним было человек сто. Бунт вспыхнул на трех судах. Бунтовщики отказались принимать участие в общем деле и снялись с якорей. Те из команды, которые не хотели присоединиться к ним добровольно, были перевязаны; несколько человек, впрочем, бросилось в воду в одних рубашках и вплавь добрались до Хабарова. Хабаров и верные ему казаки подъезжали в лодках к отъезжавшим судам и уговаривали своих бывших товарищей остаться и соблюсти верность Государю. На это последовал ответ: «Мы и близко к вам не пойдем; однажды мы от вас отъехали!», сопровождавшийся насмешливым заявлением, что они впредь не согласны служить Государю «своими головами с травы и с воды». Затем, выбросив на берег одну пушку, а другую в воду и, захватив войсковое знамя, порох и другое казенное имущество, Костька Иванов с своими соумышленниками поехал вниз по Амуру. Всего от Хабарова ушло 136 человек; осталось с ним только 212 человек.