После освобождения пленных, дауры принесли в виде ясака 60 соболей, отговариваясь по прежнему: «нынеча у нас соболей нет; на осень дадим полный ясак». Казалось, что с ними начинали устанавливаться добрососедские отношения: они мирно жили в своих улусах под городом «за один человек» с русскими, привозили им продовольствие, беспрестанно ходили к ним в город, и русские с своей стороны, тоже ходили к ним в юрты. Казаки мечтали прочно обосноваться в завоеванном городе; по жребию в нем были уже распределены участки для постройки изб, поставили особый двор, где держать аманатов, на всякий случай укрепили город башнями, на которые поставили пушки и вновь сделали вокруг него частокол. Хабаров предложил желающим завести пашню; на призыв откликнулось много охотников, и Хабаров бойко торговал захваченными им с собою серпами, косами и сохами, назначая самые бессовестные цены. Словом, Толгин город, как прозвали казаки укрепление, в котором они обосновались, обещал сделаться форпостом русской колонизации на Амуре, как вдруг 3-го сентября из юрт прибежал ходивший к туземцам казачий десятник (он же толмач) Костька Иванов с известием, что дауры хотели его схватить, и что он едва от них ушел. Не успел он закончить свой рассказ, как на глазах у казаков жившие в окрестностях города дауры сразу все поднялись, сели на коней, вместе с женами и детьми и ускакали, побросав свои жилища. Хабаров послал было их уговаривать, но уже никого не нашли в улусах, кроме двух старух. Тогда Ярофей стал упрекать аманатов, что они нарушили клятву и отослали своих людей. Князья отвечали: «Мы не отсылали их, мы сидим у вас, а у них своя дума». Толга добавил с благородным ожесточением: «Чем нам всем помереть, лучше мы одни помрем за свою землю, коли к вам в руки попали». Сколько ни бился с ними Хабаров, свирепые дауры твердили одно: «Ведайтесь вы с нами, однажды вам в руки попали». Хабаров прибег к пыткам, жег их на огне и бил кнутом, но они повторяли: «Отсеките нам головы, раз уж мы вам на смерть попались». Между тем русские видели разъезжающих вокруг города туземцев, но все попытки склонить их к возвращению не увенчались успехом. Так рухнули все предположения насчет прочной оседлости. Хабаров поневоле стал задумываться, что зимовать тут не на чем: хлеба близко от города нет и опасно упустить время. Влекла вперед и жажда новых приключений и новой наживы. 7-го сентября, после трех с половиною недель пребывания в Толгином городе, он приказал опять сниматься с места, грузить суда, выкатить пушки и пускаться дальше в путь. Многие из его товарищей, уже мечтавшие о спокойной жизни на новооткрытых пашенных местах, покидали неохотно облюбованные ими земли, сели на суда со слезами и упрекали своего начальника в том, что он ведет их вперед, главным образом, из личных выгод. Перед отъездом, по распоряжению Хабарова, Толгин город был сожжен. Князь Толга не пережил гибели своего города и на другой же день скрал нож и зарезался.
Дальнейший путь шел мимо гористых берегов, довольно густо заселенных гогулами, улусы которых то и дело мелькали перед глазами русских. В один день они насчитали двадцать один улус; это, правда, были небольшие городки юрт по десяти каждый. Казаки высаживались, хватали пленников, побивали и рубили сопротивлявшихся и плыли дальше. За устьем Сунгари (русские называли эту реки Шингалом) начиналась земля пашенных джючеров. Здесь встречались многолюдные поселения, юрт по 70 и 80, окруженные богатыми пашнями. Землею джючеров плыли целую неделю; по всему пути громили улусы, мужчин «рубили в пень», женщин, детей и скот забирали и делили между собой. На восьмой день вступили в землю рыбьекожих ачанов. Ачаны жили по берегам Амура, образуя многолюдные поселения, юрт даже в 100. Когда казаки пытались подъезжать в лодках к берегу, то туземцы выскакивали на берег и вступали в бой, но ничего не могли поделать против огнестрельного оружия русских. 29-го сентября казаки наплыли на очень большой улус, стоявший на левом берегу. Наступала зима. Хабаров, по казацкому обычаю, созвал на совещание своих товарищей, чтобы обсудить дальнейшие действия, и было решено зимовать в данном улусе. Поставили город и стали собирать ясак с ачанов. Надо было заботиться также о продовольствии. Для этого в начале октября оснастили два судна и отправили 100 человек в экспедицию вверх по Амуру за рыбой.