Кроме выполнения трудовых повинностей, возложенных на него немилосердным воеводой, Аввакум должен был ещё заботиться о жене и детях. Помощников у него не было, поскольку Пашков отнял у него работников, а другим запретил наниматься к нему. Да и нанимать Аввакуму было уже не на что: всё его имущество, вывезенное из Москвы и состоявшее в основном из одежды и богослужебных книг, частично погибло в пути, частично же было разграблено казаками или отобрано Пашковым.
Путешествие продолжалось и летом, и зимой: летом «в водах бродили», зимой волочили нарты. Лишь к октябрю 1657 года полк Пашкова добрался до озера Иргень. Здесь поставили новый острог — рядом со старым, разорённым «немирными иноземцами». В ожидании предстоящей зимы начали строить жилые избы. Построил себе избу и Аввакум.
Одновременно люди Пашкова приступили к сбору ясака с местного населения. Из-за измены толмача в начале зимы началось восстание таргачинских и баргутских «мужиков», в результате которого погибли десять ясачных сборщиков. На подавление мятежа был послан сын Пашкова Еремей с 260 казаками на конях, на лыжах и на нартах. Однако, взяв в плен 40 человек и захватив 500 лошадей, отряд Еремея Пашкова так и не достиг Баргутской и Таргачинской земель из-за дальности расстояния.
В конце зимы 1658 года отряд Пашкова, оставив в Иргенском остроге 20 казаков, отправился в дальнейший путь. Через Иргенский волок вышли на реку Ингоду. Аввакум в своём «Житии» подробно описывает этот тяжелейший переход, оставивший неизгладимый след в его памяти. Неимоверные лишения, голод и холод, которые приходилось переживать всем участникам экспедиции, усугублялись бесчеловечными издевательствами со стороны Пашкова:
Когда вышли к Ингоде, приступили к рубке леса и заготовке брёвен для двух будущих острогов — Верхшилкского и Даурского. Для первого сделали четыре башни и все острожные стены, а для второго — восемь башен, в том числе две проезжих, и двести саженей острожных бревен на четыре стены. Заготовили также лес на избы и на церковное строение. С началом навигации все бревна сбили в 170 плотов, погрузили на них лошадей и имущество и двинулись дальше, вниз по реке. Водный путь занял целых три недели. Не хватало людей, плоты часто разбивало на мелководье. Ко всему прочему, начался голод.