Своим независимым поведением Хабаров раздражал Пушкина и Супонева. Их неприязнь к Ерофею Павловичу разделил и дьяк Стеншин. Успехи Хабарова кроме зависти вызывали у них и стремление придраться к чему-либо, нанести ему внезапный удар. Случай представился, когда Ерофей Павлович не проявил выдержки и разругался с одним служилым человеком. Тот, по наущению Стеншина, подал воеводам жалобу на Хабарова. Его вызвали в приказную избу, а с ним заодно и свидетелей ссоры.
— С огнём играешь, Хабаров, — зловеще сказал Стеншин. — Пошто служилого человека обидел? По тюрьме соскучился?
— Намерения обидеть служилого человека у меня не было, — сдержанно ответил Хабаров. — А ежели сорвалось с моих уст грубое слово, пусть простит меня добрый человек. Вовсе не желал я его обидеть. Но и вы, други мои, не раздувайте дело. И тюрьмой не пугайте. Испытал уже сие. И коли не знаете, напомню вам, что меня охраняет государева грамота.
Хабаров вынул из-за пазухи лист пергамента — царскую грамоту — и протянул Стеншину.
— Принимаю извинение Ерофея Павловича. Посчитаем, что ссоре нашей положен конец, — сказал обиженный Хабаровым служилый человек.
— Какой добренький, — проворчал Стеншин, которому вовсе не хотелось, чтобы произошло примирение. Воеводы предпочли отмолчаться.
После того конфликта Хабаров стал проявлять большую сдержанность и осмотрительность. Он исправно выплачивал хлебный оборок со своего хозяйства, без большой нужды не появлялся в Якутске и старался не дать повода воеводской администрации для каких-либо придирок. Воеводы старались не замечать Хабарова, а дьяк Стеншин иногда открыто выражал своё нерасположение к Ерофею Павловичу.
Крупным событием, возбудившим воеводство, стало возвращение Пояркова с отрядом из дальнего похода. Казалось, что все забыли о Василии Даниловиче, оказавшемся после отстранения от власти Парфёна Ходырева временным правителем края.
Человек нрава крутого, даже жестокого, охваченный честолюбивыми планами, Поярков не захотел оставаться в Якутске и довольствоваться третьестепенной ролью при воеводе Головине, о деспотизме и неуравновешенном нраве которого имел полное представление, поэтому добился назначения главой экспедиции, которая направлялась из Якутска на юг, к Амуру.
И вот в середине 1646 года Поярков возвратился с Амура, проведя в странствиях без малого четыре года. Хабарову тоже приходила в голову мысль об участии в таком походе, его влекли края, расположенные к югу от Лены, где мог оказаться более мягкий климат, а земли более плодородными и благоприятными для хлебопашества. Встреча в Поярковым, расспросы его об амурских впечатлениях и практических результатах похода не могли не заинтересовать Ерофея Павловича. Он отправился в Якутск для встречи с Василием Даниловичем. Однако до этого ему удалось встретиться и побеседовать с несколькими членами экспедиции Пояркова. Словно сговорившись, все они скверно отзывались о нём.
— Деспот, ирод, а не человек! Знал бы, каков он, никакая сила не заставила бы отправиться под его началом, — сказал один из его спутников.
— Чуть что не по нему — рукам волю даёт. На зуботычины щедр. А кулак у Васьки увесистый. И мне от него доставалось, — сказал другой.
Ерофей Павлович даже засомневался — стоит ли встречаться с Василием Поярковым, о котором услышал столько недобрых слов, но, поразмыслив, всё же решил преодолеть заведомую неприязнь и отправиться к нему, чтобы обстоятельно обо всём расспросить.
Вопреки ожиданиям, Поярков встретил Хабарова приветливо, даже приказал прислуживавшему ему казаку подать жбан какого-то хмельного напитка.
— Значит, интересуешься моими впечатлениями? — спросил Поярков.
— Интересуюсь, — сдержанно ответил Хабаров.
— А я наслышан о тебе. Петька Головин заставил тебя в тюрьме держать. И хозяйства тебя лишил.
— Было такое дело.
— А люди говорят, земледельствовал ты неплохо.
— Со стороны виднее.
— Пошёл бы ты, мужик, по моим стопам. Отправился бы на Амур. Река великая, всякой рыбой зело богата. Берега для пахоты пригодны. Туземцы этим успешно пользуются. Это тебе не Лена. Снаряди достойную ватагу и шагай на Амур. Неужели не понятно? Хочу, чтоб надёжный человек продолжил моё дело. Ты мне кажешься таким человеком.
— Спасибо за доброе слово, Василий Данилович.
— Не раздумывай долго, а собирайся в путь.
— Хотел бы, да есть одна загвоздка, она и держит.
— Какая ещё загвоздка?
— Для такого похода снаряжение, деньги надобны и немалые. А я был дважды ограблен Петром Головиным. У меня нужных для похода денег нет.
— Слыхал, едет к нам новый воевода, Францбеков Митька.
— Прозвание-то какое басурманское.
— А он и в самом деле из басурман. Из немчуры. Крестился, принял православие и стал называться на русский лад. Приедет, поговори с ним. Заинтересуй его.
— Рассказал бы, Василий Данилович, о походе своём на Амур, — попросил Хабаров. — Что это за край? Кто его населяет? Чем он богат?
— Рассказывать можно без конца, но хватит ли у тебя терпения выслушать?
— Хватит. Рассказывай, прошу тебя.