Во время своего пребывания на Амуре, с 25 августа по 15 сентября, Зиновьев только и делал, что расспрашивал участников экспедиции, проверяя каждый шаг Хабарова. Расспросные речи за и против Хабарова составили громадный столбец. Чего, собственно, добивался Зиновьев? Как сказано выше, отправляясь в далекий путь, он надеялся поправить свои материальные дела. Но его пребывание на Амуре продолжалось всего 20 дней. Для организации собственного соболиного промысла, который бы мог принести немалый доход, этого времени было недостаточно. Отпадал для Зиновьева и такой знакомый сибирским воеводам способ быстрого обогащения, как присвоение пушнины, собранной в качестве ясака: государев сыщик был на виду, и войско контролировало каждый его шаг. Зиновьеву оставалось поступить в духе администраторов всех времен — выступить в роли поборника справедливости и обвинителя злоупотреблений Хабарова. Расчет был простым: сначала конфисковать имущество Хабарова, а затем и самому поживиться этим имуществом.
Слова Зиновьева об отставке и отъезде с Амура Хабаров выслушал с негодованием. Несправедливость была налицо. Отставки он не заслужил. Для поездки в Москву время было неподходящим: на Амуре предстояли большие и сложные дела, требующие его присутствия. Хабаров потребовал, чтобы Зиновьев предъявил ему царский указ на этот счет. Перенести такой дерзости какого-то приказного московский дворянин не мог. Он схватил Хабарова за бороду, жестоко избил его и посадил едва ли не под стражу, приказав для начала переписать часть его имущества. При этом пострадали и некоторые полчане Хабарова, поднявшие было за него голос.
Вместо Хабарова во главе войска Зиновьев поставил есаула и пушкаря Онуфрия Степанова (Кузнеца), который никак не мог примириться с отстранением Хабарова и командование принял «в неволю». Себе в помощники он взял племянника Хабарова Артемия Петриловского.
Перед отъездом Зиновьев вручил Онуфрию Степанову две наказные памяти. В них он приказывал завести пашню в устье Урки и к следующей осени засеять там хлеб для обеспечения 5—6-тысячного войска, ожидаемого в Даурию, а на месте Лавкаева городка, в устье рек Зеи и Урки, построить острожки, из которых радетельно собирать ясак.
Распоряжения Зиновьева были далеки от практических дел. Они отдавались исключительно ради того, чтобы формально отчитаться перед Сибирским приказом и взвалить всю ответственность за их выполнение на нового приказного — Онуфрия Степанова. Хабаров и Степанов в этом разобрались сразу. И каждый из них, один — попав в Москву, а другой — находясь на Амуре, написали в Сибирский приказ челобитную и отписку, в которых разоблачили Зиновьева как случайного гостя на Амуре, стремившегося к обогащению за счет других.
С тяжелым чувством покидал Ерофей Павлович землю, освоение которой стало смыслом его жизни. О себе он не думал. Беспокоился за товарищей. С ними он прожил на Амуре 4 долгих года, делил голод, холод, невзгоды походной жизни, несколько раз исходил реку вверх и вниз. Хабаров понимал, что в его отсутствие новые трудности и испытания выпадут на долю этих людей. Приезд из Мосвы Зиновьева не облегчил положения войска. Зиновьев, дополнительно к имеющемуся на Амуре числу ратных людей, оставил только 180 человек — годовалыциков, набранных в сибирских городах, которые по истечении срока службы могли уйти из войска. К тому же он подчинил их казачьим десятникам, а не Онуфрию Степанову, чем затруднил общее руководство отрядом. Да и продовольствия и воинского наряда у Степанова оставалось немного. Зиновьев ему не оставил ни хлеба, ни пороха, ни свинца, с которыми пришел на Амур. Все забрал с собой. Только сказал: «Хлеб де добывайте сами, где знаете, а порох и свинец, так и быть, пришлю с Тугирского волока, если самому не понадобятся».
Но особенную тревогу вызывала у Ерофея Павловича судьба Третьяка Чечигина, которого Зиновьев отправил с грамотой в сопровождении 5 казаков к маньчжурскому императору как посланника. В свое время воевода Францбеков наказывал Хабарову сделать то же самое. Но тот не спешил. Чечигин был одним из его товарищей, очень смелым и честным человеком, и Хабаров не хотел напрасно рисковать его жизнью. Поэтому для охраны Чечигина он искал надежных проводников из местных жителей, чтобы иметь максимальную гарантию благополучного исхода миссии.
Зиновьев не прислушался к доводам Хабарова. Он спешил покинуть Амур и доверил жизнь посланника с его товарищами случайным и ненадежным людям, подкупив их вином и подарками. Ему было важно выполнить наказную память Сибирского приказа, а вернется Чечигин или нет, его не интересовало.
С Зиновьевым возвращались в Москву 150 стрельцов, посланных из Сибирского приказа. Он увозил весь ясачный сбор, ясачные книги и даже их черновики, чем поставил Онуфрия Степанова в весьма затруднительное положение. Прихватил Зиновьев всех толмачей, а из числа пленных несколько даурских женщин и подростков. Поехали в Москву главные обвинители Хабарова Иванов и Поляков.