Каждому было ясно, что такое назначение являлось, по сути, устранением Невельского от активной деятельности и предваряло его фактическое удаление с Дальнего Востока. Так оно и случилось. Как уже говорилось, перемены в отношении генерал-губернатора к мореплавателю наметились еще в 1854 году. И это тотчас заметили окружавшие их люди. Характерно в этом отношении письмо Н. В. Буссе своему полковому товарищу М.С. Корсакову от 14 декабря 1854 года. "Ты уже знаешь, — писал он, — что Н.Н. (Муравьев. —
Можно сказать, что Буссе оказался почти что пророком: Корсаков стал войсковым атаманом и губернатором Забайкалья, а сам Буссе — первым губернатором образованной (многие шутили — специально для него образованной) Амурской области. Вот так, келейно, почти по-домашнему решались вопросы огромного политического значения, так раздавались губернаторские и иные должности даже при таком незаурядном человеке, каким все же, несомненно, являлся Н.Н. Муравьев. Умный и решительный политик и вместе с тем — облеченный огромной властью сановник Муравьев, естественно, чем дальше, тем больше не выносил людей, чрезмерно, по его мнению, проявляющих инициативу или недостаточно четко проводящих в жизнь его предначертания. Такими стали Невельской, а вскоре и Завойко, Обоих он решил убрать отсюда, но, разумеется, отнюдь не доводя дело до скандала. И потому Муравьев сначала с почетом провожает Невельского, а уж затем находит способ сделать то же самое с Завойко — тот понял сам и попросился уехать по болезни.
Генерал-губернатор откровенно делится намерениями со своим родственником и приближенным Корсаковым в письме от 25 февраля 1855 года: "Для успокоения Невельского я полагаю назначить его при себе исправляющим должность начальника штаба; Завойку начальником всех морских сил, а тебя — всех сухопутных, разумеется, по прибытии твоем в Кизи, для дел же будут при мне дежурный штаб-офицер по морской части Оболенский и по сухопутной не знаю еще кто. Таким образом Невельской с громким названием не будет никому мешать и докончит свое там поприще почетно (подчеркнуто Муравьевым. —
Уезжая 19 октября из Аяна, куда он добирался из Николаевска на американском паруснике "Пальметто", дважды благополучно избежав опасности попасть в плен (англо-французская эскадра продолжала крейсировать у наших берегов), Муравьев еще раз напомнил в письме к Завойко, "чтоб Невельского никаким делом не обременять, а иметь его в виду как частного человека, проживающего в Мариинском посту, которому мы обязаны оказать всякое содействие… он у нас только в гостях на эту зиму…". Дело в том, что и Невельской и Завойко не сумели своевременно уехать: шхуна "Восток", на которой они намеревались попасть в Аян, не смогла выйти из Мариинского и там зимовала. В итоге Невельской остался "частным лицом", числясь начальником несуществующего штаба, поскольку Муравьев-то уехал, а Завойко волей-неволей пришлось еще целую зиму исполнять в Николаевске обязанности губернатора. Он ждал на смену себе Казакевича, но тот был все еще в Америке. Притом ни для кого не было секретом, что назначение свое он принял весьма неохотно и оговорил его срок — не более чем на два года.
Генерал-губернатор возвратился в Иркутск в конце декабря 1855 года. К этому времени по его представлению правительство утвердило образование Приморской области, в состав которой вошли прежняя Камчатская область, Охотское побережье и Приамурье. Центром области стал Николаевск, а первым военным губернатором утвержден Казакевич. Именно в это же время из состава Забайкальской области была выделена Амурская область, губернатором которой, как уже говорилось, стал Буссе. Все произошло так, как и было задумано.