Жизнь в Николаевске была тяжелой и страшной. По поселку бродили стаи больших лесных крыс, спокойно проникали в дома, пожирая все, что попадалось, нападали на спящих. Офицеры, пока капитаны американских торговых судов не завезли на Амур кошек, ложились спать, поставив на пол свечу и положив рядом заряженный дробью пистолет. Ночью начиналась пальба по грызунам.
В конце Крымской войны генерал-губернатор Восточной Сибири генерал-лейтенант Муравьев назначил Невельского начальником штаба «войск на Амуре расположенных», оставив его фактически не у дел. Амурская экспедиция была ликвидирована. Многие советские историки и писатели создавали из Невельского трагическую фигуру главного героя присоединения Амура, подвергавшегося гонениям именно за свой патриотизм. Отстранение его от дел ставили в вину Муравьеву. На самом деле генерал-губернатор увидел, что Невельской в изменившихся условиях не справлялся с ситуацией, и поступил по отношению к Невельскому благородно: щадя самолюбие Геннадия Ивановича, придумал эту ненужную должность, на которой тот дождался предписания выехать в 1855 году в Петербург.
Как это ни грустно, но Муравьев, Невельской и Василий Степанович Завойко, «начальник морских и сухопутных сил, на Амуре расположенных», — три главных деятеля, благодаря которым Россия приобрела огромные территории на востоке и одержала победу на востоке в Крымской войне, расставались неприязненно. Завойко и Муравьев по крайней мере сумели переступить через взаимные обиды и обнялись на прощание, но Геннадий Иванович сделать этого не смог. Из троих наиболее благородно повел себя Николай Николаевич Муравьев. Он всегда отзывался о своих бывших помощниках самыми добрыми словами и никогда не пытался отнять у них славу.
Невельские провели пять лет на Амуре, а казалось — целую жизнь, спрессованную в эти годы. Геннадий Иванович начал свою амурскую эпопею холостым капитан-лейтенантом, а возвращался отцом семейства, контр-адмиралом. Это была блестящая карьера, но далась она ему нелегко.
Обратная дорога была длительной и нелегкой. Сначала вниз по Амуру, затем на шхуне «Восток» в Аян, оттуда на лошадях до реки Мая и по сибирским рекам до Иркутска, более четырех тысяч верст. Детей (у них родилась еще одна дочь), Ольгу и Марию, везли в больших плетеных корзинах, притороченных к седлу. В Петербург Екатерина Ивановна с дочерьми приехала лишь к концу года, задержавшись в Красноярске, где жила семья сестры.
Здоровье Невельских подорвали перенесенные лишения. Геннадий Иванович и Екатерина Ивановна часто болели. Ездили для излечения за границу, на воды, но все это не очень помогало.
Часто приходится читать, что подвиг Невельского замалчивался, а его чуть ли не преследовали. Все это чушь. Геннадия Ивановича назначили членом учебного отделения Морского технического комитета. В сущности, то была синекура. Дело в том, что ему трудно было подыскать подходящую должность. В командиры соединения кораблей он не годился, поскольку не имел соответствующего опыта и знаний: единственное, чем он командовал, — это маленьким транспортом «Байкал». В качестве администратора он тоже проявил себя не с лучшей стороны. Поэтому место, на которое его назначили, было идеальным решением.
Его исправно награждали высшими российскими орденами, присваивали последующие адмиральские звания, он стал полным адмиралом (высшее морское звание), дали высокую, «амурскую», пожизненную пенсию в две тысячи рублей. Словом, обижаться было не на что. Но если по совести, то сделанного им для Отечества было достаточно, чтобы обеспечить безбедное существование не только его и Екатерины Ивановны, но и их детей и внуков.
Были ли у Невельского недоброжелатели? Были, и немало. О Екатерине Ивановне никто и никогда не сказал худого слова, а о муже говорили и писали разное. Главным его оппонентом был очень достойный человек, адмирал Василий Степанович Завойко, считавший возвышение Невельского незаслуженным. Больше всего Завойко возмутила, по его мнению, ложь Невельского о том, что устье Амура судоходно для глубоко сидящих в воде океанских судов. Кроме того, он считал, что Геннадий Иванович воспользовался трудами штурмана Дмитрия Ивановича Орлова и приписал их себе. Большинство бывших участников событий на Амуре, выступивших в печати, осуждали Невельского не только за это, но и за гибель людей в Императорской гавани. Именно он являлся виновником гибели людей от голода и цинги в Императорской гавани, считал бывший командир транспорта «Иртыш» Пётр Фёдорович Гаврилов.
Геннадий Иванович ответил своим противникам оправданиями в «Морском сборнике», а затем написал воспоминания, в которых изложил события на Дальнем Востоке так, как они ему представлялись. Он работал над рукописью дома, в Петербурге, и в своей усадьбе в Кинешемском уезде, расположенной глубоко в лесу, вдали от населенных мест. Когда становилось невмоготу сидеть за письменным столом, Невельской диктовал записки жене. Екатерина Ивановна болезненно воспринимала все нападки на мужа и много помогала ему в работе над воспоминаниями.