В первые годы после Айгунского договора частные переселенцы из крестьян устремились в Приамурский и Приуссурийский край, благополучно достигали устья Уссури, но, по отсутствию пароходства, не могли добраться до верховьев этой реки, теряли летнее время в ожидании помощи, которая не могла быть оказана, за неимением средств, и нередко возвращались на родину нищими. Вообще надо заметить, что Муравьев со свойственною ему энергией и лихорадочной торопливостью вел переселенческое дело, стремясь, как можно скорее, укрепить русское владычество на Амуре. Неоднократно приходилось мне слышать из уст Муравьева, что это он считает своею миссией, что если не выполнит ее сегодня, то завтра ему могут не позволить. И действительно в своей деятельности Н. Н. Муравьев уподоблялся орлу со связанными крыльями; дух его стремился к широким замыслам и высоким идеалам; он мог бы смело, по своим летам, по силе здоровья, проработать еще 10 лег и блестящим образом завершить свое дело; но, выбившись из сил, он принужден был преждевременно оставить Амурский край, и это обстоятельство неблагоприятно отразилось на дальнейшей судьбе нашей прекрасной восточной окраины. Заместители графа Муравьева-Амурского не обладали его гением и энергией и не чувствовали к краю той любви, какою был преисполнен граф; после него дела пошли черепашьим шагом; можно считать потерянными не один десяток лет, в течение которых наши соседи успели свои дела на Амуре привести в порядок; только в последние годы обращено особое внимание на этот край, который, быть может, сыграет видную роль в политической жизни России.
12-го ноября граф Муравьев-Амурский приехал в С.-Петербург; на Николаевском вокзале от имени государя императора его приветствовал высланный для встречи дежурный генерал-адъютант, который передал Муравьеву о желании государя, чтобы граф прямо с вокзала в дорожном своем костюме явился во дворец. По воле графа, я переехал к нему на квартиру на Большой Морской в качестве дежурного чиновника и здесь был свидетелем многочисленных визитов высших сановников. Вскоре выяснилось, что граф окончательно отказался от управления Восточно-Сибирским краем, и что государь император согласился на его просьбу назначить генерал-губернатором М. С. Корсакова. Последний любезно предложил мне должность начальника казачьего отделения в главном управлении Восточной Сибирью, но служба в Сибири без Муравьева не манила меня, и я остался причисленным к военному министерству, а затем в начале 1862 года принял участие в акцизной реформе, получив назначение на должность управляющего акцизными сборами в Курской губернии.
Мой старший брат поступил на службу к графу Муравьеву-Амурскому прямо с академической скамьи, был ближайшим его сотрудником, проникся его идеями и, не смотря на свои почтиюные годы, занял высокий пост начальника штаба. Его способности и талантливость были оценены Николаем Николаевичем, который дарил моего брата теплым, дружеским чувством. Понятна горесть моего брата, когда он, исполняя желание Муравьева, должен был без него продолжать службу в Сибири. Но когда не стало этого согревающего дружеского чувства, когда пришлось переживать тяжелые передряги и остаться без поддержки тех, которые должны были его поддерживать, здоровье брата надорвалось, и он умер в молодом возрасте, на 40 году своей жизни.
С графом Муравьевым-Амурским я виделся в 1864 году в С.-Петербурге, затем в 1868 году навестил его в Париже, и наконец последняя наша встреча произошла в С.-Петербурге в начале 70-х годов.
До конца дней своих я сохраню память об этом прекрасном, добрейшем и сострадательном человеке, в редких душевных качествах которого я имел случай не раз убедиться. Граф Муравьев-Амурский был рыцарь в полном значении этого слова, человек идеи, к осуществлению которой он стремился с непоколебимой настойчивостью. Дай Бог России побольше таких слуг! Вечная ему память!"
Одиннадцатого (12) февраля 1861 года Н.Н. Муравьев-Амурский прибыл в Петербург и на следующий день подал лично царю прошение об увольнении от должности и на отпуск по состоянию здоровью. Отношение императора было исключительно благожелательным, все его просьбы были удовлетворены. Прошение об отставке было подписано. Знаменательно, что это произошло в день отмены крепостного права, чего добивался Н.Н. Муравьев, будучи еще Тульским губернатором. Указом императора Н.Н. Муравьев-Амурский освобождался от должности генерал-губернатора, командующего войсками Восточной Сибири. Этим же указом он был награжден орденом святого Владимира I степени с мечами и назначен членом Государственного Совета. За труды и заслуги Н.Н. Муравьеву-Амурскому было назначено пенсионное содержание в 15 тысяч рублей в год.
В императорском указе была дана исключительно высокая оценка деятельности Н.Н. Муравьева-Амурского на посту генерал-губернатора Восточной Сибири.