В конце зимы 1861 года произошла при дворе и в Совете министров решительная борьба между стародурами и константиновцами. Государь уже принял крепостной вопрос к душе и, к счастью, совершенно освоил его себе. Стародуры и царская дворня между тем пугали Александра II той нелепостью, что будто уничтожение крепостного состояния произведет в России революцию!!! Борьба, о которой мы здесь упоминаем, была одной из самых сильнейших и самых решительных, когда-либо происходивших при петербургском дворе. Без уничтожения крепостного состояния никакие реформы не могли быть приведены в действие, а при упразднении крепостного состояния никакая сила в мире не могла удержать Россию на отвратительной и мертвящей колее, по которой влачил ее Николай; преобразования могут совершаться более или менее быстро, с большими или меньшими препятствиями, с большим или меньшим успехом; стародуры могут тормозить и тормозят шествие России по пути прогресса, заставляют ее иногда творить попятные скачки, но уже никакая сила в мире не может остановить этого прогрессивного хода. Это понимали стародуры и рвались из сил, чтобы воспрепятствовать исполинскому шагу, совершенному Манифестом 19 февраля 1861 года. Главными советниками и руководителями стародуров в ту минуту являлись канцлер граф Нессельроде и обер-гофмейстер барон Петр Мейендорф, а главным орудием действий являлся Тимашев, который по своему званию начальника III Отделения мог удобно вредить кому хотел и представлять государю в докладах дела в том виде, какой находил выгоднейшим для своей партии. Нессельроде и Мейендорф не заседали ни в Совете министров, ни в Главном комитете по крестьянскому делу, и потому главным представителем стародуров в этих двух высших учреждениях являлся Муравьев: тут у него шла борьба отчаянная с великим князем.
Приближался апрель месяц 1861 года. Стародуры хотели канцлером Нессельроде заменить графа Блудова, за три месяца перед тем поступившего на председательские кресла в Государственном совете и в Комитете министров после умершего князя Орлова. Они хотели заменить князя Горчакова или бароном Петром Мейендорфом, или бароном Будбергом, или даже тупоумнейшим Иваном Матвеевичем Толстым, но они хотели во что бы то ни стало выжить князя Горчакова из министерства. Ланского они хотели заменить или Бутковым, или тогдашним петербургским генерал-губернатором Игнатьевым; Сухозанета они хотели заменить графом Эдуардом Барановым, а Ковалевского — или бароном Модестом Корфом, или Алексеем Ираклиевичем Левшиным.
Великий князь со своей стороны хотел заменить Ланского — Николаем Алексеевичем Милютиным; Сухозанета — генералом Милютиным (что вскоре и сбылось, когда умер князь Михаил Дмитриевич Горчаков и Сухозанет заступил его место); Княжевича — Рейтерном; Ковалевского — Головниным; Панина — или генерал-аудитором Морского министерства Павлом Николаевичем Глебовым, или статс-секретарем князем Оболенским; наконец, князя Горчакова — князем Алексеем Борисовичем Лобановым, а Министерство государственных имуществ хотел упразднить и через то вытеснить Муравьева из Совета министров и из Комитета министров. Он хотел также согнать с места князя Василия Андреевича Долгорукова, но я не мог узнать, кем он хотел его заменить.
Ни та ни другая сторона не одержала в апреле 1861 года полной победы. За исключением Ланского, бездарность и тупоумие коего казались уж чересчур невыносимыми, и Ковалевского, который сам чувствовал свою несостоятельность и просился на покой, прочие министры еще все остались на местах. Место Ланского стародуры не допустили занять Милютину, коего удостаивали особенной своей ненависти за энергичное участие, принятое им в упразднении крепостного состояния, а Головнина не допустили до Министерства просвещения потому, что боялись его ума и энергии и ненавидели в нем ближайшего и главного советника великого князя. Но и великий князь со своей стороны не допустил до министерства ни Буткова, ни Игнатьева, ни Корфа, ни Левшина. Сошлись на половинных мерах и на взаимных уступках: министром внутренних дел назначен был Валуев, а министром просвещения — граф Путятин. Тимашев до такой степени рассердился на неполный свой успех, что оставил свое место, зная, что не много времени пройдет, как он опять стародурам понадобится, — и не ошибся. Его место заступил хитрый, но бездарный и пустой граф Петр Андреевич Шувалов.
Ненавистный великому князю, Муравьев усидел на министерстве, и стародуры успели под рукою внушить великой княгине Александре Иосифовне, что будто жизни великого князя угрожает мщение озлобленных крепостников. Великая княгиня, нежно любящая своего мужа, уверила великого князя, через посредство их лейб-медика Ивана Самуиловича Гауровица, будто здоровье его сильно расстроено, и под этим предлогом увезла мужа в Германию и на остров Вайт. Возрадовались стародуры и Муравьев с ними: великий князь уехал!