С приездом императора из-за границы по дворцу разнеслись свежие новости, благоприятные для Милютина: граф Петр Шувалов назначен послом в Великобританию, шефом жандармов стал Потапов, а на его место в Вильну – генерал Альбединский, генерал Коцебу получил графский титул. Благоприятные новости для Милютина заключались в том, что вся шуваловская шайка распадается, Потапов как личность ничтожен, а значит, вреда от него будет гораздо меньше, чем от Шувалова. «Едва верится такому счастливому перевороту в нашей внутренней политике», – записал Милютин в своем дневнике 30 июня. В разговорах между придворными можно было услышать, что Шувалов сам попросил о перемещении в Лондон, он давно мечтал стать министром иностранных дел, государственным канцлером, но без дипломатической практики это было невозможно. «Он отступает, чтобы лучше прыгнуть», – говорили самые мудрые. Возможно, что и так. Но вскоре Милютин узнал, что обстоятельства отставки Шувалова были гораздо серьезнее: он вмешался в коммерческие дела, от которых ждала большой выгоды княгиня Екатерина Долгорукая, этого император не мог потерпеть, тем более что постоянно говорили о близости Шувалова к императору, о большой власти в империи. Тем более говорили и о том, что Шувалов якобы отважился непочтительно говорить об императоре. Все это вместе и решило исход Шувалова в Лондон. Вообще в связи с этими перемещениями в правительстве много ходило слухов, которые будоражили и Милютина. Во всяком случае шуваловская шайка, думал Милютин, не будет столь настойчиво беспокоить его. Да и император, кажется, чувствует себя более уверенным, повеселел в душе. Тем более вскоре ушел с поста министра путей сообщения граф Алексей Павлович Бобринский, который якобы был удален из-за того, что не поладил в чем-то с министром финансов Рейтерном, а нельзя налаживать железнодорожное строительство без финансового обеспечения. А Рейтерн строг к беспутству на строительствах железных дорог. И тут, чувствовал Милютин, вмешалась Екатерина Долгорукая, указавшая на одну очень большую слабость Бобринского: «Привычка говорить часто наобум, так что на слова его никто не полагается. Черта эта, по всем вероятиям, была замечена и государем. Гр. Бобринский держался, пока в силе был Шувалов, как один из самых ретивых сподвижников последнего. Говорят даже, что в шуваловской группе гр. Бобринский играл роль нимфы Эгерии, поднимая разные политические вопросы и внушая все новые затеи». Так думал и писал Милютин, так думали многие придворные дамы, так, скорее всего, могла думать и Екатерина Долгорукая, вложившая некоторые средства в строительство железных дорог, не раз обманутая в своих предположениях графом Бобринским. А этого император не прощал, внимательно прислушиваясь к тому, что говорит Екатерина. «Но все это только догадки, толки, сплетни», – завершает свои раздумья Милютин.
Император после возвращения из-за границы был гораздо приветливее во время докладов, но по-прежнему близости не было, как когда-то. Этому Милютин был очень рад, вот не пригласили его на поездку вместе с прусской военной делегацией в Кронштадт, а раньше приглашали, значит, займется своими текущими делами в Военном министерстве. Милютин не придавал особого значения отношению императора к нему, он все еще числился либералом, «красным», а потому и отношение императора было крайне изменчивым: то он холоден, официален, то до слез раскрывается перед ним, как это было с великим князем Николаем, то любезен и добродушен. Милютин не искал ни милостей, ни любезностей, совесть его была чиста. Как был бы рад, если бы мог сбросить с себя этот ненавистный для него гнет и стать совершенно независимым гражданином России и описать в своих воспоминаниях тот путь, который прошел. Но нет, надо работать, война скоро может начаться, нужны войска…