К разрыву союзных отношений между Россией и Францией привели события в Польше в 1861—1863 годах. Как отмечал Горчаков, польский вопрос касался не только России – «он был камнем преткновения для всех держав». В начале 60-х годов французский император стал активно поддерживать польскую эмиграцию во Франции, а еще ранее им поднимался вопрос о статусе Польши, что вызывало явное неудовольствие Александра II. После польского восстания 1863 года времени согласованных действий Франции и России пришел конец.
Это было время, когда Горчаков находился на вершине карьеры. Выполняя обязанности министра, он в 1862 году становится вице-канцлером и входит в состав высших государственных учреждений России. Теперь ему снова приходилось искать нового союзника во внешнеполитических вопросах России. Таким союзником становится Пруссия. Бисмарк, давно желавший объединить Германию «железом и кровью», первым начал предпринимать шаги для сближения двух стран. Поддержка России была ему необходима.
В начале 1863 года в Петербурге была подписана секретная русско-прусская конвенция о взаимной помощи «для восстановления порядка и спокойствия, с предоставлением отрядам как русским, так и прусским права перехода через государственную границу в тех случаях, когда это оказалось бы нужным для преследования повстанцев». У Горчакова, а также у военного министра Милютина эта конвенция вызвала негативную реакцию. Они посчитали ее «ненужной и опасной». И не ошиблись. Узнав о ней, Франция, Англия и Австрия выступили с протестом по поводу ее заключения и стали настаивать на восстановлении в Польше конституции 1815 года. Стремясь смягчить конфликт, Горчаков напомнил представителям этих стран о единстве интересов в борьбе с революциями, но в то же время заявил, что польский вопрос – это внутреннее дело России. Русским послам за границей было предписано прекратить все переговоры по польским делам.
Восстание в Польше было подавлено, а расхождения России с Англией, Австрией и Францией, выявленные в последние годы, были успешно использованы Бисмарком для сближения с Россией. В результате политики Горчакова Россия сохраняла нейтралитет в войне Пруссии с Данией (1864), Австрией (1866) и Францией (1870—1871). Поражение Франции дало возможность Горчакову, ставшему канцлером в 1867 году, объявить об отказе России от 2-й статьи Парижского договора о нейтрализации Черного моря и добиться признания этого державами на международной конференции в Лондоне в 1871 году. Заметим, что ликвидация 2-й статьи стоила Горчакову больших усилий. В заявлении России говорилось, что Парижский договор 1856 года неоднократно нарушался державами, подписавшими его. Договор этот ставит Россию в несправедливое и опасное положение, так как Турция, Англия и Франция имеют военные эскадры в Средиземном море. При согласии Турции появление иностранных судов в военное время в Черном море «могло явиться посягательством против присвоенного этим водам полного нейтралитета» и делало Причерноморское побережье открытым для нападения. Поэтому Россия «не может долее считать себя связанной» с положением 2-й статьи договора, представляющей угрозу ее безопасности, но остальные статьи обязуется соблюдать. Такое заявление было подобно взрыву бомбы, но Горчаков рассчитал все правильно. При сложившейся ситуации Англия и Австро-Венгрия ограничились лишь словесными протестами, Франция была занята собственными делами, а Бисмарку, хотя он был сильно раздражен заявлением России, пришлось выполнять свои обещания в ее поддержку. Неожиданная поддержка России была оказана со стороны Соединенных Штатов, которые заявили, что никогда не признавали ограничения России на Черном море.
Теперь Россия могла иметь на Черном море флот и строить на побережье военно-морские базы. Отмена унизительных статей Парижского договора явилась крупным успехом российской дипломатии, и этот успех общественное мнение справедливо приписывало Александру Михайловичу Горчакову. Сам он считал решение этой важной задачи главным делом своей внешнеполитической деятельности. В марте 1871 года он был пожалован титулом Светлости, начав именоваться (с нисходящим потомством) светлейшим князем.
Горчаков сыграл ключевую роль в создании «Союза трех императоров» (1873), пытаясь использовать его для подготовки будущей войны с Турцией.