Получив указ царя от 16 ноября, Остерман в тот же день послал Головкину и Шафирову письмо, в котором уверял, что «шведские условия такс вы, что требуют зрелого размышления и может быть, что продолжение войны против Швеции не так нам тягостно будет, как новая война, в которую входить имеем». Петр, решительно отклонив шведские идеи, в то время предписывал конгресса не прерывать, а затягивать его всеми возможными способами. Брюсу и Остерману предстояла трудная задача. Но судьба освободила их от ее решения. 14 декабря на острове Сундшер стало известно, что король Карл XII убит в Норвегии при осаде крепости Фридрихсгаль шальной пулей.
Вопрос о заключении мира России с Швецией теперь уже невозмол было рассматривать вне связи с тем, что происходило в дипломатической жизни Европы.
Остерман должен был вновь напомнить шведам о прежних условиях мира и о готовности пойти на уступки: вернуть всю Финляндию, Лифляндию присоединить к России не навечно, а лишь временно, на 40, даже 20 лет, выплатить Швеции денежную компенсацию. Инструкция предписывала заявить, что никаких новых уступок с русской стороны сделано не будет.
В Стокгольме Остерману ответили, что лучше им всем погибнуть, чем заключить такой невыгодный мир. С соблюдением всех протокольных церемоний Остерман выполнил данное ему поручение. 6 августа он вернулся и доложил Петру о том, что ультиматум отвергнут. Вся эта процедура предпринималась исключительно для того, чтобы показать искреннее стремление России к миру. А в то самое время, когда Остерман объяснялся с королевой, отряды русских высадились с кораблей на шведский берег в двух местах, севернее и южнее Стокгольма. Шведские войска кое-где пытались оказать сопротивление, но были легко обращены в бегство. Операция носила сугубо демонстративный характер и предназначалась для наглядного доказательства беззащитности Швеции, что и было достигнуто.
Без всяких посредников 28 апреля 1721 года в финском городе Ништадт встретились за круглым столом дипломаты России и Швеции для заключения мирного договора. Россию представляли по-прежнему Брюс и Остерман, который получил титул барона и тайного советника канцелярии.
Переговоры проходили напряженно. Дело дошло до смешного: шведские представители, например, требовали, чтобы в перечне уступленных ими городов числился Петербург. Русская сторона не поступилась ничем. Более того, если в конце Аландского конгресса Россия соглашалась на временное присоединение Лифляндии, то теперь она отходила к России навечно. В то же время русские представители пошли на уступки ради главного — скорейшего подписания договора. Россия уступила Швеции Финляндию, согласилась не настаивать на включении в договор претензий голштинского герцога, за Лифляндию выплачивалась двухмиллионная компенсация. Швеция получала право беспошлинно закупать русский хлеб и т. д. Но представители России не пошли на заключение прелиминарного договора, рассчитанного на то, чтобы снова затянуть дело.
30 августа 1721 года был подписан Ништадтский договор, согласно которому между Россией и Швецией устанавливался «вечный, истинный и ненарушенный мир на земле и воде». Завоеванные русским оружием Ингерманландию, часть Карелии, всю Эстляндию и Лифляндию с городами Рига, Ревель, Дерпт, Нарва, Выборг, Кексгольм, островами Эзель и Даго оставались за Россией.
Петр был очень доволен заключенным договором и мастерством своих дипломатов. Он даже женил Остермана на русской красавице Марфе Стрешневой, которая, впрочем, по мнению одного из мемуаристов, «была одно из самых злых созданий, существовавших на земле». В 1723 году Андрей Иванович стал сенатором и заменил Шафирова на посту второго лица в дипломатическом ведомстве. Петр I говорил об Остермане, что он никогда не ошибается в министерских делах.
В 1724 году Петр I поручил Остерману «дать приличнейшее образование Коллегии иностранных дел». Тайный советник Остерман, опытнейший дипломат, составил проект нового штата канцелярии и регламента Коллегии. Проект-записка, названная «К сочинению и определению канцелярии Коллегии иностранных дел предложения» — один из лучших составленных Остерманом документов.
Начинались они с характеристики самой Коллегии: «Дела в Коллег иностранных дел, или, просто сказать, в тайном совете, суть наиважнейшие»; все эти дела исполняются служителями коллежской канцелярии которая есть «вечный государственный архив и всем старинным и прошедшим в государстве делам, поступкам, поведениям и взятым мерам вечное известие», отсюда следует, «что необходимо установить в ней <канцеляри КИД> вечный и основательный порядок».
По мнению Остермана, служители Коллегии должны быть «умными в делах уже обученными, и вследствие малолюдства их принуждены будут работать день и ночь, то необходимо им учинить хороший порядок и довольное пропитание». Вместе с тем служителей предлагалось освободить от постоев, так как они занимались секретными делами, ибо «излишняя компания дома к излишним разговорам часто ведет».