В 1711 г. Андрей Иванович Остерман принял участие в Прутском походе Петра I. Вместе с П. П. Шафировым он вел мирные переговоры с великим визирем, проявив при этом незаурядные дипломатические способности, на которые обратил внимание Петр I. Успех этих переговоров во многом способствовал карьере Остермана. В 1713–1715 гг. он выполнял дипломатические поручения Петра I в Пруссии и Голландии. В 1718–1719 гг. Остерману вместе с Я. В. Брюсом было поручено вести переговоры со шведами на Аландском конгрессе. В особой инструкции, адресованной только Остерману, Петр I давал указание завербовать главного уполномоченного шведов на конгрессе, фаворита короля и первого министра Герца. Андрей Иванович развернул активную разведывательную работу и добился хороших результатов. Герц информировал русское правительство о положении в Швеции и интригах вокруг короля. Кроме Герца, Остерман завербовал секретаря шведской делегации Штамкена, который освещал работу шведских делегатов. Дело на Аландском конгрессе явно шло к миру, когда шальная пуля со стен осажденной датской крепости Фридрихсгаль (в Норвегии) пробила висок шведскому королю. Сестра короля и наследница Ульрика Элеонора прервала летом 1719 г. переговоры и, заручившись поддержкой Англии, решила продолжать борьбу с Россией.
По возвращении в Россию Остерман в феврале 1720 г. был назначен «тайной канцелярии советником» в Коллегии иностранных дел. В его обязанность входило составление наиболее важных дипломатических бумаг. В 1721 г. Остерман вместе с Я. В. Брюсом участвовал в заключении Ништадтского мирного договора со Швецией, завершившего Северную войну. По условиям мира, Россия получала Балтийское побережье от Выборга до Риги, часть Карелии, острова Эзель, Даго и Мен. В благодарность за это в августе 1721 г. Петр I возвел Остермана в баронское достоинство. Ему был пожалован чин тайного советника, а также деньги и деревни.
В сентябре 1723 г. Остерман заключил важный для России мирный договор с Персией, который юридически закреплял за Россией западное побережье Каспийского моря, отвоеванного у Персии в ходе Каспийского похода. Однако этот договор не был ратифицирован персидским шахом Тахмаспом II.
В 1724 г. Петр I поручил А. И. Остерману «дать приличнейшее образование Коллегии иностранных дел». Опытный дипломат, Остерман составил проект нового штата канцелярии и регламента коллегии под названием: «К сочинению и определению канцелярии Коллегии иностранных дел предложения». Эти предложения считаются одним из лучших документов, составленных Остерманом. Однако «предложения» Андрея Ивановича не были утверждены из-за смерти Петра I. Тем не менее, они изучались и использовались при составлении штатов коллегии на протяжении всего XVIII столетия.
После смерти Петра I Екатерина I пожаловала Остерману звание вице-канцлера и чин действительного тайного советника. Тогда же он был назначен главным начальником над почтами и возглавил «Комиссию о коммерции». Таким образом, влияние Остермана усилилось и в области внутренней политики. В 1727 г. Андрей Иванович был награжден высшим российским орденом Св. апостола Андрея Первозванного и назначен обер-гофмейстером (воспитателем) внука Петра I, великого князя Петра Алексеевича. Для своего воспитанника Остерман составил «Начертание учений». Кроме того, он представил императрице Екатерине I проект брака Петра Алексеевича с его теткой цесаревной Елизаветой Петровной. Остермана не смущала ни близкая степень родства, ни разница в возрасте будущих супругов.
В начале февраля 1726 г. Екатерина I учредила Верховный тайный совет, который ограничил самостоятельность и значение Коллегии иностранных дел. Совет состоял из 6 членов: А. Д. Меншикова, Ф. М. Апраксина, П. А. Толстого, Д. М. Голицына, Г. И. Головкина и А. И. Остермана. Большая часть заседаний Верховного тайного совета была посвящена вопросам внешней политики. Совет, таким образом, как бы подменял деятельность Коллегии иностранных дел, превратив ее в своего рода исполнительную канцелярию. Однако в дальнейшем вице-канцлер Остерман и член Коллегии иностранных дел В. В. Степанов получили право докладывать непосредственно императрице
Обстановка в Европе в конце царствования Петра I значительно изменилась. Швеция перестала быть опаснейшим противником России. В 1724 г. Россия заключила со Швецией оборонительный Стокгольмский союз. По условиям договора Швеция давала важное обещание оказывать военную помощь своему союзнику в случае нападения на него какой-либо «христианской» европейской державы, а также обезопасить его тыл на случай турецкого нападения. Таким образом, у российской дипломатии оставалось две неразрешенные проблемы: польская и турецкая.