После Петра I у его преемников, вплоть до Елизаветы Петровны, не было самостоятельной внешнеполитической программы. Правительство Екатерины I в начале 1725 г. объявило о своей верности общему внешнеполитическому курсу, определенному Петром Великим, а также ранее принятым Россией международным обязательствам. В Европе в это время шла активная подготовка к созданию Венского и Ганноверского союзов. Екатерина I первоначально склонялась к союзу с Францией и Англией. Одной из причин такого выбора служила позиция австрийского императора Карла IV в вопросе о русском престолонаследии. Император выступал за объявление наследником престола царевича Петра Алексеевича, своего внучатого племянника и внука Петра I, что вызывало серьезное недовольство Екатерины I и мешало русско-австрийскому сближению.
Остерман вместе с канцлером Головкиным выступал в Верховном тайном совете за присоединение России к Венскому союзу Австрии и Испании. Он справедливо считал, что Ганноверский союз
Правительство Екатерины I пыталось оказать противодействие антирусской политике англо-французской дипломатии. С целью упрочения русских позиций и достижения более тесного русско-шведского союза в апреле 1726 г. Верховный тайный совет решил направить в Стокгольм специальное посольство во главе с В. Л. Долгоруким. Перед ним была поставлена задача заключить новый союзный договор со Швецией, чтобы сорвать ее переговоры с ганноверскими союзниками и не допустить присоединения к этому блоку. Учитывая состояние дел в Швеции и «нынешние деликатные конъюнктуры», было решено ассигновать до 100 тыс. рублей для подкупа шведских государственных деятелей. Но посольство Долгорукова из-за различных причин прибыло в Стокгольм лишь в начале ноября, и время было упущено. Сразу же по приезде Долгорукий отметил ослабление позиции «доброжелательных» и усиление влияния их противников. В декабре 1726 г. состоялась встреча Долгорукова со шведским королем и главой правительства графом Арвидом Горном, которая закончилась безрезультатно. Обещание посла удвоить или даже утроить размеры взятки тоже не помогло.
В сложившейся ситуации серьезным ударом по Ганноверскому союзу стало сближение России и Австрии. Г. И. Головкин, А. И. Остерман, В. Л. Долгорукий, действуя против А. Д. Меншикова, Ф. М. Апраксина и Д. М. Голицына, отстояли заключение союза с Австрией. 26 июля (6 августа) 1726 г. в Вене был подписан русско-австрийский оборонительный и наступательный союзный договор. Россия и Австрия выступили совместно в двух важнейших войнах 30-х гг.: в войне за польское наследство и в турецкой войне 1735–1739 гг.
После смерти Екатерины I и воцарения в мае 1727 г. Петра II Остерман, используя свое влияние на молодого императора, во многом способствовал падению своего соперника князя А. Д. Меншикова в сентябре 1727 г. Изворотливость и осторожность помогли Остерману сохранить свое высокое положение и после смерти Петра II в январе 1730 г.
Андрей Иванович, сказавшись больным, не принял участия в заседании Верховного тайного совета, избравшего преемницей покойного императора герцогиню Курляндскую Анну Иоанновну и принявшего «кондиции» об ограничении самодержавия. Анна Иоанновна, безропотно подписавшая «кондиции» в Митаве, прибыв в Москву, обнаружила, что «затейка» верховников не пользуется поддержкой ни у большинства дворян, ни у гвардейцев. Она публично надорвала лист бумага с подписанными ею «кондициями». Этим самым курляндская герцогиня провозгласила себя самодержавной императрицей. Среди тех, кто поддержал Анну Иоанновну, был и Остерман. В благодарность императрица назначила Андрея Ивановича в марте 1730 г. сенатором. В апреле 1730 г. Остерман был возведен, с нисходящим его потомством, в графское Российской империи достоинство и получил земли в Лифляндии.