В январе 1696 г. умер царь Иван. Петр всегда относился к недужному брату тепло и внимательно, взял под опеку его вдову и дочерей. Одна из них, Анна Иоанновна, впоследствии станет российской императрицей. Но исчезновение символической фигуры второго царя не вызвало никаких перемен в правительстве и планах. Россия готовилась к новому походу на Азов. В апреле был спущен на воду флот — два 36-пушечных корабля, 23 галеры, 1300 стругов, 300 челнов, 100 плотов. Началась погрузка и отправка войск, артиллерии, припасов. Доставлять их к Азову по воде было куда легче, чем по разбитым степным дорогам.
В мае Петр прибыл в Черкасск. На этот раз разведку вели донские казаки, и наблюдение у них было налажено отлично. Походный атаман Леонтий Поздеев доложил, что они видели в море 2 турецких корабля, атаковали их, но не сумели взять из-за высоких бортов. Петр загорелся вступить в морской бой. Отправился с 9 галерами к низовьям Дона, с ним отчалили 40 казачьих лодок. Но галеры не смогли выйти в море, северный ветер отогнал воду, устье обмелело. Царю пришлось пересесть на лодку. Тут-то обнаружили, что в море стоят 13 вражеских кораблей и для доставки в Азов перегружают припасы на 13 плоскодонных тунбасов и 11 лодок. Петр велел казакам устроить засаду за островами. Когда флотилия двинулась к Азову, донцы на нее напали, захватили 10 тунбасов. Морские корабли, заметив это, стали удирать. Казаки погнались за ними, один взяли абордажем, другой был брошен экипажем и сожжен.
Галеры удалось вывести в море 27 мая. Они блокировали вход в Дон. В это же время подошли авангарды армии. А турки действовали далеко не лучшим образом. Как выяснилось, они не удосужились порушить прошлогодние русские траншеи и шанцы. Войска смогли беспрепятственно занять старые позиции. Петр оставил для себя роль «бомбардира Петра Михайлова», а командование целиком отдал на усмотрение Шеина. Генералиссимус наметил план осторожный, но надежный — чтобы наверняка. Отказался от штурмов и велел «приступать шанцами». Объем инженерных работ он наметил колоссальный. Азов обложили полукругом, оба фланга упирались в Дон. За рекой оборудовался «земляной городок». Строились батареи для тяжелых орудий, в город полетели ядра и бомбы.
А чтобы окончательно закупорить устье Дона, на берегах возвели два форта, через реку протянули цепь. Крымцы и турки не жалели усилий, чтобы выручить Азов. Ханский сын Нуреддин со своими всадниками шесть раз нападал на русский лагерь. Но Шеин выделил против него дворянскую конницу и калмыков. Они жестоко били и прогоняли татар, сам Нуреддин был ранен и едва не попал в плен. А 14 июня анатолийский паша Турночи привел эскадру из 20 кораблей и фрегатов и 3 галер. Привез припасы, 4 тыс. янычар. Но у Дона дежурил русский флот, грозно смотрели жерла береговых батарей. У паши не возникло желания проверять, насколько метко они стреляют. Эскадра постояла в отдалении и ушла.
Тем временем русская артиллерия разбила внешние валы Азова, а пехота без устали копала землю, траншеи продвигались все ближе к городу. 16 июня они достигли рвов. Защитникам предложили сдаться, но в ответ загремели выстрелы по парламентеру. Турки все еще надеялись отсидеться за каменными стенами и башнями. Однако Шеин приказал насыпать вокруг города огромный вал. Придвигать его, таким способом перейти ров и преодолеть стены. Посменно трудились 15 тыс. человек. Зарубежные специалисты, приглашенные Петром, не понадобились. Они приехали поздно, когда и без них обошлись, им осталось лишь дивиться масштабам работ.
Царь вел себя так же, как в первом походе. Ходил в море, бывал в траншеях под огнем, пировал с любимцами. Но Шеин свое дело знал. Вал приближался к стенам, сравнялся с ними по высоте. На его гребне установили батареи, они простреливали весь город и наносили осажденным большие потери. На всякий случай копались и три мины. Гарнизону на стреле вторично перебросили предложение сдать город и свободно уйти. Турки огрызнулись усиленной пальбой. Но русские пушки раздолбили бастионы, а вал подошел так близко к крепости, что «возможно было с неприятелями, кроме оружия, едиными руками терзаться». 17 июля 2 тыс. украинских казаков перебрались с вала на башню и выбили из нее янычар.