Шереметева, несмотря на его прошлую вражду с Голицыным, Петр почему-то не любил. А может, ревновал к его победе. Принял в Москве торжественно, но тут же отправил обратно в Белгород. И выбрал другого воеводу – Алексея Шеина. Хотя тот входил в окружение Софьи, но потом и с Петром нашел общий язык, ездил с ним в Преображенское, в Архангельск. Он и по возрасту был ближе царю, ему исполнилось всего 33. И из-за его молодости указ был составлен дипломатично. Главнокомандующим назначался престарелый Михаил Черкасский, а если, мол, он по болезни не сможет, то замещать его будет Шеин. Ясное дело, Черкасский намек понял и «не смог». Шеин первым в России официально и вторым неофициально (после Голицына) получил звание генералиссимуса.
Днепровскую армию «ограбили» подчистую. Шереметев получил приказ передать в донскую армию 7 лучших белгородских полков, хорошо показавшую себя в рубках с татарами дворянскую конницу, Мазепа – прислать 15 тыс. казаков. И действия на Днепре предусматривались чисто отвлекающие. Шереметеву выделялось всего с 2,5 тыс. солдат. Ему и Мазепе с оставшимися у него казаками предписывалось спуститься на лодках по Днепру и идти под Очаков. А под началом Шеина сосредотачивалось 75 тыс. ратников – 30 солдатских полков, 13 стрелецких, донские казаки атамана Минаева, украинские – наказного гетмана Лизогуба, яицкие – атамана Голованя, калмыки. Войска были распределены по трем дивизиям – Головина, Гордона и Ригемана. Три полка выделили командующему флотом Лефорту.
В январе 1696 г. умер царь Иван. И второй поход Петр возглавил уже как единоличный монарх. Впрочем, он оставил для себя роль «бомбардира Петра Михайлова». А практическими вопросами по организации и руководству занимался Шеин. В апреле спустили на воду флот – два 36-пушечных корабля, 23 галеры, 1300 стругов, 300 челнов, 100 плотов. Началась погрузка и отправка войск, артиллерии, грузов. Когда царь прибыл в Черкасск, казаки сообщили ему о приходе к Азову турецкой эскадры. 2 корабля они уже успели уничтожить неожиданным нападением, а остальные встали под разгрузку. Петр на 9 галерах в сопровождении 40 казачьих лодок отправился вниз по Дону. 18 мая обнаружили, что в море стоят 13 больших кораблей и для доставки в Азов перегружают вооружение и припасы на 13 плоскодонных тунбасов. Петровские галеры не смогли выйти из устья реки – сильный ветер отогнал воду и вызвал обмеление. Но казаки на своих челнах ночью предприняли атаку и 10 тунбасов захватили. Корабли начали удирать, что удалось не всем. Два из них казаки догнали, они были брошены экипажами и сожжены.
19 мая в Черкасск прибыл Шеин и издал первый боевой приказ. Войскам двигаться к Азову «со всяким бережением», становиться там «обозом», до полного сосредоточения активных действий не предпринимать. Полки выгружались в Черкасске и Новосергиевске, шли, оберегаясь от налетов конницы, в окружении телег. Через топкие места и речки Шеин распорядился наводить мосты – лес для этого был заготовлен заранее и сплавлен из Воронежа. 27 мая удалось вывести из устья Дона галерный флот, блокировав Азов с моря. На следующий день к крепости подошла авангардная дивизия Ригемана: 10 тыс. белгородских солдат и 4 тыс. донцов наказного атамана Савинова. Турки пытались сделать вылазку – казаки им так всыпали, что больше не атаковали.
В первых числах июня подтянулись все силы. Противник не удосужился разрушить прошлогодние русские траншеи и шанцы. И генералиссимус, проведя рекогносцировку, расставил части на старых позициях. На левом фланге, примыкавшем к Дону ниже Азова, разместились казаки Савинова, рядом – дивизия Ригемана, в центре – Большой полк Шеина, правее – дивизии Головина и Гордона. Со стороны степи лагерь прикрыла легкая конница. Шеин наметил план осторожный, но верный. Отказался от штурмов и велел «приступать шанцами». Войска начали придвигаться к стенам полевыми укреплениями. Строились батареи для тяжелых орудий, в город полетели ядра и бомбы. Объем инженерных работ был намечен огромный. На другом берегу Дона, напротив Азова, строился «земляной городок» с батареями, там встали 4 полка Левинсона. Выше города был сооружен наплавной мост на судах. А чтобы окончательно закупорить устье Дона, на берегах возвели 2 форта с батареями, через реку протянули цепь.