Ближайшей целью похода было назначено взятие города Азова, принадлежавшего Турции. Половину армии, под начальством Головина и Лефорта, Петр отправил водой до Царицына; а другая половина, под начальством Гордона, пошла сухим путем до Черкасска. Поход был организован очень плохо, и армии достигли Азова с большими затруднениями. Хотя силы Петра почти вчетверо превосходили гарнизон Азова, однако взятие этой хорошо укрепленной крепости было нелегким делом. Овладев штурмом двумя небольшими внешними укреплениями, армия Петра начала осаду крепости. Петр сам заряжал пушки и стрелял из них. Ежедневные бомбардировки сильно вредили городу, и Петр был уверен в неминуемой его сдаче. Но среди приближенных Петра оказался изменник – инженер Яков Янсен, который перешел на сторону осажденных и открыл им все секретные планы Петра. По его указанию турки сделали вылазку на ставку Лефорта и нанесли русским войскам сильное поражение. 5 августа Петр сделал попытку взять крепость штурмом, но был отбит с большими потерями. 27 сентября было решено снять осаду. Возвращение армии в Россию сопровождалось множеством бедствий: солдаты тонули в разлившемся Дону, гибли от голода и холода. Испытанная неудача не заставила Петра упасть духом. Напротив, он с еще большей энергией принялся за приготовления к новому походу на Азов. Уехав в Воронеж, он всю зиму строил там корабли для доставки войск и для действий против Азова с моря. Во время этих приготовлений, 29 января 1696 года, скончался старший брат Петра, Иоанн Алексеевич, и Петр сделался единоличным царем-самодержцем. 3 мая русская армия двинулась во второй поход под Азов. На этот раз ее действия были гораздо успешнее, так как русские суда не допустили турецкий флот оказать помощь осажденным. 18 июля крепость сдалась.
30 сентября состоялось торжественное вступление в Москву возвратившихся из-под Азова победителей. Петр отпраздновал победу длинным рядом пиршеств и увеселений.
Удачные действия русского флота под Азовом дали новый толчок к развитию кораблестроительной деятельности Петра. Царь хорошо понимал, что без сильного флота трудно будет сохранить под властью России только что приобретенную крепость. Поэтому 4 ноября 1696 года Петр собрал в Преображенском «думу», которая и постановила, что все жители Московского государства должны участвовать в создании русского флота. Всего предполагалось выстроить и снарядить 52 судна. Общее руководство и надзор над кораблестроением были поручены окольничему Протасьеву, получившему звание «адмиралтейца».
Работа пошла довольно успешно. Но скоро Петр увидел, что для России гораздо выгоднее иметь собственных корабельных мастеров, чтобы не зависеть от иноземцев. Поэтому он решил отправить в Голландию, Италию и Англию пятьдесят стольников для обучения там корабельному искусству и архитектуре.
Отправка молодых людей за границу вызвала глубокое недовольство среди боярства, уже давно питавшего нерасположение к Петру за его любовь к иноземцам. Знатные русские люди смотрели на себя как на избранный, единственно благочестивый народ, хранящий истинную Христову веру, и считали для себя грехом иметь какие-либо сношения с иноплеменниками. В начале 1697 года монах Авраамий подал Петру письмо с обличением поведения царя и его отношения к православной вере и к своим подданным. В письме говорилось, что Петр ведет себя «печально и плачевно, уклонился в потехи, а государством правят «дьяки-мздоимцы». Петр ответил на это письмо назначением строгого расследования, по окончании которого Авраамий и его друзья были отправлены в ссылку. Вскоре после этого письма был открыт уже настоящий заговор на жизнь царя. Самые главные заговорщики, бояре Соковнин и Пушкин и стрелецкий полковник Циклер, сознались в застенке, что мотивами для замышлявшегося цареубийства были новшества Петра. Кроме того, под кнутом палача Циклер оговорил и царевну Софью. Петр посмотрел на этот заговор как на продолжение прежних происков Софьи и ее сторонника, Ивана Михайловича Милославского; поэтому он отнесся к заговорщикам без всякой пощады. Все они были присуждены к смертной казни; кроме того, гроб с телом Милославского, умершего еще в 1685 году, был вырыт из могилы, привезен на свиньях к месту казни и поставлен под эшафотом так, что кровь казненных заговорщиков стекала на истлевший труп Милославского.
Подавив явные выражения недовольства, Петр стал готовиться к отъезду за границу. Он созвал бояр и объявил им, что считает себя неспособным управлять государством на благо народа, так как не получил настоящего образования, а поэтому решил поехать учиться в просвещенные европейские страны. Петр ехал за границу главным образом затем, чтобы учиться там, а также увидеть все то, о чем ему много рассказывали иностранцы, жители московской Немецкой слободы.