В 1695 г Яков Вилимович Брюс был произведен в капитаны, «состоял за инженера» в первом походе на Азов. Весной этого года московские войска численностью 30 тыс. человек реками Окой и Волгой дошли на судах до Царицына, а оттуда перешли на Дон и осадили турецкую крепость Азов. Войсками командовали генерал Патрик Гордон, адмирал Лефорт и генерал-адмирал Федор Алексеевич Головин. Петр I принимал участие в штурме Азова в качестве бомбардира Преображенского полка. Взять крепость штурмом не удалось. Гарнизон крепости, получая провиант и подкрепление с моря, не сдавался. Русские войска страдали от недостатка продовольствия и отсутствия единоначалия. В сентябре 1695 г. Петр вынужден был отступить. Понесенные войсками потери были не меньше потерь Голицына в 1687 и 1689 гг. Петр I убедился, что взять Азов можно только с помощью флота.
В течение зимы 1695–1696 гг. на Дону, в устье реки Воронеж, была построена целая флотилия морских и речных судов. В мае 1696 г. русские войска из Воронежа Доном двинулись к Азову. Брюс в чине капитана девятой флотской роты находился вместе с Лефортом на одном из кораблей. Во время пути он составил подробную карту, за что был пожалован чином полковника. На этот раз осада Азова была полной. Флот Петра не позволил турецким кораблям подойти к крепости. 18 июля 1696 г. гарнизон крепости капитулировал.
В 1697 г. Петр I включил Я. В. Брюса в состав «Великого посольства», в ходе которого сложился новый антишведский союз в составе России, Саксонии и Дании. В 1700 г. Брюс был произведен в генерал-майоры артиллерии и в этом чине принимал участие в осаде Нарвы.
Однако начало Северной войны для союзников оказалось крайне неблагоприятным. Уже в 1699 г. после сильного обстрела шведскими корабельными пушками Копенгагена вышла из войны Дания. Петр I объявил войну Швеции 19 августа 1700 г., а 22 августа выступил с войсками из Москвы к Нарве. Но осада Нарвы затянулась. Недостатки военной организации, отсутствие хлеба и фуража привели к тому, что осаждающие стали испытывать бóльшие лишения, чем осажденные. Тем временем Карл XII подошел к Нарве, разбил русские войска, захватил всю артиллерию и взял в плен 79 генералов и офицеров. После этого поражения Брюс попал в опалу и даже был отрешен от должности. По прошествии года Брюс вновь был принят на службу в прежнем звании генерал-майора. Более того, Петр I поручил ему исполнять обязанности генерал-фельдцейхмейстера, главного начальника артиллерии. Этот чин и должность были введены в России в 1699 г.
Потерпев сокрушительное поражение под Нарвой, Петр I энергично взялся за восстановление и реорганизацию армии. В течение зимы 1700–1701 гг. было сформировано 10 драгунских полков и отлито 270 артиллерийских орудий. С 1702 по 1703 г. Я. В. Брюс занимал должность Новгородского губернатора. В этой должности он должен был отвечать за производство необходимого военного снаряжения и доставку его к местам сражений. В 1702 г. Петр принял решение овладеть шведскими крепостями на Неве. Сборным пунктом для войск была назначена Ладога. В начале сентября здесь находились с войсками Апраксин, Репнин, Шереметев. Все необходимое для похода военное снаряжение было доставлено сюда Брюсом. В конце сентября русские войска осадили крепость Нотебург (древнерусский Орешек), которая 11 октября капитулировала. Брюс в качестве начальника артиллерии находился при главной армии. По поводу этой победы Петр писал:
В конце апреля 1703 г. 20-тысячная русская армия под командованием генерал-фельдмаршала Б. П. Шереметева совершенно неожиданно для неприятеля появилась у стен небольшой крепости Ниеншанц, стоявшей у впадения реки Охты в Неву. В составе войска было и несколько батальонов под командой Якова Брюса. Шереметев, друживший с Брюсом, использовал его как опытного и знающего артиллериста. Подготовка к обстрелу крепости завершилась 30 апреля, а 1 мая после бомбардировки крепость сдалась. 16 мая 1703 г. недалеко от Ниеншанца Петр заложил новую крепость Санкт-Питербурх, основу будущей столицы Российской империи.
В качестве начальника артиллерии Брюс принимал участие в осаде Нарвы и Иван города в 1704 г., в войне в Польше в 1705 г. В 1706 г. в чине генерал-лейтенанта Брюс участвовал в сражении под Калишем. В 1708 г. он командовал левым флангом русской армии в сражении при Лесном. В Полтавском сражении 27 июня 1709 г. Брюс сыграл не меньшую роль, чем Петр I и А. Д. Меншиков. Он командовал всей русской артиллерией, состоявшей из 72 орудий. Прекрасное управление огнем вызвало восхищение у Петра I. После сражения Брюс получил из рук царя орден Св. апостола Андрея Первозванного.