В 1697 г., вслед за Великим посольством, Брюс прибыл в Амстердам и, благодаря общему с царем интересу к наукам и своим обширным знаниям, стал постоянным спутником Петра I, с которым посетил Лондон, войдя тем самым в ближайшее окружение государя.
В 1699 г. по поручению царя Яков Брюс приступил к составлению воинских уставов, но вскоре, получив чин генерал-майора, был отозван к армии в связи с начавшейся войной со Швецией. После поражения русских войск под Нарвой 19 ноября 1700 г. и пленения большей части высшего военного командования принял на себя должность начальника артиллерии действующей армии, исполняя одновременно обязанности новгородского губернатора. В 1702 г. поддержал артиллерией войска фельдмаршала Б. П. Шереметева, взявшие штурмом крепость Нотебург, в мае 1703 г. командовал артиллерией при взятии Ниеншапца, а в следующем году принял непосредственное участие в осаде и штурме Нарвы и Иван-города. В 1705 г. был с русскими войсками в Польше, а 8 июля 1706 г. награжден чином генерал-поручика. За совместные действия с А. Д. Меншиковым в сражении у Калиша получил золотую с бриллиантами медаль с портретом царя, что являлось символом личного расположения монарха.
28 сентября 1708 г. Брюс командовал левым крылом русской армии, разбившей 15-тысячный шведский корпус фельдмаршала Левенгаупта при Лесной. Бой длился более десяти часов, и в нем шведы потеряли 8 тысяч человек убитыми и ранеными и весь обоз с припасами для армии Карла XII.
27 июня 1709 г. произошло сражение шведской армии Карла XII с войсками Петра I под Полтавой. В начале сражения шведы прорвались между редутами, но затем, из-за значительного превосходства русских в артиллерии, были смяты и потерпели полное поражение. Полтавская битва — классический пример активной обороны, излюбленного способа действий Петра. Половина шведской армии была перебита либо взята в плен. Другая половина, настигнутая драгунами Меншикова, сложила оружие на следующий день у Переволочны. Яков Брюс по окончании Полтавского сражения из рук самого Петра получил орден св. Андрея Первозванного.
В мае 1710 г. Брюс командовал артиллерией в армии фельдмаршала Шереметева и участвовал в осаде и штурме Риги, а затем Динамюнде, Пернова, Ревеля, Кегсгольма. В следующем году он стал участником Прутского похода, в котором русская армия оказалась на краю гибели. Армия Петра была окружена у реки Прут в несколько раз превосходящими силами турок. Все их атаки были отбиты, но положение оторванной от баз и окруженной армии было исключительно тяжелым. 12 июля 1711 г. Петром I был подписан невыгодный для России Прутский мирный договор, согласно которому Россия обязывалась уничтожить ряд крепостей на юге и возвращала Турции Азов. Яков Брюс, непосредственно участвовавший в отражении многократно превосходящих сил противника в качестве начальника артиллерии, на обратном пути из Прутского похода 3 августа 1711 г. царским указом был утвержден в звании генерал-фельдцейхмейстера (командующего артиллерией) русской армии. В Померанском походе 1712 г. командовал соединенной русской, датской и саксонской артиллерией.
Спустя пять лет, 15 декабря 1717 г., будучи уже в звании сенатора, Брюс был назначен президентом Берги Мануфактур-коллегий, а в марте 1718 г. выезжал вместе с А. И. Остерманом на мирные переговоры со Швецией, проходившие на Аландских островах. На Аландском, а позднее Ништадтском мирных конгрессах Брюс проявил настойчивость и дипломатические способности, которые и привели к заключению 30 августа 1721 г. Ништадтского мира, завершившего многолетнюю Северную войну. За Россией осталась Лифляндия, Эстляндия, Ингерманландия, часть Карелии с Выборгом, Рига, Ревель, Дерпт, Нарва и еще несколько городов. Петр I писал своим министрам: «Трактат, вами заключенный, столь искусно составлен, что и Мне самому не можно бы лучше оного написать… Славное сие в свете дело ваше останется навсегда незабвенным; никогда паша Россия такого полезного мира не получала!» За подписание Ништадтского мира Яков Вилимович Брюс возведен Петром I в графское достоинство Российского государства.
В последние годы царствования Петра I, сложив с себя звание президента Мануфактур-коллегии, Брюс стал все свое время уделять делам Берг-коллегии и артиллерии. Одно время занимался Монетным и Денежным дворами, приняв также по велению Петра под свое руководство «все крепости и обретающихся в них служителей и имущества».