В 1707–1708 гг. фельдмаршал провел большую работу по укреплению армии, особенно на западном театре военных действий, в Польше и Литве, о чем свидетельствует его обширная деловая переписка с царем, вельможами и высшим генералитетом. Весь 1708-й и весна 1709 г. прошли в подготовке русских и шведов к генеральному сражению, но шведские войска, оторванные от баз снабжения и растрачивавшие свои силы на второстепенных участках военных действий и при штурмах небольших крепостей, постепенно теряли солдат, артиллерию и запасы. Русская же армия, день ото дня пополнявшаяся резервами, получавшая опыт в боях и стычках с противником, крепла и повышала боевое мастерство.
В конце мая 1709 г. Шереметев прибыл под Полтаву и здесь сразу же вступил в обязанности главнокомандующего. Между ним и шведским фельдмаршалом Ренншильдом было заключено соглашение о начале генеральной баталии 29 июня, по слух о подходе к русской армии подкреплений заставил Карла XII нарушить договор и перенести начало сражения на утро 27 июня. Во время Полтавского сражения Шереметев считался главнокомандующим лишь формально, руководил же всеми действиями сам Петр. Объезжая перед боем войска, царь обратился к Шереметеву: «Господин фельдмаршал! Поручаю вам мою армию и надеюсь, что в начальствовании оною вы поступите согласно предписанию, вам данному, а в случае непредвиденном, как искусный полководец. Моя же должность — надзирать за всем вашим начальствованием и быть готовым на сикурс во всех местах, где требовать будет опасность и нужда».
В восемь утра шведы пошли в атаку. Русские войска двинулись навстречу с артиллерийским и ружейным огнем. Враги сошлись в рукопашной схватке, но русская кавалерия стала охватывать шведов с флангов, и они, смятые и разбитые, вынуждены были спасаться бегством. Через несколько дней от армии Карла XII ничего не осталось. После победы в наградном списке имя фельдмаршала стояло первым. Он получил в награду село Черная Грязь, но остался недоволен, считая себя обойденным.
Спустя всего несколько дней после Полтавской победы царь отправил Шереметева с частью войск под Ригу. Когда началась осада, Петр запретил штурмовать крепость, стараясь сохранить солдат, но эпидемия чумы и голод одинаково действовали и на осаждавших, и на осажденных. 4 июля 1710 г. капитуляция Риги была подписана и русские войска вступили в город. Петр I писал фельдмаршалу: «Письмо ваше о сдаче Риги я с великою радостию получил».
В конце осени Турция объявила войну России, и Петр распорядился отослать на юг войска из Прибалтики. С весны начался неудачный для России Прутский поход. Слабая подготовленность к этой войне сказалась, когда армия в начале июля была окружена у реки Прут турецко-татарскими войсками. Противник безуспешно штурмовал укрепленный лагерь, но петровская армия ружейным и пушечным огнем всякий раз отбрасывала атакующих. На военном совете решено было отказаться от капитуляции и прорываться с боем, однако 10 июля начались переговоры, завершившиеся подписанием мира, достаточно тяжелого для России, но необходимого в этих условиях. 12 июля русские полки двинулись из Прутского лагеря в обратный путь.
По возвращении Шереметев командовал войсками на Украине и в Польше, но активных военных действий не вел. С 1714 г. Петр I послал фельдмаршала в Померанию, но постепенно стал терять к нему доверие. Царь подозревал Шереметева в сочувствии к царевичу Алексею, поскольку его имя служило в некоторой степени знаменем в руках противников нового порядка. К тому же фельдмаршал чувствовал себя физически все хуже. Еще в декабре 1716 г. он был освобожден от командования армией и получил возможность уехать в Москву. Он просил Петра дать ему другую должность, более подходящую к его летам и силам, и царь думал назначить его генерал-губернатором им же завоеванных земель в Эстляндни, Лифляндии и Ингрии. Но назначение не состоялось: 17 февраля 1719 г. Борис Петрович умер. Вопреки завещанию похоронить его в Киево-Печорской лавре, останки его были преданы земле в Александро-Невской лавре Санкт-Петербурга.
В 1669 г. Шереметев совсем молодым человеком вступил в брак с Евдокией Алексеевной Чириковой, а спустя много лег, в 1712 г., после 15 лет вдовства, женился на Анне Петровне Нарышкиной (урожденной Салтыковой). От двух браков имел троих сыновей и пять дочерей.
Стратегические способности и военное искусство фельдмаршала вызывают разногласия, по его военно-административный и организаторский талант находит у всех полное признание. Под его предводительством русские войска не раз одерживали победы и над татарами, и над шведами. Но можно назвать не один случай, когда фельдмаршал терпел неудачи. Успешные сражения часто происходили при перевесе русских сил над неприятельскими и, следовательно, не могут быть надежным показателем степени военного искусства или таланта Шереметева. Он стал генерал-фельдмаршалом, оставаясь старомосковским воеводой, с тем опытом, который могла ему дать война с татарами, и должен был, уже заняв высший пост в армии, знакомиться со строем и тактикой регулярной армии.