Шереметев служил при царском дворе с 13 лет, потом поступил на военную службу, стал боярином в 30 лет. В 29 лет он стал тамбовским воеводой, воевал с крымскими татарами, участвовал в Крымских походах, которые возглавлял князь В.В. Голицын (1687, 1689), участвовал в переговорах (1684–1686) о заключении «Вечного мира» с Польшей. После отстранения от власти царевны Софьи оказался среди сторонников царя Петра I. К моменту утверждения Петра I на престоле Шереметев был уже зрелым военачальником и знатным придворным, был на 20 лет старше молодого царя. Хотя Петр I не жаловал бояр и родовитого дворянства, любил людей молодых и энергичных, он приблизил боярина Шереметева к себе. Шереметев был порядочным человеком, был европейски образован, наделен дипломатическим умом, обладал полководческим талантом. К началу Северной войны Шереметев имел многолетний опыт войны с крымскими татарами. Во время Северной войны он командовал войсками в Прибалтике, на Украине и в Полтавской битве (1709) и Прутском походе. В сражении под Нарвой (1700) Шереметев командовал конницей; но его конница бежала с поля боя, тем не менее Петр I прислал ему одобрительное письмо. Командуя русскими войсками в Прибалтике, он одержал первые в Северной войне столь необходимые для русской армии победы. Победив в сражении при Эрестфере (1701) он развеял мнение европейцев о непобедимости шведов, затем были и другие победы над шведами. Петр I наградил его орденом Святого Андрея Первозванного (незадолго перед тем учрежденного) и возвел его в чин генерал-фельдмаршала (ему 49 лет). В Псков к Шереметеву прискакал любимец царя А.Д. Меншиков, вручил орден и сказал о его новом высоком военном чине.
Шереметев во всех делах оставался думающим человеком, он никогда не был слепым и послушным исполнителем воли и решений царя. Шереметев всегда и все основательно обдумывал, был осторожен, неспешен и умен, мог быть высокомерным, непроницаемым, но мог и очаровать любезностью, красотой, разговором. А главное, всю свою жизнь он верой и правдой служил Отечеству и царю. Все свои знания, силы, таланты Шереметев отдал служению Петру I, но из-за своего гордого, деятельного, непростого, по сути, не холуйского характера, а также из-за неприязни к Меншикову не получил стабильного расположения царя, который тем не менее ценил его достоинства.