После выхода к Черному морю внимание Петра I обратилось на Балтику. Осенью 1700 г. Россия начала войну против Шведского королевства, имевшего сильный корабельный и галерный флот. Хотя серьезного урона русские войска причинить ему пока не могли, они активно действовали на озерах и в устьях рек, совершая смелые абордажные нападения на небольшие транспорты и суда. 31 мая 1702 г. в узком проливе, соединяющем Псковское и Чудское озера, солдаты полка Толбухина, посаженные на карбасы, атаковали 5 судов командора Лешерна, прорвались в Чудское озеро и взяли на абордаж 4-пушечную яхту «Флундран». 15 июня 1702 г. на Ладожском озере 400 солдат полка Островского на соймах и карбасах атаковали шведскую флотилию вице-адмирала Нумерса и потопили бригантины «Джона» и «Аборес». 19 июля на Чудском озере генерал-майор Гулиц атаковал на лодках 4 шведских судна командора Лешерна и взял на абордаж 12-пушечную яхту «Виват». 27 августа 30 лодок полковника Тыртова напали близ Кексгольма на шведскую флотилию вице-адмирала Нумерса, который, потеряв 5 судов (2 сожжены, 2 захвачены в плен, 1 потоплено) и около 300 человек, оставил Ладожское озеро и ушел в Выборг. К сожалению, в этом бою храбрый полковник Тыртов был убит картечью.
Этим первым успехам царь придавал большое значение и лично принял участие в одном из абордажей. 5 мая 1703 г. в устье Невы пришли шведский 10-пушечный галиот «Гедан» и 8-пушечная шнява «Астрильд». Царь решил атаковать их двумя отрядами, один из которых возглавил сам, а другой поручил А.Д. Меншикову,
Через год, 7 мая 1704 г. на Чудском озере генерал-майор фон Верден на карбасах атаковал 15 судов командора Лешерна. В абордажном бою шведская флотилия была разгромлена, 13 шкут захвачены, 1 сожжена, в плен взяты 96 пушек и 138 человек. По случаю столь крупной победы царь приказал отслужить благодарственный молебен, салютовать из пушек с крепостных стен и кораблей, а в полках дать
Пока военные действия шли на озерах и вблизи побережья, небольшому русскому флоту хватало обычных солдат, посаженных на гребные баркасы. Но с созданием на Балтике полноценной российской эскадры требовалось серьезно подготовиться к морским походам. В конце сентября — начале октября 1704 г. Петр I составил «Предложение о начинающемся флоте на Ост-зее» (то есть на Балтийском море), в котором говорилось: