Во времена правления великого князя Александра Борисов упоминается в 1499 г., когда через город прошло на восток войско гетмана Константина Острожского, направлявшееся на войну с Московской державой. Александр, даже, на некоторое время перебрался в Борисовский замок и осуществлял оттуда руководство военными действиями. Но та война оказалась неуспешной для него. В 1500 г. войско Острожского было разбито, а сам гетман попал в плен.
С этого периода началось затяжное военное противостояние между Великим княжеством и Россией. Борисов сделался важным стратегическим пунктом на этом направлении. Вероятно поэтому, предполагает В.Л. Носевич, Борисовское наместничество стало как бы дополнением к высшей государственной должности Великого княжества — виленского воеводы. В 1522 г. виленским воеводой, канцлером и одновременно борисовским наместником был Альбрехт Гаштольд. Но, так как виленский воевода по обязанности своей должности большую часть времени проводил в столице, делами наместничества занимался кто-то из его доверенных. При Альбрыхте Гаштольде местными замком и волостью руководил Каспар Кунцевич.
В 1567 г. после смерти Миколая Радзивилла Черного виленским воеводой и, соответственно, борисовским наместником стал его двоюродный брат Миколай Юрьевич Радзивилл Рыжий.
В 1579 г., оставаясь виленским воеводой, Радзивилл Рыжий передал Борисовское наместничество своему сыну Криштофу, который, после смерти отца в 1584 г., сделался еще и виленским воеводой.
Криштоф Радзивилл умер в 1603 г., после чего Борисовское наместничество (примерно с этого времени оно прочно начинает называться староством) перешло его сыну — Янушу Радзивиллу, который владел им до своей смерти в 1620 г. Долго владея Борисовом, представители рода Радзивиллов обновили и укрепили хозяйский двор на месте первоначального городища (в современной деревне Старый Борисов). Это поселение даже название заимело соответствующее — Радзивиллов.
В 1621 г. ввиду того, что сын Януша Радзивилла Богуслав был совсем маленьким, король Речи Посполитой Сигизмунт III передал Борисов представителю другого магнатского рода — трокскому воеводе Александру Хадкевичу. Тот правил городом до своей смерти в 1626 г.
В 1629 г. староство было передано канцлеру Альбрехту Станиславу Радзивиллу (одному из потомков Радзивилла Черного).
С 1635 г. на должности борисовского старосты находился поляк Адам Казановский, который владел староством на условиях заклада: дав в долг казне Великого княжества большую сумму денег и получив взамен право пользоваться доходами староства до тех пор, пока не вернет одолженное. После смерти Казановского закладное право на староство перешло к его вдове.
После войны 1654-67 гг. Борисовское староство было передано надворному подскарбию Казимиру Яну Сапеге. Хотя староство по-прежнему считалось государственным имением, фактически Сапега пользовался им, как собственным. В апреле 1670 г. он даже отдал его в аренду Даниэлю Кастровицкому, мечнику Лидского повета. В городе тогда насчитывалось 256 мещанских дворов.
В 1672 г. Сапега отдал староство в трехгодовую аренду скарбнику Андрею Казимиру Скоробогатому за 34 тысячи злотых.
В 1685 г., уже будучи виленским воеводой, Казимир Ян Сапега обменялся с Домиником Михаилом Слушкой государственным имением на частное — Борисов на Новый Быхов. Этот обмен был совершен с согласия короля. Но фактически он был неправомерен и осуществился только потому, что власть уже утратила способность контролировать перемещение своих имений. Доминик Слушка оставался хозяином Борисова до своей смерти в 1713 г.
После Доминика Слушки Борисовское староство отошло к его вдове Констанции (из рода Подберезских). В 1718 г. она уступила его витебскому каштеляну Мартину Михаилу Огинскому (с 1730 г. — витебский воевода).
В 1744 г. Борисов перешел к Игнатию Огинскому (с 1750 г. — маршалок Великого княжества, а с 1768 г. — виленский каштелян). Этот отдал униатам действующий православный монастырь и построил униатскую церковь в честь Воскресения Господня. В это же время (1744) в городе появился деревянный костел в честь Восшествия Девы Марии.
После смерти бездетного Игнатия Огинского в 1775 г. король оставил право на пожизненное пользование Борисовским староством за его вдовой Еленой, которая известна тем, что дружила с Екатериной Дашковой и имела связи с двором императрицы Екатерины II.
Михаил Александрович Ткачев в районной книге «Памяць» за 1997 г. сообщает, что замок в Борисове возник еще в начале XIV в. после переноса города с первоначального места. Он размещался на левом берегу Березины около слияния с ней реки Пралли и занимал площадку около 2 га.