По завещанию Казимира Леона владения Ружаны, Коссово, Быхов и другие отошли к витебскому воеводе Павлу Сапеге. Павел Сапега дослужился до чина гетмана Великого княжества. Он умер в 1665 г. в Ружанах. А в следующем году состоялось перезахоронение его праха и праха Казимира Леона Сапеги в только что (1665) освященный костел монастыря картезианцев в Березе. С этого времени упомянутый костел становится официальной
В 1666 г. Ружаны отошли старшему сыну Павла Сапеги Казимиру Сапеге (1637–1720), который получил военное образование. В 1667 г. владения Казимира Сапеги увеличились за счет приданого первой жены — Кристины Барбары, дочери Кароля Глебовича. Через два года после смерти воеводы Виленского Кароля Глебовича владения Сапегов еще больше разрослись. Вторая жена Казимира Сапеги Тереза (из рода Госевских) в 1708 г. принесла ему в собственность имение Волчин с фольварками, а третья — Антонина Гельдин — еще целый ряд имений. Казимир Сапега принимал участие в войне с турками. Был успешным дипломатом, за что даже получил
Позже Ружаны унаследовал сын Казимира Сапеги от первого брака воевода Мстиславский Ежи Сапега. Он был женат на княжне Изабелле Полубинской.
В 1732 г. хозяйкой Ружан становится дочь Ежи Сапеги и его второй жены Теодоры Пересвит-Солтан Кристина Роза Сапега, которая в 1745 г. вышла замуж за князя Масальского.
В 1774 г. Теодора Пересвит-Солтан Масальская записала имение Ружаны на племянника, подстолия инфлянтского Станислава Солтана.
После 1774 г. Сапеги вернули Ружаны. Хозяином имения стал Александр Михаил Сапега (1730-93). В 1756 г. подскарбий надворный, воевода полоцкий генерал-майор Александр Михаил Сапега женился на княжне Магдалине Агнешко. С 1775 г. он — канцлер Великого княжества. Главной его заслугой становится строительство
После Александра Михаила Сапеги Ружанами владел его сын Франтишек. Ему достался по наследству местный театр, балет, оркестр.
От Франтишка Сапеги Ружаны перешли к его сыну Евстафию Сапеге.
Последним владельцем Ружан был правнук Евстафия Сапеги Ян Сапега.
Несомненно, к моменту покупки Ружан канцлером Львом Сапегой у Брюханских в 1598 г. какая-то резиденция на городском возвышении существовала.
Искусствовед из Минска Валентин Калнин в журнале "Мастацтва Беларусi" в № 8 за 1987 г. сообщает, что в 1598–1605 гг. канцлер строит в Ружанах
Тот, старый дворец Сапегов размещался между широким двором и садом. Спуск в парк (сад) был сделан в виде ступеней. Изнутри
В середине XVII в. при Казимире Леоне Сапеге дворец перестраивал, видимо, итальянец Джованни Батист Джислени (1600-72). Он был автором надмогильного памятника для первой жены Казимира Леона Сапега Теодоры Кристины (из рода Терновских), умершей в 1652 г. и перезахороненной в виленском костеле св. Михаила. Он же проектировал монастырь картезианцев в Березе.
В 30-е гг. XVIII в. дворец в Ружанах вновь был перестроен. На его фасаде появились типовые пасторальные мотивы в стиле
Однако самой существенной стала перестройка во второй половине XVIII в. После нее изменилось обличие старого дворца, появились новые здания —