После его смерти в 1614 г. владельцем Сморгони стал Миколай Богуслав Зенович. Он погиб во время войны Речи Посполитой и Турции. В Хотимской битве, которую литовцы выиграли, он возглавлял полк численностью 1800 воинов и получил тяжелые ранения, от которых умер 7 сентября 1621 г. Его мать Теодора заказала Якубу Гайзишу
В 1628 г. Анна Софья Зенович вышла замуж за сына Радзивилла Сиротки Альбрехта Владислава Радзивилла (1589–1636), и последний сделался владельцем Сморгони. В союзе с Анной Софьей имел сына и трех дочерей. Двое его детей умерли, а Альжбета и Констанция ушли в монастырь бенедиктинок в Несвиже. Умер Альбрехт Владислав Радзивилл в 1636 г.
В 1664 г. Сморгонь перешла в собственность племяннику Альбрехта Владислава Радзивилла — Михаилу Казимиру Радзивиллу (1635-80). В отличие от Зеновичей, Радзивиллы не имели в Сморгони постоянной резиденции. Они отдавали земли этого имения в аренду. В 1672 г. Сморгонь взял под залог ошмянский подкаморий Самуил Иероним Котел.
В 1689 г. Карл Радзивилл передал Сморгонь под залог Икскюлям.
В 1723 г. владелица Сморгони княгиня Анна Радзивилл (из рода Сангушков) сдала местечко в трехгодовую аренду Станиславу Даманскому, старосте владиславскому.
В 1771 г. местечко арендовали каштелян трокский Константин Людвиг Тлябер и хорунжий ошмянский Ксаверий Хоминский.
В 1787 г. хозяином местечка временно сделался стольник слонимский Ян Леоновецкий. Он получил Сморгонь в качестве оплаты долга князя Радзивилла Пане Коханку.
После смерти Кароля Станислава Радзивилла Пане Коханку (1734-90), который, кстати, являлся владельцем Сморгони с 1762 г., это имение перешло к Доминику Иерониму Радзивиллу.
В 1805 г. опекунский совет над собственностью неполнолетнего князя Доминика Иеронима продал Сморгонь за 65 тысяч злотых князю Богдану Огинскому.
В 1808 г. хозяином Сморгони стал граф Кароль Доминик Пшездецкий (1782–1832). В войне 1812 г. этот поддерживал Наполеона, на собственные средства содержал 18-й уланский полк. В битве на Березине полк потерял половину своего состава, а после битвы под Новым Сверженем (13 декабря 1812 г.) и вовсе был расформирован. В битве под Лейпцигом (19 октября 1813 г.) Кароль Доминик был ранен. В 1816 г. вернулся на родину и, покаявшись за свою измену царю и получив прощение, поселился в Сморгони. Прославился в своих опытах по разведению породистой скотины, в частности, лошадей. Для этого построил в Сморгони
После смерти Кароля Доминика Пшездецкого имение Сморгонь было, наконец, секвестровано и стало сдаваться в аренду.
(По материалам С. Чагадаевой из газеты «Светлы шлях» за 15 января 2003 г.)
В 1622 г. центр местечка Сморгонь занимал рынок. От рынка отходили
Дом в саду представлял собой непарадные покои хозяев. Одно из его помещений украшали портреты короля, королевы, Христофора Зеновича, его жены Теодоры Волович и ее матери.
К хозяйственной части двора относились две конюшни, псарня, дома для слуг. За конюшней был выкопан пруд.