Основатель рода Илья Вячкович был соратником знаменитого князя Витовта. Его сын Иван Ильинич являлся личным телохранителем польского короля и великого литовского князя Казимира Ягеллончика. В 1454 году в бою с крестоносцами Иван Ильинич спас своего короля и князя, за что был награжден Волковысским староством. Рыцарь Иван получил родовой герб «Корчак» – три белых полосы на красном щите – столько раз Иван Ильинич принял на себя удары крестоносцев, направленные на короля. Его младший сын Юрий Ильинич вступил во владение Миром в 1495 году, получив в наследование «двор Мир» со всеми «пользами, доходами, прибылями и выходами, со всеми к тому двору принадлежащими полями, лесами, дубравами, рощами, сосновыми борами, пчелиными бортями, платными конными выпасами, лугами, пастбищами, озерами, прудами, реками с рыбной ловлей у берегов».
В 1497 году Юрий Ильинич ушел на войну с турками. В 1503, 1505, 1506 годах Мир и окрестности разоряли отряды крымских татар, доходившие до Новогрудка, Лиды и Вильно. В 1501 году Юрий Ильинич – маршалок и лидский староста, в 1510 – берестейский староста, в 1514 – ковенский староста, в 1518 году – литовский надворный маршалок. В 1522 году Ильинич получил право на пожизненные доходы с Лидского и Берестейского староств. Он уже был женат на Ядвиге Заберезинской, дочери полоцкого старосты. Юрий купил все земли, окружавшие Мир. У него к тому времени было сорок имений с двумя тысячами дворов.
Впервые Мирский замок упоминается в 1531 году в Литовской метрике, но замок был построен, конечно, раньше. Мирский замок строился с 1506 по 1526 год и потом совершенствовался и украшался еще двести лет. Для возведения замка были построены кирпичные заводы в селах Бирбаши и Пропаши, известь на строительство шла из Свержена. Со всей округи свозили валуны, обрабатывались и укладывались в стены. М. А. Ткачев писал в «Замках Белоруссии»:
«Начиная со второй половины XV века в замковом зодчестве определились две характерные тенденции. Первая свидетельствовала о дальнейшем развитии местных строительных тенденций (замки в Мирке, Гершенах, Любче) с использованием собственной интерпретации достижений европейской фортификации. Вторая же тенденция отражала стремление к следованию образцам европейского замкового строительства (замки в Несвиже, Заславле, Ляховичах), которые преломлялись через призму давних традиций местного монументального зодчества.
Наибольшей мощью тогда отличались центры латифундий крупнейших белорусских магнатов – Радзивиллов, Сапег, Ильиничей, Глебовичей. В целом система укрепленных владельческих городов служила основательным и прочным каркасом всей обороны Великого княжества Литовского и Речи Посполитой, что не раз подтверждалось в ходе войн XVI–XVIII веков».
Мирский замок построен на правом берегу речки Мирянки. Сначала были построены четыре двадцатипятиметровые башни и зубчатые стены, небольшое одноэтажное здание в замковом дворе. Из здания прорыли подземный ход – его обнаружили в 1912 году. Крепость представляла собой четырехугольник с угловыми башнями и пятой – въездной брамой – воротами посреди стены, обращенной к поселку. М. А. Ткачев писал:
«Строительство замка осуществлялось в несколько этапов. В первом десятилетии XVI века были сооружены стены и башни, а в юго-западном участке двора построили кирпичное одноэтажное жилое помещение. Второй этап строительства пришелся на 20—30-е годы XVI века, когда к южной и восточной стенам пристроили одноэтажный корпус с обширным подвалом. Новое здание заняло значительную территорию замкового двора. На третьем этапе (вторая половина XVI века – первая половина XVII века) над одноэтажным корпусом возвели еще два этажа. Внешними стенами дворца стали замковые стены – северная и восточная. В них замуровали часть бойниц, а на уровне второго и третьего этажей сделали большие оконные проемы. В конце XVI – начале XVII века, судя по всему, возвели подковообразную стену «предбамья».
По высоте стен башни четырехугольные, выше – восьмиугольные. В стенах много бойниц, во въездной башне были сделаны специальные отверстия для сбрасывания камней и кипящей смолы на осаждающих. Замок имел сложные механизмы – подъемный мост с падающей решеткой, устройства для поднятия грузов и тяжелых орудий на верхние ярусы. Башни и стены представляют единый, цельный ансамбль, который сохранился, несмотря на многочисленные перестройки.