В середине западной стены – башня с выездными воротами. Высота стен равнялась 14 метрам при толщине у основания 3 метра. Двадцатипятиметровые башни первоначально имели характерный готический декор в виде выбеленных ниш, контрастирующих с красным фоном кирпичной стены. После сооружения в XVIII веке дворца в стиле ренессанса башни (за исключением въездной) также обрели ренессанский облик, были оштукатурены тесаным камнем».
С 1753 года в Мирском замке поселился сын Радзивилла Рыбоньки – знаменитый своими сумасбродствами Пане Коханку. Исследователь В. В. Калнин в книге «Мирский замок», вышедшей в 1986 году в Минске, писал:
«Вот описание встречи Нового 1761 года, состоявшейся в Мирском замке: 23 декабря встреча гостей за городом, салют из пушек на замковых бастионах, а вечером ужин с тостами до поздней ночи. Наутро следующего дня охота в «зверинце», новые гости, и опять ужин. Назавтра снова тосты, стрельба из пушек, а вечером бал с танцами до утра. И так несколько дней. Через два дня именины княжны – с утра сто залпов из пушек и салют из ружей батальона драгун во дворе замка, а вечером – маскарад до утра. На следующий день отъезжают одни гости, приезжают другие, и так продолжается до праздника трех королей (4 января)».
В описании «Итальянского сада» при Мирском замке перечислено около 400 редких деревьев, выращиваемых «в кадках в оранжерее с 24 окнами и летом выставляемых на открытый воздух». Здесь росли лимоны, апельсины, фиги, мирт, кипарис, самшит, красное и лавровое деревья, итальянский орех.
На новый лад переделываются покои третьего этажа: разбираются одни внутренние стены, возводятся другие. Появляются «Парадная комната», «Портретный зал», «Танцевальный зал». Во всех комнатах – непременно печь и камин, лепной потолок с позолотой, паркет в малых и больших квадратах, филенчатые двери.
За свои сумасбродства Пане Коханку был почти на 15 лет изгнан из Мира. В 1778 году он вернулся. Перед концом существования Речи Посполитой разорялись радзивилловские мануфактуры, Мирский замок приходил в запустение:
«Портретный зал, в нем 6 окон без стекла, весь опустошен, потолок с французской позолоченной лепниной полностью осыпался. Крыша оранжереи частью исправлена соломой, остальная крыта гонтом, совсем уже старая, поддерживается на одних только подпорках, в стене от сада 26 окон с полностью побитым стеклом и поправленных больше щепой».
Во время восстания Тадеуша Костюшко в 1792 году Мирский замок был опорным пунктом восставших. После артиллерийского обстрела русские войска взяли его штурмом.
После третьего раздела Речи Посполитой Мир – местечко, волостной центр Новогрудского уезда Минской губернии. Русский офицер, посетивший Мир в феврале 1797 года, писал: «Запущенный Мирский замок с башнями по углам его и с подъемными мостами приводит на память давно минувшие дни злых духов и благородных рыцарей». В начале XIX века Мирский замок окончательно обветшал, в Итальянском саду остались только липовые аллеи. Мирским замком владел племянник Пане Коханку – юный князь Доминик Радзивилл.
Первые бои Отечественной войны 1812 года прошли под Миром. 9—10 июля 1812 года шли кровопролитные бои между арьергардом Второй русской армии Багратиона, кавалерией генерала М. И. Платова, с французской кавалерией маршала Даву. Платов задержал Даву, и Багратион успел перегруппироваться в Несвиже. Во время боев разрушили и сожгли дворец, были повреждены башни. Следующее сражение русской армии П. Чичагова с отступавшими французами прошло у стен Мира 10–11 ноября 1812 года. Во время боя был взорван пороховой склад, находившийся в северо-восточной башне замка, которая раскололась. Владелец Мирского замка Доминик Радзивилл, воевавший на стороне Наполеона, бежал с французами и умер от ран в 1813 году в Париже. Его имения были поделены между его дочкой Стефанией и двоюродным братом Антонием Радзивиллом. После того, как в 1828 году Стефания вышла замуж за князя Л. Витгенштейна, Мирский замок перешел к нему.
До середины XIX века ремесленничество в Мире было в упадке, жители занимались земледелием. В местечке было десять улиц и несколько переулков. В 1859 году в Мире открылось приходское училище, через два года – народное училище с женским классом. В 1859 году в Мире было 33 двора, в 1870 – 502 двора, в 1879 – 675 жилых домов и около 4000 жителей. 17 мая 1865 года в пожаре сгорели 150 домов в восточной части местечка.
В 60-х годах владельцами Мирского замка стали князья Гогенлое, сестра П. Витгенштейна Мария. Гогенлое замком не интересовались, Мирское графство сдавали в аренду. Эта продажа фактически спасла замок, который очередной Витгенштейн начал разбирать на кирпичи.
В 1870-х годах на четырех мирских башнях, кроме взорванной пятой, восстановили шатровые крыши, позже южнее замка выкопали большой пруд. Замок уже не имел военного значения, он обрастал легендами, главная из которых рассказывала о радзивилловских сокровищах, спрятанных в глубоких замковых подвалах.