«По переезде Карла Радзивилла в Несвиж первым его делом было отделать на славу родовой княжеский замок и украсить его всеми возможными чудесами наук, искусств и художеств: он завел богатую библиотеку, состоящую из 10 000 томов разных сочинений на польском, французском и латинском языках, устроил красивую картинную галерею, собрал коллекцию статуй, статуэток, разных бронзовых и стальных рыцарских доспехов и очень оригинально устроил гостиную. Стены он оклеил медвежьими шкурами, пол устал зеленым дерном и уставил тропическими растениями; столы и стулья приказал сделать из слоновой кости; спальную кровать обтянул буйловыми и оленьими кожами. Столовые приборы у него были из чистого золота, с фамильным гербом, украшенным дорогими камнями под мозаику. Часто эта причудливая гостиная бывала свидетельницей самых баснословных пирушек и балов князя Пане Коханку, на которые он сзывал всю околичную шляхту! Нередко к нему приезжал гостить по целым неделям сам король Станислав Август.
Фейерверки, театры, продолжительные обеды со столетними венгерскими винами, катанья на сахарных горах, в санях, запряженных медведями, удивили короля, и он при всех сказал, что Пане Коханку живет лучше польского короля».
С 1793 года Несвиж – в составе Российской империи, уездный город, с 1795 года – заштатный город Слуцкого уезда. Русские офицеры писали в дневниках, что в 1792 году Несвиж «сдался российским войскам по заложении первый батарей». Укрепления города были в плохом состоянии – «ныне город окружающий земляной вал весьма не надежен; замок может учинить изрядное сопротивление, ежели защищаться будет довольным числом храброго войска».
Война 1812 года с французами привела Несвиж в запустение. Со смертью Доминика Иеронима Радзивилла (1786–1813) закончилась мужская линия несвижских Радзивиллов, продолжавшаяся почти четверть тысячелетия. По указу императора Александра I Несвиж получил граф Витгенштейн. В его семье воспитывалась дочь Доминика Радзивилла Стефания, которая в 1829 году вышла замуж за Л. Витгенштейна.
Несмотря на пожары 1836 и 1843 годов город Несвиж продолжал развиваться – в середине XIX века жило около пяти тысяч человек. П. М. Шпилевский писал о Несвиже этого времени:
«Все поднебесье окрестностей Несвижа было пропитано ароматическим воздухом цветистых лугов и девственных белорусских лесов и располагало меня к приятной неге и обаянию. По дорогам, по проселкам шли поселяне и поселянки и беседовали меж собой о своих работах и вседневных трудах, косари несли на плечах грабли, вилы и косы, жницы шли с серпами в руках, а ребята, мальчишки и девчонки, тащили горшки и мешочки с хлебом, оставшимся от полдника их трудолюбивых отцов и матерей.
В дополнение к такой сельской картине взор путешественника при въезде в Несвиж встречает почти на каждом шагу деревянные кресты, крестики и такие же часовни (каплички) или большие столбы с резными изображениями Божьей Матери, Спасителя и Иоанна Предтечи.
При самом въезде в него Несвиж живописно рисуется перед глазами путешественника: он представляется как бы швейцарским селением.
Чтобы попасть из города в замок, нужно переезжать через озеро на лодке или же обходить почти две версты, чтоб выйти на плотину. И извне и изнутри замок запущен: валы и насыпи полуразрушены и заросли купами лоз и лиственницы; вековые деревья одичали и остаются без надзора. Самый замок как-то мрачен и уныл с первого взгляда, но еще мрачнее он внутри: комнаты почти без мебели, стены в некоторых местах почернели, потолок потрескался.
Теперь в несвижском замке, кроме управляющего и нескольких чернорабочих, никто не живет. Говорят, что в нем отводят иногда квартиры для старших чинов расположенных в Несвиже кавалерийских полков; но это делается только в случае крайности, когда сходится два-три полка. А обыкновенно Несвижский замок пуст и мрачен!
Но не таков он был тому назад двести лет: в то время он был феноменом несвижского края. Из инвентаря 1659 года видно, что в XVII столетии замок со всех сторон был окружен водой из озер и каналов и состоял из двух главных частей: из палаца, или каменицы, и крепости. Палац был разделен на двенадцать огромных комнат, из которых каждая имела свое назначение. Здесь помещались: богатая кунсткамера, заключавшая в себе редкие произведения искусств и художеств; арсенал, в котором хранились 84 гаковмицы, 30 бронзовых рыцарских доспехов, множество амуниции из разных государств, более тысячи охотничьих снарядов и ружей, оправленных в серебро и золото. В палаце также был устроен Скарбец (хранилище), в котором хранились гетманские булавы и маршальские посохи Радзивиллов; разные бриллиантовые орнаменты, слитки серебра, найденного в несвижских землях, нумизматы, дорогие персидские ковры, часы и хрустальная посуда. Был еще другой Скарбец – тайный, о котором знали только сами Радзивиллы и их поверенный слуга; там, между прочим, были колоссальные изображения Двенадцати апостолов, вылитые из золота и серебра. Народ твердит, что эти изображения до сих пор хранятся в земле, но где именно – не знает.