Замок Несвиж был возведен на полуострове, на правом берегу реки Уши, подпертой плотиной, где в камышах квакали лягушки и курлыкали длинноногие аисты. Плотина образовала два пруда, которые со временем получили названия Паненский и Пионерский, их и сегодня можно наблюдать на прежнем месте. Замок был окружен широким водяным рвом, где уровень воды регулировался по необходимости сбросом воды плотиной. Замок Несвиж является фактически островным, с двумя оборонительными водными рубежами.
Николай Черный, сын Яна Радзивилла, деревянный замок сломал. В 1551 году на месте древнего, рубленого топором городища и языческого капища, Николай Черный – крещеный волхв – выстроил каменный замок, окружил его рвом и высокой крепостной стеной. В 1583 году Николай Христофор Радзивилл Сиротка начал грандиозную перестройку замка и его подземной сейфовой части. Где брал злато на постройку замка Радзивилл? – большой вопрос. Вероятно, имел он золотые и серебряные рудники, которые контролировали иезуиты. Князь Радзивилл получил образование в Европе, много путешествовал, а зимой 1580–1581 гг. побывал в Италии, где познакомился с итальянскими зодчими-иезуитами. Строился замок Несвиж по проекту итальянского архитектора, иезуита Джованни Бернардони – да-да, того самого, что участвовал в строительстве и реконструкции знаменитого собора Петра и Павла в Риме.
Важным естественным элементом укрепления замка шляхтичей-магнатов стала и река Уша, где плотина значительно подняла уровень воды защитных рвов. Первое графическое изображение замка Несвиж появляется на гравюре Тадеуша Маковского в начале XVII века. План города Несвиж был близок к квадрату – это соответствовало сакральной геометрии и архитектурным традициям Ордена Храма (тамплиерам). Город Несвиж имел регулярную (прямоугольную) разбивку на кварталы.
Ратуша в Несвиже – древнейшее из ратушных зданий, сохранившихся на территории Беларуси. Построена была на средства мещан по проекту Бернардони около 1596 года. В здании городского магистрата размещался суд, арсенал, городская весовая, хранилась городская касса, печать и архив. Город в 1586 году получил от короля Стефана (Иштвана) Батория (1576–1586) Магдебурское право, Несвиж официально приобрел и свой герб, который изображен был на печати города.