Михаилу Казимиру Радзивиллу выпало стать хозяином города в год начала тяжелейшей войны. В 1654 и 1659 гг. Несвиж был основательно разграблен. Михаил Казимир добился в сейме Речи Посполитой, чтобы город на 4 года освободили от выплат податей, а впоследствии и сам начал «немалым коштам фортификовать Несвиж». В 1670 г., тоже благодаря его стараниям, Варшавский сейм на 20 лет освободил местных мещан от выплаты таможенных сборов и мыта старого и нового. В дальнейшем владельцу Несвижа стало значительно проще добиваться всевозможных привилеев в пользу своего города, потому что он сделался мужем родной сестры Яна Собеского Катерины. Ян III (Собеский), вступив в 1674 г. на трон, не только подтвердил Несвижу все предыдущие привилеи, по и специальным привилеем, как награду за мужество, установил в 1681 г. четырехнедельный кирмаш, который начинался 25 августа.
После смерти Михаила Казимира в 1680 г. Несвижским имением на протяжении 12-ти лет владела его жена Катерина из рода Собеских. Пользуясь поддержкой своего брата-короля, она продолжала опекать город.
С 1692 г. в Несвиже стал хозяйничать Кароль Станислав Радзивилл. На его долю выпал еще более тяжелый период — Северная война. В мае 1706 г. город был сожжен, а замок разрушен.
Возрождение Несвижа началось только в 1720-е г., когда хозяином его стал старший сын Кароля Станислава Михаил Казимир Радзивилл Рыбонька. Были восстановлены укрепления замка и города. Своим постановлением от 26 июля 1724 г. Михаил Казимир Рыбонька позволил пользоваться городскими правами всем, кто хотел тут поселиться. В его постановлении от 1731 г. есть специальный параграф про военные учения: согласно ему каждый год на третий день Семухи все взрослые мужчины обязаны были принимать участие в соревнованиях стрелков на приз «короля курка». Кроме того, Радзивилл Рыбонька активно занимался вопросами развития экономики и культуры в Несвиже: заложил мануфактуру шелковых поясов, открыл рыцарскую школу, основал суконную фабрику, спиртзавод. В протяжении 40 лет этот магнат вел диариуш, дневник, который составил, в общей сложности, несколько тысяч страниц. Первая жена Радзивилла Рыбоньки Франтишка Уршула Радзивилл из рода Вишневецких явилась основательницей придворного театра с капеллой и балетной школой.
В 1762 г. Михаил Радзивилл Рыбонька умер и Несвиж перешел к его сыну Каролю Станиславу Радзивиллу Пане Коханку. Этот начал с того, что устроил отцу грандиозные похороны, обошедшиеся ему миллион злотых. Потом спесивый самодур рассорился с российскими властями из-за позиции, которую занял на выборах нового короля и своем участии в Радомской и Барской конфедерациях.
Далее обращаюсь к сведениям В.И. Князевой, опубликованным в районной книге «Памяць». Радзивилл Пане Коханку скончался в 1790 г. в Польше, не оставив после себя наследников. Согласно закону, установленному еще Сироткой, ординация перешла к ближайшему родственнику — малолетнему Доминику Иерониму Радзивиллу, сыну ордината клецкого Иеронима Винцента Радзивилла (родного брата Радзивилла Пане Коханку). Доминик Радзивилл, кажется, жил в Несвиже наездами. Известно, что прибыв в город в 1805 г., он создал здесь масонскую ложу. В 1809 г., посетив Несвиж, он закрыл театр и распустил оркестр. Гораздо больше его интересовали лошади. В книге «Несвиж — живая легенда» (2005) находим, что не смотря на то, что Доминик Радзивилл давал присягу на верность Российскому императору, он, прельщенный известными обещаниями величайшего из авантюристов, переметнулся на сторону французов и во главе сформированного им же самим пятитысячного кавалерийского полка пошел на Москву. Умер Доминик Радзивилл во Франции от ран в 1813 г., оставив после себя лишь дочку Стефанию. С его смертью было прервано ответвление Радзивиллов, начатое еще со времен Миколая Криштофа Сиротки.
По Указу Александра I от 24 февраля 1814 г. Несвижская ординация была передана Антонию Радзивиллу, бывшему наместнику прусского короля в княжестве Познаньском.
В 1828 г. Лев Петрович Витгенштейн, сын главнокомандующего Западной Армией в 1812 г. П.Х. Витгенштейна, женился на Стефании Радзивилл и сделался очередным владельцем Несвижской ординации.
В 1832 г. Стефания умерла, оставив сына Петра (умер бездетным в 1887 г.) и дочь Марию, которая вышла замуж за князя Хлодвига Карла Виктора Гогенлоэ. Последнему поздней и достались владения Витгенштейнов.
У Михаила Александровича Ткачева, белорусского замковеда, находим, что первоначально город Несвиж не имел собственной линии фортификации. Поэтому в случае военной опасности жители прятались в деревянном княжеском замке. При этом Ткачев добавляет, что замком этим пользовались и Немировичи, и Матигирды, и Кишки, а с 1515 г. и Радзивиллы.