Одновременно с постройкой дома в поместье был организован парк, авторами которого явились Уильям Кент и Чарльз Бриджмен. Для придания парку «пейзажных» черт его павильоны были лишены функциональной нагрузки и представляли собой архитектурные фрагменты — стена с дверью, колонна с карнизом, круглый храм с портиком.
Уильям (1748–1811), 5-й герцог Девоншир, отошел от активной политической жизни, зато прославился благодаря жизни личной. В 1774 г. он женился на знаменитой светской красавице Джорджиане Спенсер (1757–1806), которая слыла законодательницей мод и поддерживала дружеские отношения с французской королевой Марией-Антуанеттой. В Чизвике герцогиня устраивала светские приемы с завтраками и обедами. По ее желанию Джеймс Уайетт возвел в парке мост и пристроил к дому два флигеля, снесенные в 1952 г. Сама хозяйка установила в доме бюст Наполеона, которым восхищалась, как и многие из ее друзей. Конечно, посетивший виллу Жак Делиль не мог не отдать должное вкусам Джорджианы:
В XVIII–XIX вв. в Чизвике побывало множество знаменитостей, среди которых — Вольтер и Руссо, Джон Адамс, Томас Джефферсон и Бенджамин Франклин, Александр I и Николай I, Джузеппе Гарибальди, королева Виктория и принц Альберт.
Джорджиана родила герцогу трех дочерей и сына. От связи с Чарльзом (1764–1845), 2-м графом Греем, у герцогини была дочь Элиза. Когда она родилась, Кавендиш заставил жену отдать ребенка на воспитание родителям Грея. Сам герцог в долгу не остался: его любовницей стала лучшая подруга Джорджианы, Элизабет Фостер (1759–1824). Эта блудливая трагикомедия широко обсуждалась при дворе. К тому же Джорджиана развила в себе склонность к азартным играм, алкоголю и наркотикам. Она скончалась в возрасте 48 лет предположительно от гнойного воспаления печени. После ее смерти Элизабет стала официальной женой герцога.
Со всеми этими похождениями Кавендишу было не до Чатсворта. Зато поместьем вплотную занялся их с Джорджианой сын Уильям (1790–1858), 6-й герцог Девоншир, страстный путешественник, строитель, садовник и коллекционер. Он был в дружеских отношениях с императором Николаем I, который подарил ему много изделий из малахита. При нем комнаты Чатсворта были богато оформлены Джеффри Уайтвиллом.
В 1826 г. главным садовником Чатсворта был назначен Джозеф Пакстон, которому поместье обязано появлением дендрария и посадок сосен, азалий, рододендронов и камелий. Главным творением Пакстона стала огромная теплица, которую разрушили в 1920 г. из-за отсутствия средств на содержание.
Вероятно, насмотревшись в детстве на отношения отца и матери, Уильям Кавендиш остался холостым, и герцогский титул унаследовал его кузен Уильям (1808–1891), правнук 4-го герцога Девоншира. Новый герцог вложил солидные инвестиции в тяжелую промышленность (необычный поступок для аристократа той эпохи), но в итоге почти все их потерял, создав серьезные финансовые проблемы своим потомкам.
Его сыновья вновь активно занялись политикой. Старший Спенсер (1833–1908), маркиз Хартингтон, в 1875–1880 гг. возглавлял Либеральную партию и трижды отказывался от поста премьер-министра. Средний Фредерик (1836–1882), назначенный министром по делам Ирландии, 6 мая 1882 г. был убит в Дублине ирландскими националистами.
Унаследовавший в 1891 г. герцогский титул Спенсер долгое время был влюблен в Луизу (1832–1911), супругу Уильяма Монтагю, 7-го герцога Манчестера. После смерти последнего Спенсер и Луиза поженились в 1892 г., будучи оба в преклонном возрасте. Детей они не имели, и герцогский титул перешел к Виктору (1868–1938), племяннику Спенсера, который изменил либеральным идеалам Кавендишей, став консерватором и генерал-губернатором Канады (1916–1921).
Вскоре стали давать себя знать излишества 6-го герцога и неудачные деловые операции 7-го герцога Девоншира. Для уплаты налогов в 1910-х гг. была распродана обширная книжная коллекция Чатсворта. В 1920 г. Виктор лишился семейного особняка в Лондоне, разрушенного через четыре года, а в 1929 г. продал Чизвик.