Вернувшись на родину, Честерфилд перешел в оппозицию Роберту Уолполу, но, когда тот ушел из политики в 1742 г., для графа не нашлось места в новом правительстве. Он разругался с Георгом II и стал пописывать антиправительственные трактаты в журнале «Старая Англия». Найдя общий язык с Питтом Старшим, граф появился при дворе, а затем вновь отправился в Гаагу, где добился вступления Голландии в Войну за австрийское наследство на стороне Англии. В 1746 г. Честерфилд вернулся в Лондон и служил государственным секретарем, однако через два года поссорился с королем и уволился со всех постов, отказавшись от герцогского титула.
С конца 1750-х гг. граф окончательно удалился в Бретби. Его голландский сын Филип не был принят в свете, а вдова Филипа после смерти свекра опубликовала его письма, отнюдь не предназначавшиеся для печати, и получила за них хорошие деньги.
Умирающий Честерфилд усыновил своего дальнего родственника Филипа Стенхопа (1755–1815), который унаследовал графский титул и поместье Бретби. Будучи любимцем Георга III и британским послом в Испании, граф разрушил старый дом в Бретби и построил замок в готическом стиле, спроектированный Джеффри Уайтвиллом. Потомки графа являлись приверженцами политики тори и консерваторов.
После смерти бездетного Джорджа (1831–1871), 7-го графа Честерфилда, титул перешел к его троюродному брату Джорджу (1822–1883), а Бретби — к сестре Эвелин (1834–1875) и ее мужу Генри Герберту, 4-му графу Карнарвону. В 1926 г. Герберты продали Бретби совету графства Дербишир, и до 1990-х гг. дом использовался в качестве ортопедической больницы, а в настоящее время преобразован в отель.
Владельцы Чивнинга приобрели титул графа Стенхопа в 1718 г. Его удостоился сын Александра Стенхопа — Джеймс (1673–1721). Он принял активное участие в Войне за испанское наследство, и возглавляемые им британские войска капитулировали 9 декабря 1710 г. в сражении при Бриуэге, где Джеймс попал в плен к французам. В Англию он вернулся в 1712 г., а уже в 1715 г. принял участие в подавлении восстания якобитов.
На 1717–1718 гг. пришелся пик политической карьеры Стенхопа, он стал первым министром и канцлером казначейства и возглавил переговоры с Испанией по поводу Гибралтара. Тем временем внутри страны набирал силу коллега Стенхопа по партии вигов Роберт Уолпол. Вероятно, Стенхоп мог бы составить ему конкуренцию, но внезапно скончался от инсульта.
Его внук Чарльз (1753–1816), 3-й граф Стенхоп, был известным политиком и ученым, прозывавшимся «гражданином Стенхопом» из-за своих симпатий к Французской революции. Он был женат на сестре Питта Младшего. В Чивнинге родилась их дочь Эстер (1776–1839), путешественница по странам Ближнего Востока, и сын Филип (1781–1855), 4-й граф Стенхоп, известный благодаря своему участию в «деле Каспара Хаузера».
Каспар Хаузер — самый знаменитый в истории найденыш, чье происхождение до сих пор остается неясным. Он появился 26 мая 1828 г. на рыночной площади Нюрнберга. Граф впервые увиделся с юношей в 1831 г. и сильно привязался к нему. Современные историки объясняют эту привязанность гомосексуальностью (чем же еще?), а прежние обвиняли графа в стремлении выставить Хаузера лжецом и проходимцем якобы вопреки мнению «народа». Известно лишь, что в результате проведенного расследования граф разуверился в высокородном происхождении Хаузера, но упорно приглашал того в Англию. Этим планам помешала смерть Хаузера от руки неизвестного убийцы (по другой версии, самоубийство на почве умопомешательства).
Сын графа Филип (1805–1875), 5-й граф Стенхоп, был историком и членом партии тори, служившим под началом Роберта Пиля. Его внук Джеймс (1880–1967), 7-й граф Стенхоп, видный политик-консерватор, председатель Тайного совета (1939–1940), в 1952 г. унаследовал от родственников титул графа Честерфилда. Однако детей он не имел, и после его смерти оба графских титула упразднили. Согласно завещанию графа, Чивнинг сделался резиденцией министра иностранных дел Великобритании.
Семья Эшли — мелкие землевладельцы родом из Хемпшира, поселившиеся в XVI в. в поместье