Георг II не любил Тауншенда, и этим, в конце концов, воспользовался Роберт Уолпол, сосредоточивший в своих руках нити управления государством. Виконт был женат на сестре Уолпола, Дороти (1686–1726), одной из многочисленных пассий герцога Филипа Уортона. Поддерживавший зятя Уолпол ненавидел герцога ив 1721 г. упразднил основанный Уортоном «Клуб адского огня» (о нем мы еще будем говорить). Однако Дороти продолжала встречаться с герцогом, и в результате муж заточил ее в Рейнеме, где она умерла в 1726 г. Вскоре поползли слухи, что похороны были фиктивными и несчастная по-прежнему содержится где-то в доме. Уолполу эти слухи не понравились, их отношения с виконтом испортились, и в 1730 г. Тауншенд окончательно подал в отставку и, поселившись в своей усадьбе, занялся сельским хозяйством. До сих пор, когда дом в Рейнеме погружается в сумрак, на парадной лестнице возникает еле различимый силуэт Коричневой леди — вероятный призрак Дороти Уолпол.
Джордж (1724–1807), 4-й виконт Тауншенд, отличившийся во время Семилетней войны, в 1787 г. удостоился титула маркиза. Для его старшего сына Джорджа (1753–1811) в 1784 г. был также учрежден титул графа Лестера (6-я креация) как для потомка Роберта Сидни, 2-го графа Лестера. Впрочем, этот титул просуществовал лишь одно поколение. Джон (1778–1855), 3-й маркиз Тауншенд и 2-й граф Лестер, в 1807 г. женился на Саре Гарднер, которая в 1809 г. сбежала с пивоваром Джоном Марджетсом. «Пивная» доля, видать, ее не привлекала, поэтому родившемуся затем сыну Джону (1811–1903) она, как ни в чем не бывало, присвоила графский титул. Тауншенд, конечно, отрекся от такого наследника, а суд признал притязания блудной женушки незаконными.
Со смертью маркиза поместье вместе с титулом перешло к его двоюродному брату Джону (1798–1863), чей сын Джон (1831–1899), 5-й маркиз Тауншенд, был видным членом Либеральной партии. Его внук Джордж (1916–2010), 6-й маркиз Тауншенд, работавший на телевидении, установил своеобразный рекорд ношения титула — 87 лет и 104 дня (1921–2010). В настоящее время поместье принадлежит Чарльзу (род. в 1945 г.), 7-му маркизу Тауншенду. Наследником является его сын Томас (род. в 1977 г.), виконт Рейнем.
Сесилы считают своими предками семью Сесиль, поселившуюся в Уэльсе в конце XI в. Ричард Сесил (? —1553) участвовал в роспуске монастырей и получил земли в Кембриджшире и Линкольншире с центром в поместье
Его сын Уильям (1520–1598) служил государственным секретарем (1550–1553, 1558–1572) и лордом-казначеем (с 1572 г.) Елизаветы I, пожаловавшей ему в 1571 г. баронский титул. На фоне множества выдвиженцев тюдоровской эпохи Сесил смотрится весьма достойно. Он пользовался доверием не только «доброй» Елизаветы, но и «кровавой» Марии, а во время разгула пуританства, поощряемого Фрэнсисом Уолсингемом, не побоялся указать на необходимость союза с Испанией. Но все-таки Сесил был сыном своей эпохи. Лицемерно жалуясь в парламенте на неуплату налогов, он заявлял, что его собственный доход составляет около 135 фунтов, тогда как он достигал четырех тысяч в год!
В 1555–1587 гг. Сесил построил в Берли грандиозный особняк, чей проект, вероятно, принадлежит Роберту Смитсону. Это типичный для Смитсона сельский дом с комнатами, оформленными в эпоху барокко в XVIII в. Существует, однако, версия, что прототипом для него послужил дворец Ричмонд под Лондоном, сооруженный Генрихом УП, а впоследствии разрушенный.
Старший сын Уильяма Сесила, Томас (1542–1623), в 1605 г. получил титул графа Эксетера, а младший (от другой жены), Роберт (1565–1612), тогда же удостоился титула графа Солсбери (5-я креация). Они стали основателями двух семейных линий, а их потомки до сих пор носят титулы маркиза Эксетера и маркиза Солсбери.
Старший сын остался жить в Берли. Он занимал незначительный пост в правительстве Елизаветы I и Иакова I, пребывая в тени своего сводного брата. Его потомки также не играли серьезной роли в политической жизни Англии. Многие из них являлись приверженцами партии тори, а затем — Консервативной. В 1775–1780 гг. Ланселот Браун создал в Берли усадебный парк с озером и мостом по заказу Браунлоу (1725–1793), 9-го графа Эксетера. Его племянник Генри (1754–1804) в 1801 г. получил титул маркиза Эксетера (2-я креация).
Дэвид Сесил (1905–1981), 6-й маркиз Эксетер, будучи олимпийским чемпионом, в 1961 г. положил начало проведению на территории усадьбы соревнований по конному троеборью. В настоящее время поместьем владеет Уильям (род. в 1935 г.), 8-й маркиз Эксетер. Наследником является его сын Энтони (род. в 1970 г.), лорд Берли. В XX в. в Берли был разбит итальянский сад, приятное впечатление от которого портят недавно изготовленные модернистские скульптуры.