Многие считают, что именно отсутствие надлежащего погребения послужило началом слухов о том, что в доме водятся привидения. Другие утверждают, что источником проблем была сама земля. В конце 1700-х годов здесь находилась процветающая деревня коренных американцев кусабо, насчитывавшая более двухсот человек. Деревня была сожжена, а ее жители истреблены белыми поселенцами, желающими заполучить плодородные земли.
Во время длительного и хлопотного строительства Аннабель говорила: "Может быть, Господь не хочет, чтобы мы строили этот дом?".
Длительные сроки завершения строительства также объясняются архитектурными требованиями, которые предъявлял Батлер. Он нанял трех разных архитекторов, каждый из которых проектировал свою часть здания, поэтому никто, кроме Батлера, не знал точной планировки. Это было особенно важно, поскольку в поместье было множество тайных комнат и проходов, фальшивые стены, лестницы, ведущие в никуда, подвал с лабиринтами тоннелей длиной в несколько километров и камера пыток.
Рабство
На пике своего развития в 1841 году плантация насчитывала десятки рабов, большинство из которых обрабатывали несколько сотен акров хлопка и табака. Известно, что Батлер открыто хвастался тем, что разводит свою собственную рабочую силу, и многие рабы, рожденные на плантации, были детьми Батлера или его брата. В нескольких зафиксированных случаях, если ребенок, родившийся в поместье, был слишком светлокожим, Батлер заживо скармливал его свиньям, которых держал в поместье.
Вскоре Батлер стал одним из крупнейших скупщиков рабов на Юге, что заставило одного из его современников заметить: "[Батлер] купил чертовски много рабов, что они могли бы обрабатывать весь штат". Однако на Батлера, похоже, работало не более пятидесяти рабов, хотя, согласно записям, он купил более четырехсот.
Известные как необычайно жестокие хозяева, братья Батлер, похоже, получали удовольствие от наказания своих рабов за реальные или надуманные проступки. Они в полной мере использовали камеру пыток в доме, где с рабов сдирали кожу, варили их заживо, распинали, бичевали, калечили и сжигали.
Колтон Батлер, самопровозглашенный врач, который требовал, чтобы к нему обращались "доктор", хотя у него не было никакой медицинской степени, провел множество хирургических экспериментов над рабами без анестезии с очевидной целью соединить их вместе.