Клиффорд вернулся стариком, сломленным, с пошатнувшимся рассудком, и Гефсиба с Фиби окружают его нежной заботой. Клиффорд просит убрать портрет полковника Пинчена, считая его злым гением дома и своим, но Гефсиба думает, что не имеет на это права, и ограничивается тем, что закрывает его занавеской. В лавку к Фиби заходит судья Пинчен и, узнав, что они родственники, хочет поцеловать девушку, но она невольно отшатывается, узнав в нем оригинал дагерротипного портрета, показанного ей давеча Холгрейвом. Проведав, что Клиффорд вернулся, судья хочет повидаться с ним, но Гефсиба не пускает его. Судья приглашает ее вместе с Клиффордом переехать в его загородный дом и жить там без забот и хлопот, но Гефсиба решительно отказывается. Холгрейв, к которому Фиби поначалу относится недоверчиво за его неуважение к законам, понемногу завоевывает ее расположение. В свои двадцать два года он уже успел исколесить вдоль и поперек Новую Англию, побывать в Европе и перепробовать кучу занятий — он служил приказчиком в деревенской лавчонке, учительствовал в сельской школе, читал лекции о Месмеровом магнетизме. Для него Дом о семи фронтонах — воплощение омерзительного Прошлого со всеми его дурными воздействиями, и он живет здесь временно и лишь для того, чтобы лучше научиться ненавидеть это прошлое.
Он литератор и читает Фиби свой рассказ об Алисе Пинчен: «Однажды достопочтенный Жервез Пинчен вызвал к себе юного Метью Мола — внука колдуна и сына строителя Дома о семи фронтонах. Ходили слухи, что Молы знают, где хранится документ, дающий Пинченам право на владение обширными восточными землями, и Жервез Пинчен сулил Метью Молу щедрое вознаграждение, если тот поможет ему найти этот документ. В обмен на помощь Мол потребовал вернуть ему земельный участок его деда вместе со стоящим на нем Домом о семи фронтонах. Пинчен сначала возмутился, но, подумав, согласился. Метью Мол сказал, что может найти бумаги, только если ему поможет дочь Пинчена красавица Алиса. Мол усыпил Алису и заставил ее подчиняться своей воле. Он хотел воспользоваться ее душой как телескопическим снарядом, чтобы с его помощью заглянуть в потусторонний мир Ему удалось вступить в общение с участниками старинной тяжбы, но тайну узнать не удалось: когда старый полковник хотел раскрыть ее, ему зажали рот. Мол понял, что в наказание за грехи полковнику придется молчать до тех пор, пока документ не утратит силу — так что не видать его наследникам вожделенного богатства. Таким образом, Дом о семи фронтонах остался у Пинченов, но душа Алисы попала во власть Метью Мола, который обрек ее на медленное позорное глумление. Не выдержав унижения, Алиса вскоре умерла, и не было мрачнее и горестнее человека, который шел за гробом, чем Метью Мол, который хотел проучить ее за гордыню, но вовсе не желал ей смерти».
Читая свою историю, Холгрейв заметил, что Фиби впала в странное оцепенение. Казалось, он может овладеть ее душой так же, как когда-то плотник Метью Мол — душой Алисы, но Холгрейв не сделал этого и просто разбудил Фиби, которой казалось, будто все беды Алисы приключились с ней самой. Фиби на несколько дней уезжает в деревню к родным: прожив в Доме о семи фронтонах всего полтора месяца, она так привязалась к его обитателям, что не хочет оставлять их надолго. Во время ее отсутствия судья Пинчен вновь приходит к Гефсибе. Он уверен, что Клиффорд знает семейную тайну, дающую ключ к неслыханным богатствам. Если Клиффорд не раскроет ее, он грозится засадить его в сумасшедший дом, и Гефсиба скрепя сердце идет за братом. Она очень боится встречи Клиффорда с судьей Пинченом: зная ранимую душу брата, она тревожится за его и без того слабый рассудок. Но комната Клиффорда пуста. Испуганная Гефсиба возвращается в гостиную и видит судью, неподвижно сидящего в кресле. На пороге гостиной стоит радостный Клиффорд. Гефсиба не понимает, что произошло, но чувствует, что случилось что-то страшное. Клиффорд уводит ее из дома, и она безвольно идет за ним на вокзал, где они садятся в поезд и едут неведомо куда.
На следующее утро жители Пинченовой улицы удивляются исчезновению двух беспомощных стариков, но тут разносится слух, что убит судья Пинчен, и людская молва тут же приписывает это преступление Клиффорду и Гефсибе. Вернувшаяся из деревни Фиби находит в доме одного только Холгрейва, который сообщает ей, что судья Пинчен мертв, а Клиффорд и Гефсиба исчезли. Холгрейв не знает, что произошло, но он, как и Фиби, уверен в невиновности стариков. Холгрейв предполагает, что, потрясенные сходством кончины судьи Пинчена со смертью холостяка — его дяди, которая имела столь губительные последствия для Клиффорда, старики со страху сбежали, и боится, что это навлечет на них подозрение в убийстве.