Во время этого периода отчуждения между Джимом и Тэмми отношения Баккера с некоторыми мужчинами из числа его сотрудников приняли странный характер. Одни говорили о том, что Баккер мастурбировал в их присутствии. Другие мужчины говорили о том, что Баккер делал им предложения сексуального характера. Были и третьи, – те, которые ничего не говорили, но делали карьеру со скоростью, явно не соответствующей их способностям. В общем, люди окружающие Баккера прощали своему боссу такое поведение, считая его следствием напряжения и давления, которое тот испытывал. В конце концов, он страдал из-за разногласий с женой, грубого расследования, предпринятого Федеральной комиссией связи, да и местные газетчики продолжали разнюхивать все, что было связано с «PTL». Один из друзей Баккера решил, что у него есть средство, которое позволит священнику избавиться от сексуальных проблем. В декабре 1980 года, пока Баккер был в штате Флорида, помогая собирать деньги для одной христианской телевизионной станции, этот друг привел гостью, приятную молодую женщину Джессику Хан, работавшую церковным секретарем.
В 1982 году, когда транзитный Сатурн встал в оппозицию к натальному Сатурну, у Баккера и «PTL» случились перемены к лучшему. Федеральная комиссия связи закрыла расследование, вынеся вердикт о неаккуратном финансовом менеджменте, но не отозвала лицензию. Кроме того, Баккер и Тэмми сумели сохранить свой брак, обратившись в службу психологического консультирования. Хотя сражение с прессой не закончилось, и у организации оставались многочисленные финансовые проблемы, Баккер смог продолжить свою деятельность священника и сохранить богатый образ жизни. Однако эта мирная интерлюдия продолжалась недолго. В 1985 году, когда транзитный Уран повернул назад и снова прошел по МС Баккера, тот обнаружил, что ему угрожают с двух сторон. Во-первых, Внутренняя налоговая служба США объявила об аудите уплаты налогов организацией «PTL». Поскольку «PTL» была церковью, освобожденной от уплаты налогов, то ее попросили обосновать ее участие в таких коммерческих предприятиях, как «Тематический парк» и новые роскошные кондоминиумы, находящиеся в состоянии строительства. Во-вторых, Джессика Хан обратилась в организацию «PTL», требуя дать ей денег. Она угрожала пойти и рассказать газетам, как она была изнасилована преподобным Джимом Баккером в декабре 1980 года, если ей не выдадут требуемую сумму. В январе 1985 года Ричард Дорч, помощник Баккера, заплатил Хан требуемую сумму.
Хотя Хан хранила молчание, слухи об этом происшествии дошли до СМИ, а также до органов власти в «Ассамблее Божьей», в том числе и до соперников Баккера на ниве телевизионной евангелистской деятельности. Все они рассчитывали получить на этом прибыль. А тем временем, Внутренняя налоговая служба начала аудит. В 1987 году, когда транзитный Сатурн дошел до МС Баккера, все элементы мозаики были собраны воедино. Джимми Своггарт, влиятельный телеевангелист из Луизианы, начал компанию по захвату «PTL», приведя доказательства морального падения Баккера. В это же время в СМИ стали распространяться слухи о встречах Баккера с Хан. Баккеру пришлось уйти с поста главы «PTL». Несколько месяцев спустя, когда транзитный Сатурн все еще стоял на МС Баккера, он предстал перед судом присяжных по обвинению в мошенничестве, неуплате налогов и вымогательстве. Обвинения базировались на результатах аудита. В октябре 1989 года он был осужден.
Баккер вышел из тюрьмы в 1993 году, и тут, к удивлению многих, оказалось, что он все еще пользуется большой любовью в евангелистской общине. В 1994 году, когда транзитный Сатурн шел по асценденту Баккера, он начал работать над книгой, в которой подробно изложил все ошибки, совершенные им в годы управления «PTL», и описал путь искупления, на который он встал в тюрьме. В 1998 году транзитный Сатурн второй раз вернулся на место расположения натального Сатурна, и Баккер, который развелся с Тэмми, когда был в тюрьме, вновь вступил в брак. Со своей новой женой он отправился в курортную зону Брэнсон, в штате Миссури, и в январе 2003 года, спустя полгода после того, как транзитный Сатурн прошел по IC Баккера, успокоившийся и более скромный Баккер начал вести новое христианское телевизионное шоу.
Сатурн за работой