Она не знала, что было уже слишком поздно. В 1963 году Натаниэль познакомился с Патрицией Галлисон – красивой молодой студенткой их Института, работавшей в качестве модели, в которой нашел то, чего не видел ни в Айн, ни в Барбаре: она принимала его таким, каков он есть, и не стремилась сделать его лучше, умнее и совершеннее. Вскоре Патриция вышла замуж, но они продолжали питать друг к другу чувства, переросшие в 1964 году в тайную связь, о которой не знали ни Айн, ни Барбара. Последняя, в свою очередь, с ведома Натаниэля стала встречаться с другим человеком. В результате отношения Брэнденов и О’Конноров запутались окончательно.
Когда писательница сообщила своему протеже о желании возобновить с ним сексуальную связь, тот, скрывая истину, отговорился сложностями в семейной жизни – его брак с Барбарой распадался. В течение нескольких следующих лет Айн тщетно пыталась восстановить отношения супругов, полагая, что это поможет ей вернуть любовь Натаниэля. К этой проблеме добавилось беспокойство по поводу здоровья Фрэнка: тот начал худеть и становился всё более слабым; сужение сухожилий затруднило его занятия живописью. Фрэнка пришлось отправить на операцию. Айн была в ужасе; она почти всё время проводила у его постели, потеряла сон и находилась на грани нервного срыва. Однако операция прошла успешно, и Фрэнк благополучно вернулся к семейной жизни и искусству.
Летом 1965 года Барбара, измученная подозрениями относительно связи Натаниэля с Патрицией, поняла, что больше не в силах жить с ним, и подала на развод. Официально расставшись, бывшие супруги продолжали жить в одном доме (только на разных этажах), дружить и даже ездить вместе на работу. В 1966 году Патриция развелась с мужем и теперь могла свободно встречаться с Натаниэлем. Интересно, что после развода она решила взять новую фамилию, позаимствовав ее у одного из героев романа «Источник» Гейла Винанда. Однако и она уже к тому моменту чувствовала себя не очень комфортно, зная о связи Натаниэля с писательницей. Барбара, которой Натаниэль всё рассказал о романе с Патрицией, считала себя виноватой по отношению к Айн, которую должна была обманывать, чтобы не выдать Натаниэля.
Таким образом, обман и ложь продолжали окружать писательницу и ее ближних. Когда Фрэнк выздоровел, а брак Брэнденов был расторгнут, Айн вновь попыталась сблизиться с Натаниэлем. Однако тот продолжал выдумывать всяческие предлоги, чтобы избежать физического контакта: то говорил, что чувствует вину перед Фрэнком, то сообщал о своей усталости и постоянном напряжении, а забывшись, упоминал Патрицию. Айн чувствовала: что-то не так, Натаниэль не говорит ей правду. В отчаянии она бросилась за помощью к Барбаре и Фрэнку. Однако Барбара продолжала лгать, уверяя, что между Натаниэлем и Патрицией ничего нет. Фрэнк, вынужденный выносить постоянные нервные срывы супруги, сам страдал. «Этот человек не годится тебе! Неужели ты не видишь этого!» – однажды в сердцах воскликнул он. К нему преждевременно пришла старость: несмотря на то что ему был всего лишь 71 год, он стал забывчивым и несобранным. Порой, уходя в свою студию, он не столько рисовал, сколько употреблял алкоголь, пытаясь утопить в нем свое страдание.
Весной 1968 года Барбара умоляла Натаниэля рассказать обо всём Айн, однако тот по-прежнему не осмеливался. В июле он всё же попытался сообщить ей, что не хочет продолжать эту связь из-за разницы в возрасте (писательнице к тому моменту было 63 года). Опасаясь сказать это ей в лицо, Натаниэль написал всё на листе бумаги, который передал Айн. В девять вечера в квартире Барбары раздался телефонный звонок. Это была Айн, потребовавшая, чтобы она немедленно пришла в квартиру Натаниэля. Там Барбара увидела побледневшего Натаниэля и разъяренную писательницу, заявившую, что отныне между ними всё кончено.
Правда, позднее она решила дать Натаниэлю «еще один шанс». Тем не менее она была ужасно оскорблена и разочарована. Ее идеальный мужчина, один из лучших умов, встреченных ею, оказался мерзавцем. Опасение, что Натаниэль может в будущем использовать ее имя как ширму для собственных проектов, оказалось столь сильным, что она даже решила отменить театральную постановку «Источника», которую должен был осуществить театр, недавно созданный Институтом Натаниэля Брэндена.