Хорш инициировал проверку налоговой службы США, в результате которой была выявлена неуплата Н. К. Рерихом подоходного налога на сумму 48 000 долларов, а также выиграл в суде иск к Рериху на сумму 200 000 долларов.
Рерихи, полностью не ожидавшие такого оборота дела, сочли Хорша предателем. В течение 2–3 лет они пытались отстоять свою правоту в судах США, однако им не удалось доказать права не только на участие в управлении зданием (или же право собственности на здание), но и на художественные коллекции. Не удалось Рерихам доказать и то, что суммы, выплаченные Хоршем в 1927–1929 годах за приобретённые в собрание Музея картины (около 250 000 долларов) и заработная плата Рериха как руководителя экспедиции за 1934 год не подлежали обложению подоходным налогом. Заявления об обманах, совершённых Хоршем (подделка векселей и писем Рериха, подделка решений совета поверенных, злонамеренное введение в заблуждение и т. п.), также не нашли подтверждения в суде. Даже попытки Рерихов наложить арест на коллекции до окончания судебных разбирательств не увенчались успехом. К 1938 году все судебные процессы завершились в пользу Хорша, а к 1941 году – в пользу правительства США.
Переписка Рерихов показывает, что им (в отличие от Хорша) катастрофически недоставало финансовых и юридических познаний для осознания тонкостей и сложностей американского корпоративного, ипотечного и налогового права. Н. К. Рерих, судя по его заявлениям, имел привычку подписывать юридические и финансовые документы, значения которых он не понимал. Эти обстоятельства послужили причиной неудач, сопровождавших попытки Рерихов отстоять свои позиции в суде.
Рерихи также не осознали, что контроль Музея над зданием был потерян вследствие падения стоимости и доходности недвижимости – к концу 1929 года задолженность по ипотеке превысила стоимость имущества. По мнению Рерихов, Хорш обманным образом проголосовал от имени Рерихов на совете поверенных Музея и Мастер-института при принятии решения об исключении имени Рериха из названия учреждений в декабре 1935 года и тем самым захватил здание. Между тем, здание в любом случае полностью находилось в руках кредиторов (и контролировалось Хоршем, как кредитором), так что данное решение было бы всё равно проведено в жизнь через постановление кредиторов. Если бы Хорш не выкупил большую часть акций на себя (видимо, в попытке спасти Музей), то Музей был бы изгнан из здания ещё ранее, в 1934–1935 году, безразличными к Музею держателями облигаций.
Вкупе с претензиями к Рериху со стороны правительства США, критическим отношением к нему американской прессы данные события (сопровождавшиеся наложением ареста на всё имущество Рериха в обеспечение погашения налоговой задолженности) привели к тому, что Рерих более не смог вернуться в США. Мало того, Хорш добился того, что Госдепартамент разослал всем консульствам указания не выдавать Рериху американскую визу. Рерих и Хорш так и не примирились. Луис Хорш умер в 1979 году в возрасте 90 лет, Нетти Хорш умерла в 1991 году в возрасте 94 лет. Их сын, Фрэнк Хорш, которому в раннем детстве симпатизировали Рерихи (в их переписке он упоминается под именем Флавий), был загадочным образом застрелен в подвале Мастер-Билдинга в 1975 году.
В результате скандального разрыва с Хоршем финансовая база проектов Рериха истощилась. Репутация Рериха в США была в достаточной мере подорвана. Рерихи были вынуждены свернуть и деятельность Института гималайских исследований «Урусвати», прекратить экспедиции и до самой смерти жили в своём доме в Индии, в долине Кулу, ведя скромный в финансовом отношении образ жизни.
Конфликт с Хоршем вызвал ещё одну цепочку последовательных событий. На фоне угасания рериховских учреждений активисты рериховского движения Фрэнсис Рут Грант и Зинаида Лихтман (Фосдик) рассорились. Ф. Грант в качестве компрометирующего материала продала связанным с республиканской партией журналистам так называемые «Письма Гуру» – письма Г. Э. Уоллеса[15]
(еще одного активного последователя Рерихов) к Н. К. Рериху, оказавшиеся в её распоряжении. На президентских выборах 1940 года Уоллес был выдвинут демократами на пост вице-президента, и республиканцы пытались использовать письма как компрометирующий материал, свидетельствующий об идиотизме Уоллеса. Хотя Уоллес и был избран, письма снова «выстрелили» к выборам 1944 года и послужили одной из причин того, что кандидатом в вице-президенты на эти выборы был выдвинут Г.Трумэн. Через 3 месяца, после смерти Ф. Д. Рузвельта, Трумэн стал президентом США, а Уоллес навсегда выпал из политической жизни.