Весёлые и радостные ходили этот день рабочие и всем хвастались, что, мол, «скоро сами богатеями будем и уйдём от вас на родную сторону». Такие же весёлые шли они и на «последнюю работу», но больше никто их уже никогда не видел… Как в воду канули 300 человек, а управляющим было объявлено, что барин «тех рабочих отпустил домой, а стройку их жертвует своим заводским». Как ни боялись все Андрея Родионовича, но всё же пошёл кругом возмущённый глухой гул, особенно когда один из двух любимцев барина в тот же вечер в кабаке «сбрехнул», что, мол, теперь хоть сто ревизий приезжай, никто ничего не дознается, всё у нас «шито-крыто».
Все поняли, что не добром сразу исчезли без следа 300 человек, а когда на другой день и проболтавшийся любимец «нечаянно утонул», то ни у кого не было сомнения в том, что барин ловко «схоронил концы».
Приехавшая ревизия ничего не смогла открыть, так как никто действительно теперь не знал, где искать ход в «подземные хоромы», и хотя показали башню, куда входили рабочие («отпущенные домой и убиравшие парк»), но там оказались только дверь в сад и больше ничего… Но страшное предание прожило более ста лет, и ещё в начале нашего века местные крестьяне рассказывали, будто «барин собственноручно задвинул засовы чугунной двери подземелья, где лежали напившиеся на радости рабочие, которые и умерли там голодной смертью».
Вскоре после этого звезда Баташёва закатилась окончательно, а в 1799 году он умер семидесяти трёх лет. С тех пор владения Баташёва стали приходить в упадок.
Посетивший в середине второй половины XIX века Гусь-Железный писатель Мельников-Печерский, оставив подробные описания баташёвского имения, обращал внимание на «страшное запустение и развалины, незаметные только снаружи». Но не обошёл он в своём описании и легендарной «подземной части»: «Нижний этаж по расположению комнат напоминает верхний, а под этим этажом находятся подвалы, частью от времени разрушившиеся, и молва гласит, что из некоторых подвалов когда-то были подземные ходы, выходившие в поле».
Сегодня, к сожалению, мало, что из описанных грандиозных построек уцелело, от некоторых даже не осталось и следа. Ещё краевед Л. П. Чекина, пять лет проведшая в Гусь-Баташёве, изучая это удивительное место, писала через полвека после поездки Мельникова-Печерского: «Хотя все постройки, кроме „барского дома“ и нескольких флигелей, теперь наполовину разрушены, но всё же не потеряли своего стиля, и по ним легко восстановить картину прошлого. Целы огромные развалины театра и бесконечных оранжерей, а в каменной, наполовину осыпавшейся стене и сейчас видны маленькие бойницы для пищалей. В конце столетней липовой аллеи, идущей через весь парк от главного крыльца „хором“, помещаются развалины „павильона любви“… Недалеко от этих развалин находится полуразрушенная угловая башня, представляющая теперь наполовину осыпавшиеся стены без крыши, а вместо пола на аршин ниже уровня земли — остатки прогнивших балок, опавшие листья да всякий мусор».
Именно под этой самой угловой, правой башней парка и находилось подземелье, куда проваливались «неугодные» Баташёву. Чекина не сомневалась в существовании подземных ходов, о которых и по сей день ходит столько легенд в Гусе-Железном. Причём, по её мнению, подземные ходы были сделаны не только под землёй, но и в стенах домов. Последняя владелица Баташёва сама рассказывала Чекиной, что, увлёкшись ещё в молодости рассказами о тайниках баташёвского дома, стала выстукивать стены комнат и велела разломать одну из них, где звук ей показался особенно подозрительным — в угловой комнате нижнего этажа направо от подъезда, выходившей на двор. За тонкой кирпичной оболочкой действительно оказалась крохотная комната — площадка с винтовой лестницей в верхний этаж, в бывший кабинет Андрея Родионовича. Около лестницы стоял маленький круглый стол на трёх вызолоченных львиных лапах, а на нём лежали особой формы шапка, гвоздь и молоток — первый владелец Гусь-Баташёва, как мы помним, был не только разбойником и фальшивомонетчиком, но и масоном. Около столика была маленькая подъёмная дверь, ведущая в подземную часть здания, и, по-видимому, тут помещалась самая «святая святых» владыки дома, так как этот тайный ход вёл куда-то прямо из его кабинета, а стало быть, никто уже не мог проникнуть туда, кроме его владельца. К сожалению, последняя Баташёва «побоялась» проникнуть в подземелье и велела снова заложить стену, захватив с собой только оригинальный столик и масонские реликвии, которые Чекина не раз видела на камине в её кабинете.
Андрей Печерский тоже считал, что молва о подземных ходах, возможно, и справедлива, если принять в расчёт время и обстоятельства, при которых жил основатель и первый владелец Гусевского завода, имя которого «и теперь, более полувека спустя, произносится на заводе с каким-то паническим страхом».