Умер он в 1799 году, семидесяти трех лет, и похоронен был у престола заводской кладбищенской церкви. Над могилою его поставлен был двухсаженный каменный столб, увенчанный шаром и крестом.
Из-за весьма сложных и, мягко скажем, неулаженных семейных отношений и столь же запутанного и нерешенного вопроса о наследстве, годы, последовавшие за смертью Баташева, были временем споров, судебных тяжб, дележа огромного состояния заводчика-разбойника. «Одолеть», чтобы стать полноправным наследником-хозяином, никто так и не сумел, и владения Баташева стали приходить в упадок.
Особенно заметно разорение баташевских владений шло в 20-е – 30-е годы XIX века, и уже через треть столетия после смерти Андрея Родионовича некогда прибыльнейшие производства имели убыток в несколько миллионов рублей. Запустение коснулось дворца и всего имения вельможи-разбойника. Но, несмотря на это, и во второй половине XIX века Гусь-Баташев представлял собой внушительное зрелище.
Сегодня, к сожалению, мало что из грандиозных построек уцелело, от некоторых даже не осталось и следа, но Л.П. Чекина, пять лет проведшая в Гусь-Баташеве, изучая это удивительное место, писала: «Хотя все постройки, кроме «барского дома» и нескольких флигелей, теперь наполовину разрушены, но все же не потеряли своего стиля и по ним легко восстановить картину прошлого. Целы огромные развалины театра и бесконечных оранжерей, а в каменной, наполовину осыпавшейся стене и сейчас видны маленькие бойницы для пищалей. В конце столетней липовой аллеи, идущей через весь парк от главного крыльца, помещаются развалины «павильона любви»… Недалеко от этих развалин находится полуразрушенная угловая башня, представляющая теперь наполовину осыпавшиеся стены без крыши, а вместо пола, на аршин ниже уровня земли – остатки прогнивших балок, опавшие листья да всякий мусор».
Именно под этой угловой правой башней парка и находилось подземелье, куда проваливались неугодные Баташеву люди. Чекина не сомневалась в существовании подземных ходов, о которых и по сей день ходит столько легенд в Гусе-Железном. Причем, по ее мнению, ходы были сделаны там, как в истинном феодальном замке – не только под землей, но и в стенах домов. Последняя владелица Баташева сама рассказывала Чекиной, что, увлекшись еще в молодости рассказами о тайниках баташевского дома, стала выстукивать стены комнат и велела разломать одну из них, где звук ей показался особенно подозрительным – в угловой комнате нижнего этажа направо от подъезда, выходившей на двор. За тонкой кирпичной оболочкой действительно оказалась крохотная комната – площадка с винтовой лестницей в верхний этаж, в бывший кабинет Андрея Родионовича. Около лестницы стоял маленький круглый стол на трех позолоченных львиных лапах, а на нем лежали особой формы шапка, гвоздь и молоток – первый владелец Гусь-Баташева, как мы помним, был не только разбойником и фальшивомонетчиком, но и масоном. Около столика была маленькая подъемная дверь, ведущая в подземную часть здания, и, по-видимому, тут помещалась самая святая святых владыки дома, ибо этот тайный ход вел куда-то прямо из его кабинета, а стало быть, никто уже не мог проникнуть туда, кроме его владельца. К сожалению, последняя владелица Баташева побоялась проникнуть в подземелье и велела снова заложить стену, захватив с собой только оригинальный столик и масонские реликвии, которые Чекина не раз видела на камине в ее кабинете.
Существование подземных ходов и обширных подземелий под усадебным парком подтверждает, по мнению старика-лесничего Квятковского, жившего еще в начале XX века в Баташеве, и ненормально малый рост старых деревьев «страшного сада». По мнению Квятковского, низкий рост и чахлость чуть ли не двухсотлетних деревьев объясняется тем, что под этим местом находятся подземелья, и слой почвы над их каменными сводами не достаточен для нормального питания корней. Это предположение подтверждается, кстати, и тем, что как раз в этом месте земля при ударе издает едва слышимый гулкий звук.
Под всем барским домом, по-видимому, действительно помещались двухэтажные подвалы – больше, чем на 6 аршин глубиной каждый, соединенные широкой каменной лестницей, – та самая «подземная часть», о которой с восторгом в начале века говорили археологи. Нижний из подвалов считался «страшным местом», где, по рассказам, иногда появлялись призраки, и никто из прислуги даже днем не решался туда спуститься. Это отчасти объясняет скудость информации о «подземном царстве» Андрея Баташева.