Это преступное нападение на того, кто в определённой степени прославил Нюрнберг, вызвало взрыв негодования среди высших должностных лиц города и особенно бургомистра. Юношу переправили в более надёжное место и дали ему в охрану двух полицейских. Позже, в июне 1830 года, его снова переселили, отдав под опекунство господина фон Тачера.
Через восемь месяцев после этого британец лорд Стэнхоуп, которому пришлось по душе дитя Нюрнберга, обратился к городским властям за разрешением взять его к себе. Переговоры затянулись на месяцы, и всё-таки Стэнхоуп, добившись оформления документа о передаче Каспара в его руки, отправил юношу в декабре 1831 года в Ансбах на попечение своего друга доктора Манера. Этот новый опекун пришёл к заключению, что блестящие умственные способности Каспара не что иное, как фикция, а в действительности у него ум восьмилетнего ребёнка. Он доложил об этом Стэнхоупу, который тут же утратил к этому делу всякий интерес и оставил Каспара в Ансбахе, больше не предпринимая никаких усилий, чтобы взять его в Англию.
Жители Ансбаха с восторгом и любопытством смотрели на Каспара, как будто они видели перед собою слона, украденного из соседнего цирка. Но этого слона не осчастливили меньшие по количеству толпы народа и уж совсем малое число сладких булочек. Каспар был слишком избалован большим вниманием к его персоне, и ему хотелось, чтобы так всё и оставалось. Он мечтал вернуться в Нюрнберг. Шло время, и он становился всё более удручённым. Он совершил краткосрочную поездку в Нюрнберг, и это ещё больше усилило его желание вернуться туда насовсем.
В полдень 14 декабря 1833 года Каспар Хаузер, шатаясь, вошёл в дом своего друга — священника в Ансбахе. Держа руку плотно прижатой к боку, он из последних сил произнёс несколько неясных слов о том, что какой-то мужчина нанёс ему удар острым предметом в городском саду. Его доставили домой, где доктор обнаружил, что у него серьёзная рана в области левой части грудной клетки.
На следующий день Каспар смог дать более подробное объяснение этому происшествию. По его словам, он был приглашён в городской сад незнакомым человеком, предложившим открыть Каспару тайну его родителей, взяв взамен клятву молчания. Получив клятву, мужчина вручил ему маленький кошелёк, нанёс удар острым предметом и убежал. С целью нахождения кошелька были проведены поиски. Наконец, его обнаружили. В нём находилось бессмысленное послание, подписанное буквами «М.Л.О.» Нападавшего найти не смогли.
Рана дала осложнения, и 17 декабря Каспар Хаузер умер. Ансбах и Нюрнберг были ошеломлены этим известием. Слухи о происшествии распространились по всей Германии и докатились до её границ. Разгорелись бурные споры. Среди людей циркулировали самые различные слухи. Закоренелые скептики клялись, что Каспар совершил крупнейший обман века. Истинные его почитатели утверждали, что он стал несчастной жертвой скандала в самых высоких кругах. А некоторые с большой уверенностью, но безо всяких доказательств, заявляли, что он был наследником баварского престола.
Люди, поддерживавшие теорию обмана, заявляли, что никаких нападений на Каспара Хаузера не было, что все эти случаи были вымышлены, а раны он себе нанёс сам. Напротив, некоторые доктора отрицали, что он мог сам нанести себе такие тяжёлые ранения. Мешок золота был предложен тому, кто сообщит информацию, способствующую задержанию убийцы. Однако ни один человек не сообщил по этому делу ничего существенного.
Каспар Хаузер был похоронен, а вместе с ним была погребена и его тайна. На могиле стоит камень с надписью:
Трудно расследовать это дело, потому что все свидетельства, непосредственно относящиеся к юноше, расходятся в деталях. В некоторых говорится, что Каспар видел всё в одной плоскости и не имел понятия о трёхмерном измерении. В других сообщениях совсем не упоминается об этом. Большинство авторов, написавших о юноше, соглашаются с тем, что ходил он с трудом, медленно передвигая ноги. Но герцогиня Кливлендская в своём рассказе «Каспар Хаузер» утверждает, что он прекрасно ходил, имея нормальную походку с момента его обнаружения. В нескольких версиях говорится, что когда Каспара нашли в Нюрнберге, его речь была беглой, но вскоре она превратилась в бессвязное бормотанье. Многие утверждали, что он мог не только бормотать, но знал три или четыре немецких слова и произносил их с иностранным акцентом.
Те нюрнбержцы, которые склонялись к тому, что Каспар был совершенным идиотом, полагали, что он был нежеланным ребёнком в семье крестьян. Эта версия получила распространение из-за бедной одежды, в которой он был найден, и из-за писем, в одном из которых рассказывается о десяти детях. Есть и другая теория, согласно которой одежда на нём не была его собственной — её специально надели на Каспара, письма же были выдуманы кем-то неизвестным и являлись частью большого обмана.
Господин фон Фейербах заметил, что у Каспара были маленькие, мягкие, аристократические руки, но во всей его внешности было что-то крестьянское. Полисмен Вюрст сообщил: