Хотя монастырь был прибежищем отрекшихся от мира аскетов, ищущих Бога и мало заинтересованных в политических и экономических делах страны, в мусульманский период он часто сталкивался с тягостными бедами, равно как и другие многочисленные центры индуистской и буддистской культуры. Его широко распространенные известность и влияние могли быть одной из причин привлечения особого внимания врагов. Однажды, в правление Аллауддина, монастырь был разрушен, а аскеты вытеснены и выдворены. Конечно, Горакхнатха невозможно было «выдворить» из сердец людей. Монастырь был восстановлен, аскеты возвратились, и положение главного центра йогической культуры в этой области было восстановлено. Множество мастеров йоги, достигших глубочайшей духовной реализации и необыкновенных йогических способностей возродили этот центр, их духовное влияние чувствовалось во всех частях страны. Монастырь вновь привлек внимание злодеев, и снова был полностью уничтожен в царствование Аурангзеба. Но по-видимому, благословения Шивы-Горакши наделили благое учреждение бессмертием, ибо оно переживало все удары и процветало. Впоследствие монастырь получил богатую земельную собственность в дар от мусульманского правителя Авадха.
Нышешний главный храм монастыря, конечно, не может похвалиться своей древностью. Весьма вероятно, что на протяжении веков храм восстанавливался снова и снова. Но люди верят, что священное место, где жил Горакхнатх, никогда не оставалось заброшенным, и храм каждый раз востанавливался на том же самом священном месте. Этот святой храм наделен замечательной особенностью, которая заслуживает особого внимания. В центре храма находится просторный алтарь, который представляет священное местоположение (