Времена расцвета прерывались непрестанными разбирательствами по вопросам границ и земельных владений с соседним Ватопедским монастырем, а также несколькими пожарами. Местоположение у тихого морского залива делало монастырь легкой добычей пиратов. Постоянная угроза нападений морских разбойников привела к запустению монастыря, чем не преминули воспользоваться соседние собственники – сербы из Хиландара и болгары из Зографа; как говорится, люди Божии, а мысли неблаговидные и даже греховные. За этим следовали новые споры и выяснение отношений.
Немалую помощь оказывали монастырю русские государи. Так, царь Алексей Михайлович дал эсфигменским монахам разрешение странствовать раз в пять лет по России и собирать пожертвования. В это же время заботу о монастыре оказывают и господари Молдовлахии.
В период национально-освободительной войны Эсфигменов монастырь, особенно тесно связанный с происходившими событиями, сильно пострадал от турок, которые совершали опустошительные набеги на Афон. Так, фрески трапезной сильно почернели от огня, которые разводили внутри турецкие солдаты. Однако и после этого обитель возродилась и вновь переживала подъем.
Соборный храм монастыря, посвященный Вознесению Господнему, построен и расписан в 1806 году. Восстановил его национальный мученик Григорий V, патриарх Константинопольский. Величественный собор венчают покрытые свинцовой крышей 8 куполов, центральный из которых отличается бо́льшими размерами. Монастырь имеет 10 часовен на своей территории и вне ее. Среди них одна русская – Антония Печерского, основателя русского монашества, который аскетствовал в монастыре в XI веке. Монастырь владеет 3 кафизмами, 2 кельями в Карее, одна из которых является представительством.
Зелоты до сих пор не поминают в молитвах патриарха Варфоломея, хотя Афон традиционно является канонической территорией Вселенского Патриархата. В их кельях можно слышать категоричные обвинения: «Варфоломей – масон, он благословил в Греции деятельность лож. Он подобострастно общается с папой римским и, как экуменист, нарушил все мыслимые и немыслимые каноны. Не случайно предшественника Варфоломея убило молнией». Одним словом, тяжелые обвинения.