По поводу названия и времени основания единого мнения не существует. Согласно давней традиции, первое основание монастыря приписывается императору Каракалле (211–217), от кого он и получил свое имя. Впрочем, многие историки оспаривают этот вывод и настаивают на том, что римский император построил лишь приморскую башню монастыря; она видна издалека и служит хорошим ориентиром на местности, а кроме того, подчеркивает присущий монастырю фортификационный характер.
Необоснованно и толкование названия от турецкого «кара-куле», то есть «черная башня», поскольку монастырь с таким именем существовал на полуострове еще до появления в этих краях турок. Выдвигается и нейтральная версия – от имени монаха Каракалас, который основал здесь небольшой монастырь в XI веке; подобные имена были широко распространены в византийское время.
За свою историю до падения Константинополя монастырь неоднократно подвергался разного рода испытаниям. В XIII веке он почти полностью опустел после разрушительных набегов пиратов и крестоносцев, но вскоре ожил с помощью византийских императоров из династии Палеологов. В XVI веке вновь разрушен пиратами, но восстановлен усилиями господаря Влахии Петра, которому удалось выкупить у турок его подворье, и остаток своей жизни он сам провел здесь монахом.
Любопытно, как этот воевода Молдавии занимался строительными работами. По преданию, для наблюдения за восстановлением монастыря он послал своего офицера. Однако тот растратил деньги, и их хватило только на то, чтобы построить башню и небольшой монастырь рядом с ней. Когда вождь Молдавии узнал об этом, он приговорил своего офицера к смерти, обязав до этого завершить строительство главного монастыря. Тот выполнил это повеление и остался здесь же монахом, пригласив и своего вождя монашествовать. Оба они приняли имя Пахомий. То, что у монахов не должно быть своих имен, говорит о многом. Свою личность, авторство не выпячивают; о сделанной работе, о монастырском имуществе говорят «не мое», а «наше». Какая-то коллективная безответственность, как при первобытном коммунизме – так, вероятно, складывалось на заре человеческого общежития, индивидуальная ответственность за сделанную работу, поступок, действие пришла позже.
Не остался в стороне монастырь и во времена национально-освободительной войны греческого народа против турок. Этому важному периоду сопутствует примечательная деталь: настоятель монастыря Дамаски подарил в 1854 году предводителю восставших Каратососу прекрасную лошадь, за что и утратил свой чин владыки и даже был удален из монастыря; считалось, что монастыри не вправе вмешиваться в мирскую жизни. Освободительная война на Балканах и неспокойная жизнь в самой России приводили к тому, что появлялось все больше русских насельников, желавших, как пишется в некоторых, возможно, излишне тенденциозных путеводителях, захватить монастырь. Русские прибывали первоначально в кельи и каливы, которые они пытались превратить в общежительные скиты и уже через них проникнуть в монастырь; однако своей цели им добиться так и не удалось.
Собор возведен в XVI веке и посвящен святым апостолам Петру и Павлу, а расписан фресками два столетия спустя. В резном деревянном послевизантийском иконостасе хранится замечательная переносная икона двенадцати апостолов работы знаменитого афонского живописца Дионисия из Фурны.