Если первое упоминание о Мологе в летописи относится к 1149 году, то о возникновении Мологского монастыря в честь святителей Афанасия (373 год) и Кирилла (444 год), патриархов Александрийских, никаких сведений не сохранилось. Когда он основан и кем? Исстари монастырь именовался Холопьим. Одно из преданий гласит, будто бы здесь когда-то были заключены жены новгородцев, которые во время продолжительного отсутствия своих мужей в военных походах вышли замуж за их холопей; что будто бы в селе Станове (восемь верст от монастыря) находился стан холопей, где они, бежавши из Новгорода, укрепились для защиты от господ своих, вернувшихся с войны, а в селе Боронишино оборонялись от них. Новгородцы, победив холопей бичами, построили монастырь и заключили в нем своих неверных жен. Это предание передает Карамзин в «Истории Государства Российского», но добавляет, что «в летописях Новгородских нет о сем ни слова», а сама история «взята из древней греческой сказки о рабах скифских».
Другое предание достоверней — здесь с XIV века находилось складочное место для товаров во время ярмарки, бывшей в Холопьем городке при устье Молоти. На тесную связь торга и монастыря указывает сохранившееся до XVI века его полное название Афанасьевский Троицкий Холопий Углицкий монастырь. Вероятнее всего, сам монастырь был построен на богатые пожертвования с торга и не бедствовал до самого конца XVII века. «Торговое» его происхождение подтверждается и тремя обширными ямами, которые открыты здесь около 1798 года (одна — в монастыре, две — близ него) и в которых будто бы складывались и хранились азиатские и европейские товары. Сухой грунт земли (монастырь стоял на возвышенном месте) не препятствовал этому.
То, что Мологский Афанасьевский монастырь существовал в XIV веке, подтверждается и другим древним преданием, связанным с потомками ярославского князя Федора Черного. Незадолго до своей кончины в 1299 году князь Феодор Ростиславович благословил старшего сына Давида на княжение святой иконой Тихвинской Божией Матери. Князь Давид Федорович передал эту икону в 1321 году младшему своему сыну Михаилу вместе с уделом на Мологе. Михаил Давидович, внук Федора Черного, стал первым мологским князем, успешно союзничал с Москвой и даже сопровождал великого князя Дмитрия Иоанновича (впоследствии Донского) в поездке в Орду к хану Амурату в 1362 году. От князя Михаила Тихвинская икона перешла к его сыну Федору. Федор Михайлович участвовал во многих походах в составе московских войск. В 1380 году на Куликовом поле мологская дружина билась на левом фланге под знаменами Дмитрия Донского. Семейную реликвию — икону Тихвинской Божией Матери — князь Федор Михайлович пожертвовал около 1370 года (в иных источниках называется 1377 год) в древний Афанасьевский монастырь, а позднее и сам принял здесь постриг с именем Феодорита и был погребен в Мологской соборной церкви в 1408 году. Икона Тихвинской Божией Матери служила с того времени покровом и питательницей обители, а с 1770 года прославилась как чудотворная.