Полный разрыв с иудаизмом, который приводил к своего рода новому «священнотворчеству», с одной стороны, и необходимость сохранения традиции — с другой, создавали сложные проблемы для теологов и смущали умы рядовых верующих.
Процесс превращения христианства в «мировую» религию шел в обстановке ожесточенной борьбы между общинами и внутри отдельных общин. И тем не менее оно продолжало привлекать к себе людей, разочаровавшихся в античной системе духовных ценностей, оно обещало спасение каждому человеку (в царстве небесном, согласно представлениям большинства христиан, или, согласно гностикам, в мистическом соединении с абсолютным духом); одной из важных притягательных сторон христианства было ощущение общности с единоверцами. Однако бесконечные споры и взаимные обвинения грозили разрушить именно это ощущение включенности каждого христианина в единое целое.
Потребность в единстве, с одной стороны, и распространение христианства — с другой, порождали среди верующих убежденность, что если отдельный христианин может быть слаб и нетверд в вере, если в отдельных общинах могут быть раздоры и непорядки, то объединение христиан в целом обладает «духом святым» и божией благодатью. Происходит абстрагирование понятия экклесии. Экклесия — уже не просто конкретная община христиан данного города, как это было во времена создания Откровения Иоанна, а всеобщая церковь, мистически связанная с божеством (впервые выражение «всеобщая» — «католическая» церковь было употреблено в письмах Игнатия Антиохийского). Восприятие церкви как некоего абстрактного понятия, отличного от составляющих ее людей, встречается уже в некоторых новозаветных произведениях, в частности в наиболее позднем из всех Павловых посланий — Послании к ефесянам. Там сказано, что Христос «возлюбил церковь и предал себя за нее, чтобы освятить ее, очистив банею водною посредством слова; чтобы представить ее себе славною церковью, не имеющею пятна, или порока, или чего-либо подобного…» (5:25-27). Итак, в этом послании Иисус терпит страдания не за людей, а за церковь, которая свята и непорочна. Еще более ясно прослеживается такое восприятие церкви в сочинениях середины II в. (и позже). В уже упоминавшемся выше произведении «Пастырь» Гермы, написанном в жанре откровения, рассказывается о видениях, во время которых Герме является церковь, сотворенная «прежде всего и для нее сотворен мир». Сначала церковь выглядит как старая женщина, но затем она молодеет, радуясь рвению верующих. Это видение трактуется как вечное существование церкви, проявляющееся в деятельности верующих. Итак, церковь проявляется в верующих, но не идентична им, она существует от века. Такое представление в «Пастыре» Гермы тем более интересно, что идеология этого произведения в целом отражает демократические течения в христианстве II в. Герма, как уже говорилось, осуждает богатых, у него нет преклонения перед церковным руководством; в его представлении об объединении всех христиан нет места епископату как высшей церковной власти. Но отрыв представления о церкви от конкретных людей и в известной мере противопоставление ее этим людям были тем идеологическим условием, благодаря которому сложилась власть клира — аппарата руководства христианскими общинами, отождествившего себя с новым понятием церкви. В конце II в. Ириней, полемизируя с гностиками, писал, что достичь истинного знания можно только через церковь.
Следующим шагом в развитии мистического понятия церкви была идея ее непогрешимости: ошибаться могут отдельные христиане, церковь ошибаться не может. Эту идею выдвинул Тертуллиан, который обосновывал ее тем, что церковь получила святой дух от самого Христа через апостолов, основавших христианские общины. Именно на рубеже II-III вв. начинают усиленно распространяться легенды об основании каждой крупной христианской общины непосредственно каким-либо учеником Иисуса; начинают создаваться списки руководителей этих общин, восходящие к апостолам (первые имена в таких списках, как правило, легендарны). Ириней, епископ Лионский, в своей книге «Против ересей» говорит об основании христианской общины Рима Петром и Павлом. Так стала создаваться новая — церковная — традиция, отличная от древней традиции первых христианских проповедников.