По вопросу о происхождении тератологического орнамента существуют разные мнения. Одни авторы (Ф.И. Буслаев
[52], В.Н. Щепкин [53]) высказывались о заимствовании тератологии от южных славян. Некоторые зарубежные исследователи (венские искусствоведы Иозеф Стржиговский, В. Борн), решая вопрос в духе идеи пангерманизма, утверждали, что Русь восприняла тератологический орнамент из Скандинавии и Северной Германии, что тератологический орнамент Руси был местной ветвью орнамента германо-скандинавского культурного центра. Другие историки искали корни тератологии на Востоке.Большинство исследователей (А.В. Арциховский, Б.А. Рыбаков, М.К. Каргер и др.), признавая взаимовлияние русской и южнославянской культур, считают развитие русской тератологической орнаментики самобытным явлением, связанным с древнерусским прикладным искусством, деревянной резьбой, предметами художественного ремесла (из металла, серебра), с местными художественными традициями и фольклорными мотивами
[54].Тератологический орнамент был известен во всех рукописных центрах Руси, но подлинного расцвета он достиг в XIV в. в Новгороде.
Переход к тератологии был постепенным. Уже в XII в. нарушается строгость старовизантийского стиля. Рядом с натуралистическими изображениями животных появляются фантастические звери, о которых нельзя сказать, кто это — птица, собака или лев. На смену растительным и геометрическим мотивам приходят тератологические комбинации животных форм и плетений из ремней и змеиных хвостов.
Заставка тератологического орнамента не имеет правильной геометрической формы. Она напоминает изображение ткани, по которой стелется плоскостной орнамент. Сверху заставку часто венчает цветочный узор — навершие, углы заставки оформлены византийской веткой. Узор заставки мог состоять из двух симметрично расположенных друг к другу живых существ — чудищ, запутавшихся в ремнях. Ремни исходили из клювов, пастей, крыльев, хвостов, ног чудищ, оплетали их туловища и переходили в средник — вертикальное плетение, спускающееся в заставку с навершия и разделяющее ее на левую и правую части.
Из таких же ремней, плетений, нередко завершающихся головами чудищ, образовывались инициалы. Для облегчения чтения инициалов, которые потеряли рельефность, живописцы стали давать цветной силуэт буквы. В XIII в. в тератологии появился мотив человеческой фигуры — тератологические человечки. В XIV в. они одеты в шапку конической формы. В XIV в. более интересными, чем заставки, стали инициалы, в которых появились целые жанровые сценки с использованием изображения людей. Так, буква М изображается в виде двух людей, тянущих сеть с рыбой. Букву сопровождает текст, написанный над фигурами людей и представляющий их перебранку: «Потяни, коровин сын! — Сам еси таков!» Буква Д изображалась в виде человека, играющего на гуслях. Над буквой имелась надпись: «Царь Давид играет на гуслях».
Основу цвета тератологического орнамента составляет киноварь — краска ртутного состава, огненного оттенка. Применялись также синяя, зеленая, желтая, серая краски и цвет чернил. Для передачи белого цвета использовался естественный цвет пергамена.
Золотая и серебряная краски в тератологии не применялись.
Тератологический орнамент имел свои местные особенности. Для новгородский тератологии был характерен серо-синий или голубой фон. Псковской тератологии были свойственны более крупные по величине, чем новгородские, инициалы, преимущественно зеленый колорит фона, использование желтого цвета в контурах рисунка. В рязанских рукописях в качестве фона инициалов использовался зеленый цвет.
Тератологический стиль был характерен не только для рукописей. Он существовал в художественном ремесле (например, колты, наручи — женские украшения), в архитектурной пластике (рельефы Дмитровского во Владимире, Георгиевского в Юрьеве-Польском, Борисоглебского и Благовещенского соборов в Чернигове).
В XV в. тератология угасает. В заставках исчезают изображения зверей, остаются только плетения. Так же как и устав, тератология медленнее уходит из пергаменных книг. В появившихся в XIV–XV вв. образцах бумажных книг сочетание тератологии и устава встречается реже, чем в пергаменных книгах. Дольше всего тератологический орнамент продержался в рязанских рукописях — до XVI в.
В конце XIV — начале XV в. получают распространение новые типы орнамента —
балканскийи нововизантийский.Подобная смена была одним из результатов второго южнославянского влияния, которым оказалась затронута русская культура в результате наплыва произведений южнославянской письменности в русские земли.В XV в. был распространен главным образом балканский (плетеный, или жгутовой) орнамент. В XVI в. он сохраняется на территории Юго-Западной Руси.