Шеннон ввел понятие информационной энтропии
. Энтропия H по Шеннону — это мера неопределенности, непредсказуемости, неожиданности, случайности некоторого сообщения (события, явления). При отсутствии информационных потерь энтропия Шеннона равна количеству информации на символ сообщения. Количество информации определяется неожиданностью появления того или иного сообщения. Применительно к культуре таким сообщением является (контр)факт.«Согласно этому способу измерения информации, она не присуща самому полученному сообщению; скорее, это функция его отношения к чему-то отсутствующему — огромному множеству других возможных сообщений, которые могли быть отправлены, но не были отправлены. Без ссылки на этот отсутствующий фон возможных альтернатив невозможно измерить объем потенциальной информации сообщения. Другими словами, фон невыбранных сигналов является решающим фактором, определяющим то, что делает принятые сигналы способными передавать информацию. Нет альтернатив = нет неопределенности = нет информации. Таким образом, Шеннон измерял полученную информацию с точки зрения неопределенности, которую она устраняла по отношению к тому, что могло быть отправлено» (Deacon 2013, p. 379).
Таким образом, среднее количество информации H
, содержащееся в смыслах, определяется количеством всех имеющихся в культуре (контр)фактов и вероятностью их появления. Энтропия Шэннона H — это показатель сложности общества-культуры в целом. Если мы взглянем на историю человеческих обществ-культур, то мы увидим, что их сложность последовательно росла: от скудного набора первобытных смыслов (простейшие каменные орудия, родоплеменная община, элементарный язык, причинные мини-модели, анимизм и фетишизм) к сложному арсеналу смыслов, характерных для аграрных обществ (домашний скот и сельскохозяйственный инвентарь, полисы и империи, письменность и литература, античная и арабская наука, мировые религии).В ходе культурной эволюции росла как сложность общества-культуры в целом, так и сложность отдельных смыслов. Как мы уже сказали, сложность отдельно взятого смысла определяется количеством фигур, минимально необходимых для воспроизводства этого смысла. Предположим, что у нас есть смысл s
, который можно представить как строку из некоторого количества фигур. Длина этой строки — L(s). В таком случае сложность смысла s определяется длиной самой короткой программы s*, которая может описать этот смысл. Длину программы s* называют алгоритмической энтропией K(s), или сложностью по Колмогорову:«Центральным понятием алгоритмической теории информации является понятие энтропии индивидуального объекта, называемое сложностью объекта (по Колмогорову). Интуитивно под этим понимается минимальное количество информации, необходимое для восстановления данного объекта» (Виноградов и др. 1977–1985, т. 1, с. 220).
Мы будем называть программу s* минимальным, или наименьшим действием
, необходимым для воспроизводства смысла s. Смыслы могут иметь различную сложность в зависимости от величины минимального действия, необходимого для их воспроизводства. Например, строку asdfghjkl можно описать лишь ею самой. Длина этой строки — 9 неповторяющихся фигур. Однако если строка s имеет шаблон — пусть даже неочевидный — то такую строку можно описать минимальным действием s*, намного более коротким, чем сама s. Например, строку afjkafjkafjkafjk можно описать намного более короткой строкой afjk, повторенной необходимое число раз.«Различие между простотой и сложностью вызывает значительные философские трудности в применении к утверждениям. Но, похоже, существует довольно простой и адекватный способ измерения степени сложности различных видов абстрактных шаблонов. Минимальное количество элементов, из которых должен состоять экземпляр шаблона, чтобы продемонстрировать все характерные атрибуты рассматриваемого класса шаблонов, по-видимому, обеспечивает однозначный критерий» (Hayek 1967, p. 25).
Сложность отдельного смысла определяется величиной минимального действия, необходимого для воспроизводства этого смысла. Человек как продукт культуры также является смыслом. Возрастание культурного опыта, который необходимо передать, означает возрастание сложности человека. С каждым поколением возрастает минимальное действие
, необходимое для воспроизводства человека как культурного существа, возрастает сложность обучения.Сложность минимального действия сходится к энтропии его источника, то есть минимального субъекта
. Как мы видели выше, сложность общества-культуры определяется количеством альтернативных смыслов (контрфактов), которые оно может генерировать. Вместе с тем, сложность общества-культуры определяется величиной минимального действия, необходимого для его воспроизводства. Энтропия общества-культуры как источника сообщений, или (контр)фактов, приблизительно равна средней сложности всех возможных сообщений от этого источника: