Фрактальная геометрия природы

Почему вышеописанному закону присуща такая универсальность? Учитывая, что он почти идеально гиперболичен, и принимая во внимание все то, что мы уже успели узнать из настоящего эссе, в высшей степени разумным будет попробовать соотнести закон Ципфа с неким лежащим в его основе скейлинговым свойством. (В 1950 г., когда я впервые столкнулся с этой задачей, такая процедура вовсе не казалась столь очевидной.) Как можно заключить из обозначения, показатель здесь играет свою обычную роль – роль размерности. Вторым параметром является префактор F (см. главу 34).

ЛЕКСИКОГРАФИЧЕСКИЕ ДЕРЕВЬЯ

В данном случае и впрямь имеется «объект», который можно подвергать преобразованию подобия: назовем этот объект лексикографическим деревом. Прежде всего, определим его и опишем, что в данном контексте имеется в виду под преобразованием подобия. Затем докажем, что в случае масштабной инвариантности лексикографического дерева частотность слов следует приведенному выше двухпараметрическому закону. Далее мы обсудим справедливость объяснения и особо остановимся на интерпретации показателя D как размерности.

Деревья. Лексикографическое дерево имеет N+1 стволов, пронумерованных от 0 до N. Первый ствол соответствует «слову», состоящему из одной только «неправильной» буквы – «пробела»; каждый из остальных стволов соответствует одной из N «правильных» букв. Ствол «пробела» гол, а каждый из остальных стволов несет на себе N+1 главных ветвей, которые соответствуют пробелу и N правильным буквам. В следующем поколении ветвь пробела остается голой, а остальные ветви разветвляются, как и прежде, на N+1 меньших ветвей. То есть пустой конец каждой ветви пробела соответствует слову, состоящему из правильных букв, за которым следует пробел. Построение продолжается до бесконечности. На конце каждой пустой ветви вырезана вероятность употребления соответствующего слова. На конце же непустой ветви вырезана полная вероятность употребления слов, которые начинаются с последовательности букв, определяющей данную ветвь.

Масштабно-инвариантные деревья. Дерево можно назвать масштабно-инвариантным, если каждая взятая в отдельности ветвь представляет собой в некотором роде уменьшенную копию всего дерева. Усечение такого дерева означает, почти буквально, отсечение от него какой-либо ветви. Отсюда выводим наше первое заключение – ветвление масштабно-инвариантного дерева не должно иметь каких-либо пределов. В частности, неразумно – хотя на неподготовленный взгляд это совсем не очевидно – пытаться измерить богатство словарного запаса исчислением общего количества различных слов. (Почти каждый из нас «знает» настолько больше слов, чем употребляет в речи, что словарный запас среднего человека практически бесконечен.) Далее можно определить (соответствующее рассуждение мы опустим) вид, какой принимает вероятность P пустой ветви k - го уровня, т.е. растущая над k «живыми» ветвями.

Получение обобщенного закона Ципфа в простейшем случае. [323, 350, 358]. Простейшее масштабно-инвариантное дерево соответствует повествованию, которое представляет собой последовательность статистически независимых букв, причем вероятность употребления каждой правильной буквы составляет r<1/N, а вероятность употребления неправильной буквы «пробела» равна остатку (1−Nr). В этом случае k - й уровень обладает следующими свойствами:

P=(1−Nr)r^k=P₀r^k,

а величина ρ заключена между границей

1+N+N²+...+N^k−1=(N^k−1)(N−1)

(исключая саму границу) и границей

(N^k+1−1)/(N−1)

(включая границу). Записав

D=lnN/ln(1/r)<1 и V=1/(N−1)

и подставив в каждое граничное выражение

k=ln(P/P₀)/lnr,

получим

P^−DP₀^D−1<ρ/V≤N(P^−DP₀^D)−1.

Искомый результат находим, аппроксимируя ρ с помощью среднего значения его границ.

Обобщение. Можно построить и более сложные масштабно-инвариантные деревья, соответствующие последовательностям букв, порождаемым стационарными случайными процессами (марковскими цепями, например) и разделенными впоследствии пробелами на слова. Рассуждение становится более сложным [326], однако результат остается неизменным.

Обратное утверждение. Следует ли из данных Ципфа, что лексикографическое дерево, построенное из обычных букв, является масштабно-инвариантным? Разумеется, нет: многие короткие последовательности никогда не встречаются в языке, в то же время многие длинные последовательности употребляются довольно широко. Следовательно, реальные лексикографические деревья далеки от строгой масштабной инвариантности, однако вышеприведенное рассуждение, по сути, достаточно хорошо объясняет, почему выполняется обобщенный закон Ципфа. Можно также упомянуть и о том, что закон Ципфа первоначально рассматривался как весьма многообещающий вклад в лингвистику – впрочем, как показывает мое объяснение, с лингвистической точки зрения закон этот очень поверхностен.