Репортаж с ничейной земли. Рассказы об информации

Но теперь представим себе такую картину: был ящик с пятью черными и пятью белыми шарами, и каждый шар нес наблюдателю 1 бит. А потом мы незаметно для наблюдателя заменили шары. Теперь в ящике 9 черных шаров и 1 белый, но наблюдатель не знает о том, что их количество стало иным. Для него неопределенность осталась той же: он считает, что с равной вероятностью он может извлечь и черный и белый шары. Значит, до тех пор, пока он не знает, какова вероятность этих событий, он будет по-прежнему считать, что каждый шар дает ему 1 бит. Но он упрям, этот наш наблюдатель: недаром же так трудно избавиться от его присутствия. Он продолжает тащить шары из ящика и записывает, какой попадается шар. И когда после 100 опытов черный шар попался ему 83 раза, он начинает догадываться, что мы его обманули и количество шаров в ящике стало теперь иным. А сделав 1000 таких опытов, он может, не заглядывая в ящик, сказать, что в нем находится около 90 процентов черных шаров. Вот с этого момента он будет знать, что в чередовании шаров есть определенный порядок, и. продолжая опыт, будет получать информацию 0,47 бита.

Значит, информация зависит здесь не только от того, как чередуются события, которые он наблюдает, но и от того, что он знает о характере этих событий.

Вы улавливаете, где возникает «двойственность» информации?

- Пытаюсь. Будем говорить так: существует объективная неопределенность движения, например в опыте с шарами есть неопределенность чередования черных и белых шаров. А в тексте есть неопределенность появления буквы: буквы сто... могут оказаться и столом и стоном, потому что после сочетания сто... может появиться много различных букв. Все это не зависит от наблюдателя, эти явления объективны. Но, кроме того, существует и другая неопределенность - неопределенность его представлений.

Я правильно уловил вашу мысль?

- Да, да, совершенно верно. Продолжайте.

- Но в тексте есть и порядок. Мы можем оценить его вероятностью. Если мы обозначим P_авероятность появления буквы а, то можем сказать, что P_а много больше, чем P_ю или P_щ. И еще есть корреляция: после букв ею буква щ появится чаще, чем а. Если подсчитать информацию с учетом всего существующего в тексте порядка, то окажется, что каждая буква несет информацию немного большую, чем 1 бит. А если считать, что каждая из 32 букв алфавита имеет равную вероятность, получим, что в каждой букве содержится ровно 5 бит. Так сколько же информации несет в себе каждая буква - 1 или 5 бит? Все зависит от того, кто прочтет эту букву. Если наш наблюдатель изучил вербятность и корре- 235 ляцию букв русского текста, он получает от буквы всего 1 бит. А теперь представьте себе, что он иностранец, впервые встретивший русский текст. Он не знает алфавита, он даже не может отличить гласную от согласной. Он знает лишь, что в алфавите есть 32 различные буквы. Телеграф сообщает ему эти буквы, и он старательно записывает непонятный текст. Несмотря на то, что в движении букв существует порядок, для него каждая буква содержит ровно 5 бит. Кажется, так обстоит дело?

- Да, да, - кивает профессор. - Все, о чем вы сейчас говорили, можно свести к одной простой формуле. Вот она: I = ς₀ + ς_n.

I - это количество информации;

ς₀ - это объективная неопределенность движения;

ς_n - неопределенность представлений того, кто это движение наблюдает.

Теперь смотрите, как просто обстоит дело. Пока наблюдатель считает, что все буквы имеют равную вероятность, неопределенность ς_n велика. В этом случае I составляет 5 бит. Но вот наблюдатель стал изучать, как чередуются букву, и неопределенность его представлений начала уменьшаться. Он учел вероятность от P_а до P_я, подставил их в формулу Шеннона и получил, что I = 4 бита.

Это все то же свойство формулы I = ∑ P_ilog P_i: появились разные вероятности, уменьшилось I.

Потом он уловил, что буквы связаны между собою, и стал учитывать вероятность появления каждой буквы с учетом трех предыдущих букв. Неопределенность его представлений (ς_n) стала еще меньше, и потому величина I уменьшилась до 3 бит.

Теперь предположим, что он изучил все возможные сочетания, учел корреляцию всех слов и букв.

Он знает теперь все законы, которым подчиняются буквы текста, - неопределенность его представлений стала равна нулю. А буквы все следуют друг за другом, на телеграфной ленте появляется все новый и новый текст. Несет ли он новую информацию? Безусловно. Прочитав этот текст, наблюдатель узнает много всяческих новостей. Почему? Потому что в тексте есть объективная неопределенность движения. Если бы ее не было, текст не нес бы нашему наблюдателю никаких новых сведений: ведь он заранее мог бы предвидеть появление всех букв и слов.

Но есть объективная неопределенность, и та информация, которую получает наш наблюдатель, зависит теперь от нее: I = ς₀, потому что ς_n стало равно нулю.