Информация как основа жизни

Заметим, однако, что в работах самого К. Шеннона речь идет не об информационной емкости, а о количестве информации. Справедливо полагая, что количество информации, связанной с каким-либо сообщением, не должно зависеть от его семантики, К. Шеннон формулировал вопрос так: сколько информации получает адресат, воспринимая каждую из букв сообщения? Количество такой информации он и предложил выражать через величину Н и постулировал аддитивность этой величины по отношению к любому числу символов, составляющих сообщение. При этом непроизвольно произошла подмена терминов: понятие об информации, как о содержательной стороне сообщения, было подменено понятием о количестве информации, представляющем собой функцию статистических характеристик составляющих сообщение символов. Эта подмена терминов не имела никаких последствий для развития математической теории связи и даже оказалась для нее благотворной: ведь по каналам связи передают не информацию, а ее носителей, и для оптимизации работы систем связи безразлично, какую именно информацию эти носители содержат и содержат ли они ее вообще. Однако для теории информации эти различия весьма существенны, и вот почему.

Рассмотрим два сообщения: Каин убил Авеля и инилА ваКу лебя. Оба они состоят из одинаковых 15 знаков, но первое – вполне осмысленно, т. е. содержит информацию, а второе представляет собой случайную последовательность букв и никакой информации не содержит. Согласно формуле (8), однако, с ними обоими связано одно и то же количество информации –около 45 битов. Если принять это утверждение за истинное, то отсюда следует, что информация может быть лишена семантики, что на самом деле нонсенс, ибо бессмысленной информации не бывает. Но возможен другой выход из этого противоречия: считать, что формула (8) является мерой не количества информации, а емкости информационной тары. Первая фраза – это тара, полностью загруженная информацией, а вторая фраза это совершенно пустая тара. Очевидно, что емкость тары не зависит от того, загружена она или нет, полностью загружена или частично, а также от того, чем именно она загружена. Если тара заполнена, то ее емкость может служить мерой количества содержащегося в ней груза. Эти простые соображения позволяют сделать три вывода. Во-первых, если H-функцию считать емкостью информационной тары, то ее в равной мере можно прилагать и к осмысленным, и к бессмысленным наборам символов, которые могут служить носителями информации. Во-вторых, одни и те же единицы измерения, биты, можно применять для оценки и емкости тары, и количества информации, которая в ней может содержаться. В-третьих, при измерении в битах количество информации В, содержащейся в сообщении, заключено в интервал 0=В=Н, где Н – емкость составляющих сообщение носителей информации. Н сообщения, таким образом, – это верхняя граница того количества информации, которое может в нем содержаться, причем В = Н только при абсолютно компактном тексте.

К этим же выводам можно прийти и другим путем, рассматривая смысловое содержание понятия избыточности, или условную вероятность встречаемости i- ro символа после 1-го, 2-го и т. д., а также после разных сочетаний двух, трех и т. д. символов [11]. При таком подходе легко показать, что величина Н имеет максимальное значение только при совершенно случайном расположении символов в сообщении, а при возрастании его осмысленности величины pi независимо от i, стремятся к единице, а Я стремится к нулю. В нашей интерпретации это выглядит вполне естественным: по мере заполнения тары информацией свободного места в ней остается все меньше. Если перед правыми частями формул (6)-(8) не ставить знак минус, как это делал Н. Винер [5], то величина Н будет меньше или равной нулю и будет обозначать количество недостающей в таре информации до ее полного заполнения. Естественно, что эта величина имеет минимальное значение лишь при совершенно случайном расположении составляющих сообщение букв.