Иллюзия пользователя

Будучи макросостоянием, бинарная цифра соответствует только двум равновероятным микросостояниям. Когда мы получаем бинарный символ, наше неожиданное значение ограничено: или/или. Но ведь именно эта степень неожиданности, когда мы различаем две одинаково равные возможности, была открыта Сциллардом и в дальнейшем именовалась «один бит»: информация, которая выражается ответом на вопрос «да/нет», то есть разницей между двумя возможностями. Когда мы получаем бит, мы получаем кусочек информации, который соответствует разнице между двумя микросостояниями. Таким образом, прежде чем неожиданность станет существенной величиной, нам придется получить хотя бы несколько бит.

В символе, который известен как часть алфавита, содержится несколько большее количество информации. Здесь прибытие определенной буквы исключает не только одну-единственную другую возможность, а целых 25. Таким образом, когда мы получаем одну букву, мы получаем определенное количество бит — а точнее, 4 или 5.

На практике, конечно, все несколько сложнее. Язык отличается избыточностью — в нем есть лишние символы. Нам не нужно знать все буквы, чтобы мы могли угадать слово в «Колесе фортуны». Таким образом, на практике буквы обладают в среднем меньшей информативностью, чем пять бит. В датском содержание информации на одну букву составляет около 2 бит, а в более систематизированном языке, таком, как немецкий, значение одной буквы уменьшается до 1,3 бит. Более того, буквы используются неодинаково, следовательно, получив «А», мы получим не так много информации, как получив «Z». В среднем каждое микросостояние (буква) обладает вероятностью, которая пропорциональна числу различных микросостояний. Но вероятность каждой буквы пропорциональна и ее частоте использования, которая также связана с числом различных микросостояний в целом. Как знают участники «Колеса фортуны», информационная ценность буквы обратно пропорциональна частоте ее использования. Чем реже встречается буква, тем больше информации содержит ее присутствие.

Вооруженный этим точным определением информации, которая может быть измерена как количество бит, Шеннон смог получить несколько очень полезных уравнений, с помощью которых можно управлять телефонными линиями и размерами кабелей. Его основное заключение было таким: всегда можно передать сообщение без ошибок, если имеется достаточная полоса пропускания.

Полоса пропускания выражает способность коммуникационного канала передавать информацию, определяемую в количестве бит в секунду. Телефон, к примеру, может передавать 4000 бит в секунду, тогда как телевидение передает 4 миллиона — в тысячу раз больше. Хороший радиоприемник находится примерно посередине с его 16000 бит в секунду.

Шеннон знал, что если полоса пропускания будет больше, чем информационное содержание единицы сообщения, это сообщение можно будет передать без потерь.

Это очень полезно знать, если вы зарабатываете себе на жизнь, продавая людям телефонные линии.

Но это не слишком соотносится с информацией в повседневном понимании. Как мы все знаем, можно вести очень продолжительный разговор и при этом не передавать почти никакой информации — или написать огромное количество слов, которые не будут нести в себе никакого определенного значения.

Термин «информация» не слишком волновал Шеннона. На самом деле он вообще не слишком любил это слово и подчеркивал, что разработанная им теория — это теория коммуникации, теория о передаче информации, а не о значении информации. Данный объем информации может содержать глубокие откровения — или просто откровенный вздор. Это не играет роли — телефонный счет будет одинаковым и в том, и в другом случае.

Но это не делает аналитическую работу Шеннона откровенным вздором. То, что Шеннон называл «информацией», столь же реально, как и то, что Клаузиус называл энтропией. Телефонный звонок имеет свою цену. Чтобы ваша теща могла пощебетать, необходимо передать сигнал. Но все это может и не иметь ничего общего с содержанием информации.

Информация — это мера всего, что она могла бы сказать, а не того, ЧТО она сказала.

Информационное содержание в коммуникации — это выражение объема, который мог бы быть передан — а не того, который был передан на самом деле. Точно так же и энтропия при определенной температуре — это выражение того, сколькими разными способами могут расположиться молекулы, не приводя ни к каким изменениям, информация — это выражение того, сколькими способами могут расположиться буквы, чтобы не потребовался еще один кабель.

Термодинамика имеет дело с макросостояниями, которые интересуют людей: тепло. Теория информации имеет дело с макросостояниями, которые интересуют телефонные компании: символы.