Игра разума. Как Клод Шеннон изобрел информационный век

И все же Шеннон в первую очередь осознавал, что наука об информации пока еще не могла точно определить самое существенное, а именно вероятностную природу информации. Когда Найквист и Хартли определили ее как выбор из набора символов, они исходили из допущения, что каждый такой выбор будет одинаково вероятным и независимым от всех символов, выбранных ранее. Да, действительно, подчеркивал Шеннон, какой-то выбор происходит именно так. Но не каждый. Мы можем начать с того, объяснял он позднее, что зададим вопрос, «каков будет самый простой источник или самая простая вещь, которую вы пытаетесь отправить»: «И здесь я бы бросил монету». Обычно монета имеет шансы 50 на 50 приземлиться орлом или решкой. Этот самый простой выбор – орел или решка, да или нет, 1 или 0 – самое базовое сообщение из всех существующих. Это тот тип сообщения, который согласуется с утверждениями Хартли. Он будет базовым параметром для истинной меры информации.

Варианты «бинит» и «биджит» были рассмотрены и отброшены, а победил в итоге вариант, предложенный Джоном Тьюки, профессором Принстонского университета, работавшим в «Лабораториях Белла». Бит.

Новые науки требуют новых единиц измерения – словно бы в доказательство того, что те понятия, о которых много говорили и ходили вокруг да около, наконец-то определили количественно. Новая единица измерения изобретенной Шенноном науки должна была символизировать эту базовую ситуацию выбора. Так как это был выбор из 0 или 1, то это была «двоичная единица». В один из тех редких случаев, когда Шеннону понадобилась помощь в работе над проектом, как-то во время обеденного перерыва он обратился к своим коллегам по «Лабораториям» с просьбой придумать короткое и звучное название этой единице измерения. Варианты «бинит» и «биджит» были рассмотрены и отброшены, а победил в итоге вариант, предложенный Джоном Тьюки, профессором Принстонского университета, работавшим в «Лабораториях Белла». Бит.

Один бит – это количество информации, полученное в результате выбора между двумя одинаково возможными вариантами. Поэтому «прибор с двумя устойчивыми положениями… может хранить один бит информации». «Битность» такого прибора – переключение в два разных положения, монета с двумя сторонами, регистр с двумя положениями – заключена не в исходе выбора, а в количестве возможных выборов и случайностях выбора. Два таких прибора включали бы в себя четыре выбора и хранили бы два бита. Так как Шеннон пользовался логарифмической мерой, количество битов удваивалось каждый раз, когда количество предложенных выборов возводилось в квадрат:

Какой-то выбор осуществляется именно так. Но не всегда выбор определяется монетой. Не все варианты выбора одинаковы. Не все сообщения одинаково вероятны.

Давайте рассмотрим пример противоположной крайности: представьте себе монету с двумя орлами. Подбросьте ее столько раз, сколько хотите – дает ли она вам какую-то информацию? Шеннон настаивал на том, что не дает. Она не говорит вам ничего о том, чего вы не знаете: она не убирает неопределенность.

А что в действительности измеряет информация? Она измеряет неопределенность, которую мы преодолеваем. Она измеряет наши шансы узнать то, чего мы еще не знаем. Или, если говорить более конкретно, когда одна вещь передает информацию о другой вещи – подобно тому, как показания счетчика сообщают нам физическое количество или книга рассказывает нам о жизни, – количество информации, которое она несет, отражает уменьшение неопределенности в отношении объекта. Сообщения, которые убирают наибольшее количество неопределенности – те, что выбраны из самого широкого диапазона символов с минимальным процентом случайностей, – наиболее содержательны в плане информации. Но там, где присутствует идеальная определенность, нет информации: в этих случаях просто нечего сказать.

«Клянетесь ли вы говорить правду, всю правду и ничего, кроме правды?» Сколько раз в истории судебной практики на этот вопрос звучал другой ответ, кроме «да»? В силу того, что только один ответ реально допустим, данный ответ не дает нам почти никакой новой информации – мы уже заранее знали его. И это справедливо в отношении большинства человеческих ритуалов, во всех случаях, когда наша речь заранее прописана и ожидаема («Берете ли вы в мужья этого человека?»). И когда мы отделяем значение от самой информации, мы обнаруживаем, что часть наших самых значимых высказываний – это наши самые менее информативные высказывания.