Кто — кого?

Русский алфавит содержит 32 буквы (если не различать букв «е» и «ё»). Задание одной из букв согласно сейчас сказанному соответствует заданию пяти единиц информации. Значит, не вникая в содержание текста, напечатанного на этой странице, можно количественно оценить информацию, которую он содержит. Для этого надо умножить число печатных знаков на пять, что составит примерно 10 тысяч единиц информации, то есть 10 тысяч бит.

Изображение на экране телевизора представляет собой около 500 тысяч световых точек различной яркости. При хорошем качестве изображения можно различить до восьми градаций яркости каждой точки. Значит, каждая точка телевизионного кадра несет три единицы информации, а кадр в целом — полтора миллиона единиц информации.

Подобным же образом определяется количество информации, передающейся при устной речи. Как буква является основным элементом письменной речи, так элементами устной речи считают отдельные звуки; их называют фонемами. Количество фонем языка, конечно, не совпадает с количеством букв алфавита этого же языка. Ведь во время разговора одна и та же буква в разных случаях может звучать по-разному (ее произносят мягко или твердо, она может находиться под ударением или нет). В результате ряда лингвистических исследований были выделены 42 различные фонемы русского языка. Значит, грубо говоря, можно считать, что каждый произносимый нами звук содержит около 5,4 бита. Умножая эту величину на число звуков, произносимых за время разговора, можно определить количество информации, которым обменялись собеседники.

Точно так же можно определить количество информации, которое содержится в музыкальном произведении, в фототелеграмме, в любом сообщении, передаваемом самыми различными способами, посредством самых различных сигналов.

Что такое опыт работы?

Итак, казалось бы, что математически вопрос о количестве информации, содержащейся в том или ином сообщении, решается очень просто. Необходимо выяснить возможное число различных вариантов этого сообщения и найти логарифм этого числа при основании два.

В действительности, однако, теория информации только начинается с этих элементарных соображений. Вспомните, читатель, вопросы, которые мы задавали, рассказывая историю изобретения паровой машины: «Могла ли изобрести паровую машину тетя Уатта?», «Можно ли, сложив два семизначных числа, получить в ответе бутерброд с маслом?» Формально их можно рассматривать как обычные двоичные вопросы, ответы на которые требуют выбора между «да» и «нет» и, следовательно, несут каждый одну единицу информации. Теория информации не ограничивается таким формальным подходом. Она учитывает не только число возможных вариантов ответа, но еще и вероятность того или иного из этих вариантов.

Заведомо известно, что, сложив два числа, нельзя получить в ответе бутерброд с маслом. Вероятность такого исхода заведомо равна нулю. И наоборот, вы можете быть уверены, что в 100 процентах случаев сложения двух чисел бутерброда с маслом в ответе не будет. Вероятность такого неизбежно отрицательного исхода считают равной единице. Но если ответ на вопрос заранее известен, то, значит, никакой неопределенности он не содержит. Чему же равно количество информации, которое содержит такой заранее известный ответ?

Здравый смысл подскажет каждому, что оно равно нулю. Именно такой ответ дает теория информации. Как видите, математическая теория и здравый смысл имеют много общего и зачастую приводят к одинаковым выводам.

Если бы приемщица ателье систематически вела учет числа посетительниц и отдельно учитывала число заказчиц, то в течение многих лет работы она накопила бы обширный, полезный для нее статистический материал.

Пусть, например, приемщица установила, что в среднем за много лет из каждых двух посетительниц одна становится заказчицей. Значит, одинаково вероятны оба варианта ответа на вопрос, станет ли заказчицей очередная посетительница. Вероятность каждого из ответов оценивают при этом величиной 0,5. Именно в этом и только в этом случае, то есть если оба возможных ответа на двоичный вопрос одинаково вероятны, в теории информации считают, что ответ на двоичный вопрос содержит одну единицу информации. Точно так же ответ на четверичный вопрос содержит две единицы информации только при условии, что одинаково вероятны все четыре варианта ответа.

Итак, если вероятность одного из ответов на двоичный вопрос равна нулю, то равно нулю количество информации, содержащейся в ответе на такой вопрос. Если оба ответа одинаково вероятны, то количество информации, которую несет ответ на вопрос, равняется единице.

Но пусть приемщица ателье в результате опыта установила, что в среднем только одна из двадцати посетительниц становится заказчицей. Какое количество информации содержится в ответе все на тот же вопрос: «Станет ли очередная посетительница заказчицей?»