Наука Плоского мира. Книга 2. Глобус

Человечество приобрело способность измерять информацию в 1948 году, когда математик и инженер Клод Шеннон нашел метод определения количества информации, содержащейся в сообщении, – сам он предпочитал термин «сигнал», – передаваемом в виде определенного кода. Под сигналом он подразумевал ряд двоичных чисел («битов», 0 или 1), который сегодня повсеместно используется как в современных компьютерах и устройствах связи, так и в семафоре Мюррея. Кодом Шеннон называл особую процедуру, преобразующую исходный сигнал в нечто иное. Простейший код банально оставляет все «как было», а более сложные применяются для обнаружения или даже коррекции ошибок, допущенных при передаче. В инженерных приложениях коды занимают центральное место, но для наших целей достаточно их опустить, предположив, что сообщения передаются в открытом виде.

Мера информации Шеннона численно выражает степень, на которую снижается неопределенность относительно бит, составляющих сигнал, в результате получения сообщения. Вот простейший пример, в котором сообщение представляет собой ряд нулей и единиц, и каждый из них одинаково вероятен, а количество информации в сообщении совершенно определено и равняется общему количеству двоичных чисел. Каждое число, получаемое нами, снижает нашу неопределенность относительно значения конкретно этого числа (это 0 или 1?) до определенности (скажем, 1), но ничего не говорит нам об остальных числах, то есть мы получаем только один бит информации. Проделайте то же самое тысячу раз и получите тысячу бит информации. Ничего сложного.

Предположим, нас сейчас интересует не смысл сигнала, а его побитное наполнение – такое восприятие близко инженерам связи. Итак, сообщение 111111111111111 содержит 15 бит информации, равно как и 111001101101011. Но понятие Шеннона об информации – не единственное. Позднее Грегори Хайтин отметил, что содержание шаблонов в сигнале может быть выражено количественно. Для этого нужно смотреть на размер не сообщения, а компьютерной программы, или алгоритма, который она может сгенерировать. Например, первое из вышеуказанных сообщений представляет алгоритм «каждое число равно 1». Но второе сообщение нельзя охарактеризовать столь же просто – его можно лишь побитно переписать. Таким образом, эти два сообщения имеют одинаковое содержание согласно Шеннону, но с точки зрения Хайтина второе сообщение содержит гораздо более «алгоритмическую информацию», чем первое.

Иными словами, понятие Хайтина рассматривает степень, до которой сообщение способно «сжиматься». Если короткая программа сгенерирует длинное сообщение, то мы можем передать программу вместо сообщения, сохранив время и деньги. А программа при этом «сжимает» сообщение. Когда компьютер получает большой графический файл – например, фотографию – и превращает ее в меньший, в формате JPEG, он использует стандартный алгоритм для сжатия информации, содержащейся в исходном файле. Это возможно благодаря тому, что в фотографиях содержится множество шаблонов: к примеру, повторяющиеся голубые пиксели, из которых состоит небо. Чем менее сжимаемым является сигнал, чем больше информации, согласно Хайтину, он содержит. А чтобы его сжать, нужно описать шаблоны, которые в нем содержатся. Отсюда следует, что несжимаемые сигналы случайны, не имеют шаблонов и при этом содержат максимальный объем информации. С одной стороны, это логично: когда каждый следующий бит максимально непредсказуем, вы получаете больше информации, когда узнаёте его значение. Если в сигнале содержится 111111111111111, то маловероятно, что следующий бит тоже окажется 1; но если в сигнале содержится 111001101101011 (для того чтобы получить это значение, мы пятнадцать раз подбросили монету), то очевидной возможности угадать следующий бит у нас нет.

Оба способа измерения информации могут оказаться полезными при разработке электронных технологий. Информация Шеннона определяет время, необходимое для передачи сигнала, в то время как информация Хайтина сообщает о наличии подходящего метода сжатия информации, чтобы передать ее в коротком виде. По крайней мере, так было бы, если ее подлежала расчету, но одна из особенностей теории Хайтина заключается как раз в невозможности расчета количества алгоритмической информации в сообщении – и он сумел это доказать. Волшебники наверняка оценили бы его прием.

Таким образом, «информацию» стоит считать полезным понятием, хотя и странно, что «Быть или не быть?», согласно Шеннону, содержит столько же информации, сколько «чнЙПКдакнг?в%ыл0ц». А все потому, что информация и смысл – это разные вещи. Что ничуть не удивительно. Для людей в сообщении важно не количество бит, а его смысл, но математики не умеют выражать его в количественном виде. Пока что.