Наука Плоского Мира II: Земной шар

Информация — это не предмет, а абстракция. Однако склонность человека к материализации абстрактных понятий привела к тому, что многие ученые считают информацию реально существующим явлением. А некоторые физики начинают задаваться вопросом, может ли Вселенная тоже состоять из информации.

Как появилась эта точка зрения и насколько она соответствует действительности?

Люди научились количественно оценивать информацию в 1948 году, когда математик, а позже инженер, Клод Шеннон нашел способ оценить объем информации, заключенной в сообщении, — хотя он сам предпочитал термин сигнал, — переданном от источника к приемнику с помощью некоего кода. Под сигналом Шеннон подразумевал последовательность двоичных цифр («битов», то есть 0 и 1), которые сейчас используются в любом компьютере и устройстве связи, а раньше применялись в семафорах Мюррея. Код он определял как особую процедуру, которая преобразует исходный сигнал в какой-нибудь другой. Простейший код — это тривиальное преобразование, которое «оставляет все без изменений», но более сложные коды способны обнаруживать и даже исправлять ошибки передачи. Коды составляют основу инженерных приложений этой теории, но здесь мы не станем заострять на них внимание и будем считать, что сообщение передается «как есть».

Шенноновская мера информации количественно выражает степень снижения нашей неопределенности относительно бит, составляющих сигнал, после получения сообщения. В простейшем случае, когда сообщение состоит из нулей и единиц, а все варианты равновероятны, количество информации, заключенной в сообщении, определяется очень просто: оно равно общему количеству бит. Каждая принятая нами цифра уменьшает нашу неопределенность относительно ее значения (0 или 1?) до полной уверенности (скажем, 1), но ничего не сообщает о других цифрах, поэтому количество информации равно одному биту. Проделав это тысячу раз, мы получим тысячу бит информации. Все просто.

В данном случае мы придерживаемся точки зрения инженера-связиста и молчаливо предполагаем, что нас интересует только значения отдельных бит сигнала, а не содержащийся в них смысл. То есть каждое из сообщений 111111111111111 и 111001101101011 содержит 15 бит информации. Однако есть и другие подходы к определению информации. Не так давно Грегори Хайтин указал на возможность количественной оценки сигнала с точки зрения содержащихся в нем шаблонов, или закономерностей. Для этого необходимо обратить внимание не на размер сообщения, а на размер компьютерной программы, или алгоритма, который способен его сгенерировать. К примеру, первое из упомянутых сообщений можно сконструировать с помощью алгоритма «все цифры равны 1». Второе сообщение простым алгоритмом описать нельзя — остается только перечислить его бит за битом. Таким образом, с точки зрения меры Шеннона, количество информации в этих сообщениях одно и то же, в то время как мера Хайтина показывает, что второе сообщение содержит намного больше «алгоритмической информации».

Иначе говоря, подход Хайтина сосредоточивает свое внимание на «сжимаемости» сообщений. Если длинное сообщение можно сгенерировать с помощью короткой программы, то лучше переслать эту программу вместо сообщения, сэкономив и время, и деньги. Такая программа «сжимает» сообщение. Когда ваш компьютер преобразует большой графический файл — скажем, фотографию, в JPEG-файл намного меньшего размера, он сжимает информацию в исходном файле одним из стандартных алгоритмов. Это возможно благодаря тому, что фотографии содержат множество шаблонов — например, многократные повторения голубых пикселей, из которых состоит небо. Чем хуже сигнал поддается сжатию, тем больше в нем информации по Хайтину. А для сжатия сигнала нужно описать составляющие его шаблоны. Отсюда следует, что несжимаемые сигналы хаотичны, не содержат никаких закономерностей, однако именно они несут в себе наибольшее количество информации. И в некотором смысле это вполне логично: узнав значение одного бита, мы получаем больше всего информации в том случае, когда непредсказуемость каждого последующего бита максимальна. Если сигнал выглядит как 111111111111111, то мы вряд ли удивимся, узнав, что очередной бит равен 1; но в случае сигнала 111001101101011 (чтобы его получить, мы 15 раз подбросили монетку) угадать следующий бит не так просто.

Оба способа измерения информации находят применение в электронных устройствах. Если информация по Шеннону связана со временем, необходимым для передачи сигнала куда-то еще, то информация по Хайтину оценивает возможность применить какой-нибудь хитрый способ сжатия, чтобы затем передать более короткий сигнал. По крайней мере, так бы было, если бы количество этой информации поддавалось расчетам, но одна из особенностей теории Хайтина состоит в том, что вычислить количество алгоритмической информации, заключенной в сообщении, нельзя — и он смог это доказать. Волшебникам такой подвох пришелся бы по нраву.