Путешествие от частицы до Вселенной. Математика газовой динамики

Какой же смысл в том, чтобы принимать энтропию за информацию? Информации нужен наблюдающий субъект — это не что-то, что можно потрогать. Когда мы говорим «энтропия системы — это степень нашей неосведомленности о ней», кажется, будто мы утверждаем, что энтропия не имеет реального существования во Вселенной, это просто человеческое понятие, которое измеряет то, что мы знаем, и не более.

Действительно, есть системы, для которых понятие энтропии не имеет смысла. В системе, состоящей из предмета, прикрепленного к пружине, и самой пружины, нет никакой энтропии: само это понятие неприменимо к ситуации. Энтропия — макроскопическая величина и сама по себе применима только для скоплений частиц. Однако в фундаментальных законах Вселенной о ней нет никакого упоминания: речь идет о статистическом понятии, которое помогает нам осмыслить некоторые характеристики сложных систем.

Именно понимание энтропии как меры информации привело американского математикаКлода Шеннона (1916–2001) к использованию ее в качестве ключевого элемента в своей теории информации.

Энтропия как информация

Предположим, что мы опаздываем на ужин с нашей второй половинкой и хотим послать ей сообщение: «Сегодня я опоздаю на ужин». Для этого наш мобильный телефон должен обработать информацию, содержащуюся в нашем сообщении, перевести ее в электрические импульсы и послать ее с помощью электромагнитных волн. Телефонной компании хотелось бы использовать минимальное количество энергии для передачи нашего сообщения, поскольку энергия стоит денег. Так что ей нужно знать минимальное количество информации, которое должно быть зашифровано.

Первая мысль, которая приходит в голову, заключается в том, что компания должна зашифровать столько информации, сколько букв в сообщении. Например, «Сегодня я опоздаю на ужин» содержит 21 единицу информации или 25, если считать пробелы. Но мы ошибаемся, потому что в одной букве содержится больше, чем одна единица информации. Итак, прежде всего мы должны подумать о том, что такое информация и как ее можно измерить.

Понятие информации связано с понятием сообщения: предположим, что каждый раз, когда мы посылаем сообщение, мы передаем информацию. Если мы определим самое простое сообщение, которое можем послать, оно и будет минимальной единицей информации.

В нашу информационную эпоху все знают о том, что минимальной единицей информации является бит. Бит — это единица или ноль, аналог ответа на вопрос: «да» или «нет». Не существует меньшей единицы, ведь наименьшее, что мы можем передать, это присутствие или отсутствие чего-либо. Чтобы узнать содержание сообщения, мы должны перевести его в биты.

Посмотрим, как можно зашифровать фразу «Сегодня я опоздаю на ужин» в битах. При этом мы можем шифровать только два типа данных: ноль или один. Однако в двух битах мы можем зашифровать четыре: 00, 01,10, 11. В трех битах у нас уже восемь возможностей: 000, 001, 010, 011, 100, 101, 110, 111. А для n бит у нас есть 2ⁿ  возможностей, то есть два, умноженное на себя n раз. Каково минимальное число битов, нужное нам, чтобы зашифровать буквы алфавита? Поскольку в латинском алфавите 26 букв, нам потребуется по крайней мере 26 возможностей. Наиболее близкая степень двух — 32, или 23, так что минимальное необходимое число битов для того, чтобы зашифровать букву, равно пяти.

На практике для шифрования буквы используется более пяти битов, поскольку у нас есть заглавные буквы и различные символы, которые также нужно связать с последовательностью битов. Обычно используют восемь битов, из которых составлен так называемый код ASCII, который позволяет представить каждую букву в виде последовательности единиц и нулей. Например, буква а соответствует последовательности 01100001.

Коды ASCII для заглавных и строчных букв. Существует 8-битная кодировка кириллического алфавита, совместимая с ASCII, — КОИ-8.

Поскольку каждой букве соответствуют восемь битов, а наше сообщение содержит двадцать пять букв, мы можем сосчитать, сколько информации в нем содержится:

25·8 = 200 битов.

В целом мы можем представить любую цепочку символов в качестве цепочки битов, информация которой обычно равна ее длине. Но это не всегда так. Например, возьмем цепочку:

1111111111111111111111111111111111111111111111.

Это сообщение содержит 46 битов, но они несут меньше информации, чем могли бы, поскольку здесь повторяется одна и та же цифра. Действительно, если бы мы хотели продлить цепочку, то легко могли бы догадаться, что следующий символ — тоже единица. Итак, предсказуемость цепочки делает информацию, которую она содержит, меньшей, чем ее длина в битах. Именно здесь вступает понятие энтропии: предсказуемая цепочка битов характеризуется меньшим количеством энтропии и, следовательно, меньшим количеством непредсказуемой информации. Поэтому энтропия — хорошая мера информации, содержащейся в цепочке битов.

Энтропия Шеннона