Зачем нам эти трудности с переводом информации в точки и тире, нули и единицы? Почему не использовать последовательность 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, а ещё лучше буквы алфавита? Сообщения было бы проще читать, и они занимали бы гораздо меньше места.
Суть в том, что буквы алфавита (как и десять обычных цифр) — это человеческое изобретение, которые мы обучаемся распознавать и хранить в памяти. Но каждая буква или цифра несёт сразу много информации за счёт весьма тонкой разницы между буквами А и Б или цифрами 5 и 8. Телеграфисты и компьютерщики, которые полагаются только на простейшие математические правила, предпочитают — на самом деле они просто вынуждены — использовать
Вернёмся к королю Кнуду. Сколько из 110-битных сообщений будут
ОРКЫУРООЛО ДАДВЛБОНБРЕ ДКБКАУАОЯНАОКДПА
Допустим, вы перемешивали буквы совсем недолго. Сообщение лишь слегка утратит связность. «У кролоя Кнуда была бородавка а подбородкен». Но постепенно буквы будут превращаться во всё менее осмысленную мешанину. Бессмысленных комбинаций так много, что сползание к абракадабре неизбежно.
Теперь я могу дать определение энтропии.
Но энтропия — это не само число вариантов, в данном случае — не 2110
. Она равна просто 110 — числу раз, сколько надо помножить на себя двойку, чтобы получить количество вариантов. В математике количество перемножений двойки на себя, необходимое для получения определённого числа, называютИз 2110
возможностей лишь очень небольшая доля представляет собой осмысленные фразы. Допустим, что их миллиард. Чтобы получить миллиард, надо возвести двойку в 30-ю степень. Иными словами, миллиард — это около 230, или, что эквивалентно, логарифм миллиарда равен 30. Отсюда следует, что энтропия осмысленного предложения всего лишь около 30, что намного меньше 110. Бессмысленные цепочки символов, очевидно, имеют большую энтропию, чем комбинации, составляющие осмысленные фразы. Неудивительно, что энтропия возрастает, когда буквы перемешиваются.Предположим, компания BMW подняла управление качеством до такого уровня, что все автомобили, сходящие с конвейера, абсолютно идентичны. Иными словами, допустим, что существует одна, и только одна комбинация атомов, которая может считаться истинным BMW. Какова будет её энтропия? Ответ — ноль. Когда такой BMW сходит с конвейера, в нём не будет никакой неопределённости. Когда задан единственный уникальный вариант, энтропии вообще нет.
Второе начало термодинамики, которое говорит, что энтропия возрастает, это просто утверждение, что с течением времени мы теряем контроль за деталями. Представьте, что мы уронили крохотную каплю чёрных чернил в ванну с тёплой водой. Вначале мы точно знаем, где находятся чернила. Число возможных конфигураций чернил не так велико. Но по мере того как мы следим за диффузией чернил в воде, мы всё меньше и меньше знаем о местоположении отдельных молекул чернил. Число вариантов, отвечающих тому, что мы видим, а именно в ванне с однородной, слегка посеревшей водой, становится колоссальным. Можно ждать и ждать, но мы не увидим, как чернила вновь соберутся в концентрированную каплю. Энтропия возрастает. Это второе начало термодинамики. Всё стремится к скучной однородности.
Вот ещё один пример — ванна, полная горячей воды. Как много мы знаем о воде в ванне? Предположим, что она налита в ванну достаточно давно и все заметные течения прекратились. Можно измерить количество воды в ванне (190 литров) и её температуру (32 градуса Цельсия). Но ванна заполнена молекулами вводы, и, очевидно, очень большое число вариантов размещения молекул соответствует заданным условиям — 190 литров воды при 32 градусах Цельсия. Мы сможем узнать намного больше, только если точно обмерим каждый атом.