Эта «пляска» атомов также связана с энтропией: чем быстрее атомы движутся, тем больше нужно информации для описания их движений и тем большей энтропией они обладают. Температура – это мера компромисса между информацией и энергией: при высокой температуре атомам нужно больше энергии, чтобы записать один бит информации, а при низкой атомам нужно для этого меньше энергии. Температура – это, в сущности, энергия в расчете на один бит. Когда энергия в форме теплоты переходит от горячего объекта к холодному, энтропия увеличивается: то же самое количество энергии хранит меньше информации, когда объект горячий, чем когда объект холодный. Состояние максимальной энтропии достигается в том случае, когда температура всех объектов одинакова.
Максвелл понял, что если можно было бы получить информацию о поведении атомов газа на микроскопическом уровне, то можно было бы уменьшить его энтропию; значит, энтропия так или иначе связана с информацией. В своем знаменитом сочинении «Об уменьшении энтропии разумными существами» (
Предположим, сосуд с гелием в виде газа разделен перегородкой на два отделения. В перегородке есть маленькая дверца, в которую могут одновременно протиснуться всего несколько атомов газа. Демон отслеживает атомы, находящиеся рядом с дверцей, и открывает ее всякий раз, когда атомы, приближающиеся к ней с холодной стороны, движутся быстрее (то есть они более горячие), чем атомы, приближающиеся к ней с горячей стороны. Каждый раз, когда демон открывает дверцу, более горячие атомы перемещаются на горячую сторону, а более холодные атомы перемещаются на холодную сторону. По мере того как демон пропускает все больше быстрых атомов на горячую сторону и все больше медленных атомов на холодную сторону, горячее отделение сосуда с газом становится горячее, а холодное отделение становится холоднее. Этот поддерживаемый демоном поток тепла из холодного отделения в горячее явным образом нарушает второе начало термодинамики, которое гласит, что тепловые потоки текут от горячих предметов к холодным, но не наоборот.
Как мы увидим, на самом деле демон не может нарушить второе начало термодинамики, так как в правильной формулировке оно гласит, что энтропия/информация газа и демона, взятых вместе, уменьшаться не могут[13]. Второе начало термодинамики остается в силе. Тем не менее действия демона иллюстрируют очевидную связь между информацией и энтропией.
К концу XIX в. Больцман, Гиббс и немецкий физик Макс Планк уточнили формулы, описывающие энергию и энтропию систем, состоящих из атомов. В частности, они обнаружили, что энтропия системы пропорциональна количеству битов, необходимых для описания микроскопического состояния атомов, соответствующего некоторому макросостоянию. Этот результат был столь полезен для описания обмена между теплотой и энергией, что формула, которая его описывает, выгравирована на могиле Больцмана. Энтропия традиционно обозначается символом
Эпитафия на могиле Больцмана гласит: «S = k log W», и это просто математически изысканный способ сказать, что энтропия объекта пропорциональна числу битов, записанных его микросостоянием. То же самое можно выразить и по-другому: энтропия пропорциональна длине числа возможных микросостояний, если записать его в двоичной системе счисления. В этой формуле