Обратите внимание, что разделение информации на известную и неизвестную до некоторой степени субъективно. Разные люди знают разные вещи. Допустим, например, вы отправили мне короткое электронное письмо, содержащее 100 битов информации. Вы знаете, что это за биты, ведь это вы их отправили. Для вас информация этого электронного письма известна. Пока я не открою это письмо, я не знаю, что это за биты: для меня они все еще невидимы, и на этой стадии я бы посчитал эти 100 битов энтропией. Поэтому разные наблюдатели могут придавать разное значение энтропии системы. Помните демона Максвелла? Он контролирует микроскопические состояния газа, и у него больше информации, чем у наблюдателя, который просто знает температуру и давление газа. Соответственно, для демона в газе меньше энтропии, чем для стороннего наблюдателя. Для целей второго начала термодинамики важно
Предположим, неизвестный бит информации взаимодействует с известным битом информации. После этого взаимодействия первый бит по-прежнему остается неизвестным, но теперь и второй бит тоже становится неизвестным. Неизвестный бит как бы заразил известный, распространяя неведение и увеличивая общую энтропию системы. Идеи вычисления, о которых мы говорили выше, можно использовать для того, чтобы прояснить «заразную» природу неведения.
Возьмем два бита. Значение первого неизвестно – оно может быть или 0, или 1. Значение второго бита известно – скажем, это 0. Таким образом, оба бита вместе находятся в состоянии 00 или 10. Теперь применим к битам следующую простую логическую операцию. Инвертируем второй бит, но если и только если первый бит равен 1. Эту операцию можно назвать «условное не» (
Итак, если первый бит будет равен 1, то операция «условное не» изменит второй бит с 0 на 1. Если значение первого бита – 0, то после операции «условное не» значение второго бита останется равным 0. Таким образом, после операции «условное не» пара битов будет или в состоянии 00, или в состоянии 11. Теперь два бита коррелируют – то есть имеют одно и то же значение. Если мы посмотрим на первый бит, то узнаем значение второго бита, и наоборот.
Мы как не знали значение первого бита, так и не знаем его после выполнения операции: он по-прежнему находится в состоянии 0 или в состоянии 1. Но посмотрим на второй бит. Теперь он тоже может находиться в состоянии 0 или 1. Второй бит, значение которого до операции было 0, теперь тоже имеет неизвестное значение. Операция «условное не» заставила неизвестную информацию первого бита «заразить» второй бит – незнание распространилось! (Распространение неведения обратимо. Чтобы вернуть оба бита в исходное состояние, нужно выполнить операцию «условное не» повторно. Операция «условное не» является обратной по отношению к самой себе: выполнить ее дважды – все равно что не делать ничего вообще.)
Распространение неведения увеличивает энтропию отдельных битов в системе. Энтропия первого бита по-прежнему составляет один бит, но энтропия второго увеличивается. Тем не менее энтропия пары битов, взятых вместе, остается постоянной! Перед операцией «условное не» два бита могли находиться в одном из двух состояний – 00 или 10. В системе один бит энтропии – в первом бите из пары. После операции «условное не» пара битов может находиться в одном из двух состояний – 00 или 11. Мы по-прежнему видим один бит энтропии, но теперь он распределен между двумя битами.
Распространение неведения отражается в росте величины, которая называется «взаимная информация». У каждого бита после операции есть собственный бит энтропии, но у двух битов, взятых вместе, тоже есть только один бит энтропии. Взаимная информация равняется сумме энтропий, взятых по отдельности, минус энтропия двух битов, взятых вместе. Другими словами, у двух битов есть ровно один бит взаимной информации. Какую бы информацию они ни содержали, они содержат ее вместе.
Неведение атомов
«Заразный» характер информации относится и к сталкивающимся атомам, и к битам в вычислении. Идею о том, что энтропия отдельных атомов газа имеет тенденцию увеличиваться, впервые выдвинул Людвиг Больцман в 1880-х гг. Больцман определил величину, которую назвал «