В случае с монетой (если мне говорят о том, что выпадет «орел») равенство будет таким:
Следовательно, данное равенство (поскольку при полученном сообщении вероятность всегда будет равна единице, если допустить, что отсутствует фоновый
Информ. = – log (вероятность, имеющаяся для получателя до получения сообщения).
В случае с монетой:
– log (½) = log 2
Оперируя выбором одной из двух равновероятных возможностей, теория информации использует логарифмы по основанию 2 и называет единицу информации термином бит (bit, или binit), представляющим собой сокращение двух слов binary digit (двоичный знак). Использование логарифма по основанию 2 имеет следующее преимущество: поскольку log2
2 = 1, один бит информации говорит нам о том, какая из двух возможностей события осуществляется.Еще один пример: возьмем доску из 64 клеток, в одной из которых должна располагаться пешка. Если информатор сообщает мне, что она находится в клетке 48, тогда получаемую мною информацию можно измерить следующим образом: поскольку изначально мои возможности угадать эту клетку составляли 1/64
, формула выглядит так: –log2(1/64Таким образом, можно сказать
Для того, чтобы измерить уменьшение или увеличение количества информации, специалисты обращаются к понятию, заимствованному из термодинамики и теперь уже вполне обоснованно вошедшему в терминологический багаж теории информации. Речь идет о понятии
Согласно второму началу термодинамики, сформулированному Р. Клаузиусом, если определенное количество работы может полностью трансформироваться в теплоту (о чем говорит первое начало термодинамики), то каждый раз, когда теплота трансформируется в работу, это происходит не столь полно и завершенно, как в первом случае. Для того, чтобы совершился переход определенного количества теплоты в работу, двигатель должен обеспечивать обмен теплотой между двумя телами с различной температурой: источником теплоты и охладителем. Двигатель поглощает определенное количество теплоты от ее источника, но не всю ее преобразует в работу, потому что часть отдает охладителю. Таким образом, часть теплоты Q1
преобразуется в работу, кроме того, имеется теплотаТаким образом, если после преобразования работы в теплоту (первый закон термодинамики) я преобразую эту теплоту в работу, мне не удается получить обратно исходное количество этой работы. Наблюдается уменьшение или, как обычно говорят, «расход» энергии, которую уже не удастся восстановить. Энергия «расходуется». Таким образом, некоторые природные процессы не являются полностью обратимыми: «эти процессы