Репортаж с ничейной земли. Рассказы об информации

- Это слово пришло из физики, точнее - из термодинамики, одного из ее разделов. Происходит оно от греческого слова «тропэ», что означает «превращение». Термодинамика изучает процессы превращения тепловой энергии в механическую работу. Или в электричество. И для того чтобы объяснить, как это происходит, понадобилась энтропия.

- Ну, а при чем же здесь ящик с шарами, музыка, телеграфный текст?

- Как вам сказать... Видите ли, формула, которая красуется на этой колонне, как символ нашего города, тоже впервые появилась в термодинамике, а уж потом, много лет спустя, Шеннон применил ее для учета количества информации, которую содержит в себе телеграфный текст.

- Значит, эта формула просто «пришлась по вкусу»? И слово «энтропия» употребляется в Новом Городе совсем не в том смысле, который вкладывает в него физик?

Несколько мгновений ученый молчит.

- Вы сказали: «не в том смысле»? Да, так считают многие жители нашего города⁵.

- А вы?

- Я? Скажу вам прямо: ваши вопросы застали меня врасплох. Я уже много лет изучаю энтропию всяческих сообщений, но энтропия в физике - это не моя область. И едва ли кто-нибудь в нашем городе сможет дать вам четкий ответ на этот вопрос. Наш город исследует информацию и средства ее передачи. А ваш вопрос выходит за рамки этих проблем. Очевидно, тут надо идти от самых истоков. Что измеряли мы с помощью энтропии, извлекая из ящика черные и белые шары? Неопределенность опыта. Чем больше неопределенность, тем больше энтропия опыта, тем больше количество бит. А что выражает энтропия в термодинамике? То же самое. Электрическая энергия превращается в тепловую. Согласно законам термодинамики энтропия при этом должна возрасти. Почему? Да все потому же - возросла неопределенность: упорядоченное движение электронов по проводу превратилось в неопределенное, хаотическое тепловое движение. Все подчиняется той же формуле:

I =

n

∑

i=1

P_i log P_i

Когда вероятность движения электронов от минуса к плюсу была наибольшей, неопределенность была мала. Но вот электрическая энергия превратилась в тепловую, возникло иное движение, в котором одинаково вероятны все направления: ведь тепловое движение - это хаотическое движение мельчайших частиц. Значит, увеличилась неопределенность, и энтропия возросла, так же как в случае одинаковой вероятности появления черных и белых шаров. Где-то здесь и скрывается истина. Но, к сожалению... Я не могу ответить более четко на этот вопрос.

Учений умолк. Казалось, он забыл о нашем присутствии. Его задумчивый взгляд устремлен куда-то в пространство. Быть может, там, далеко за пределами Нового Города, ему чудятся еще неизведанные просторы загадочной Ничейной земли.

Психология и вероятность

Мы горячо поблагодарили ученого за помощь.

- Куда бы вы порекомендовали нам последовать дальше? - спросил я его на прощанье.

- Вы, очевидно, сами сможете наметить дальнейший маршрут, если воспользуетесь путеводителем по Новому Городу. Такой путеводитель можно приобрести в любом книжном киоске. А если понадобится моя помощь, вы всегда найдете меня в этом здании, в лаборатории математических методов психологии. Желаю успехов!

Ученый пересек площадь и скрылся в одном из подъездов, а мы, воспользовавшись его советом, отправились искать ближайший киоск.

Пять минут спустя я уже держал в руках справочник-путеводитель, очень похожий на те, что издаются во всех больших городах. Естественно, что в путеводителе по Новому Городу самое почетное место занимает Шеннон - на первой странице дан крупным планом его портрет. Я увидел скромного, можно сказать, неприметного человека со спокойным задумчивым взглядом и худощавым лицом. Встретив его на улице, я никогда не подумал бы, что это крупный ученый, имя которого известно теперь всему миру.

Рядом с портретом Шеннона помещен второй такой же портрет. Под ним короткая справка: «Хартли, инженер связи. В 1928 году предложил формулу для измерения информации».

Тут же приведена эта формула:

I = log N.

Больше никаких сведений нет.

Как же так? Значит, вовсе не Шеннон впервые подумал о том, что информацию можно измерить? Тогда почему жители Нового Города считают основоположником Шеннона, а не Хартли?

Просмотрев весь справочник, я не нашел в нем никаких разъяснений. А вопрос этот не давал мне покоя.

Я вспомнил о любезном приглашении ученого. Удобно ли обратиться к нему с этим новым вопросом?

А что, если кто-нибудь из участников экспедиции задаст мне тот же вопрос? После некоторых колебаний я решил отложить посещение лаборатории до следующего дня.

Наутро я разыскал лабораторию математических методов психологии, где застал моего знакомого в окружении приборов и схем. Он встретил меня приветливо и поинтересовался, что меня к нему привело.

Я задал вопрос о Хартли и Шенноне. Несколько мгновений он сосредоточенно смотрел на меня, очевидно собираясь с мыслями. Затем тепло улыбнулся и произнес:

- Я боюсь, что мое мнение покажется вам предвзятым. Но я твердо убежден в том, что все дело в психологии. Хартли пренебрег психологией, когда предлагал свою формулу, а Шеннон ее учел.