Репортаж с ничейной земли. Рассказы об информации

- Да, сложность моделей. Но одновременно надо помнить о том, что содержится в этих моделях. Они несут в себе порядок движения. Чем больше информация, тем больше порядка. Представьте себе вычислительную машину, которая может самостоятельно составлять текст. В памяти ее хранятся 32 буквы алфавита, и она выбирает их в совершенно случайном порядке: в любой момент может с одинаковой вероятностью появиться любая из букв. Как будет выглядеть «фраза», написанная такой машиной?

- Получится полная белиберда, - сказал профессор.

- Вроде вот этой? - спросил я и протянул профессору наш путевой дневник.

Быстров и профессор увидели странный, бессмысленный текст:

СУХЕРРОБЬДШ ЯЫХВЩИЮАИЖТЛФВНЗСТФОЕНВШТЦР...

- Прекрасно! - обрадовался Быстров. - Это как раз то, что нам нужно. Это пример самой большой неопределенности движения букв. Этот текст обладает самой большой энтропией. Для того чтобы упорядочить движение, надо дать машине дополнительную информацию. Например, можно заложить в нее такую программу, которая позволит учитывать вероятность появления каждой буквы в зависимости от трех предыдущих букв. Если бы мы могли заставить эту машину вновь написать какую-то фразу...

- Есть и такая фраза в нашем путевом дневнике, - произнес я, переворачивая страницу. - Вот она!

ВЕСЕЛ ВРАТЬСЯ НЕ СУХОМ И НЕПО И КОРКО.

- Очень хорошо, - отозвался Быстров. - Давайте сюда ваши записи. Почему эта фраза похожа на осмысленный текст? Потому что в движении букв появился определенный порядок, близкий к тому, который характерен для русского языка. Откуда взялся этот порядок?

Его создала информация, заложенная в машину.

На сколько уменьшилась энтропия текста?

Ровно на такое количество бит, какое заложено в нашу машину.

Можно ли учесть это формулой?

Можно. Энтропия текста подсчитывается по формуле Шеннона. Чтобы произвести расчет, надо подставить в формулу вероятность всех букв алфавита, то есть вместо P_i писать поочередно:

P_А; P_Б; P_В ... P_Ю; P_Я.

В первой фразе вероятность всех букв одинакова:

P_А = P_Б = P_В = ... = P_Ю = P_Я.

Когда шары, извлекаемые из ящика, обладают одинаковой вероятностью, опыт имеет наибольшую неопределенность. Но стоит лишь задать разным шарам разную вероятность, неопределенность становится меньше: можно предсказать до опыта, что чаще всего будет попадаться черный шар.

То же самсе происходит и с текстом. Пока вероятность всех букв оставалась одинаковой, текст был совершенно неопределенным. Но вот мы заложили в машину программу, то есть передали ей определенную «модель движения», и сразу в движении букв появился определенный порядок. Если теперь подставить в формулу различные величины

P_А; P_Б; P_В ... P_Ю; P_Я

и подсчитать, какой энтропией обладает вторая фраза, легко убедимся, что она стала меньше. Ее уменьшила «модель движения», переданная машине. А что содержится в этой модели? Информация или иегэнтропия.

Чем больше сведений о законах чередования букв в осмысленном тексте заложено в нашу машину, тем больше будет походить на обычную фразу написанный ею текст. Если бы мы могли заложить в нее такое количество информации, какое хранится в мозгу, она, очевидно, могла бы на любой из наших вопросов давать вполне разумный ответ...

- Вы, кажется, увлеклись, Быстров, - нахмурил брови профессор. - Терпеть не могу, когда серьезные рассуждения переплетаются с вымыслами фантазера!

- Ну хорошо. Я буду говорить о более очевидных вещах. Давайте рассмотрим какое-нибудь физическое тело, например находящийся в равновесии газ. Молекулы скачут во всех направлениях. Сколько бы мы ни следили за одной из молекул, мы никогда не смогли бы предвидеть, где окажется она в следующее мгновенье: движение в любом направлении имеет равную вероятность. Но ведь есть и другие физические тела. Например, кристалл. В нем тоже существует непрерывное движение молекул. Но в этом движении сохраняется более строгий порядок: молекулы образуют так называемую «кристаллическую решетку», потому что между ними существует взаимодействие, они связаны друг с другом силовыми полями. Способна ли наша формула оценить этот порядок? Несомненно!