На одном полюсе будет человек, который не знает языка. Для него все буквы равновероятны, избыточность алфавита равна нулю, и один знак несет максимальную информацию кода (и никакой осмысленной информации не дает!). На другом полюсе—носитель языка, превосходно знающий его, интуитивно чувствующий вероятность появления того или иного слова в тексте. Такому человеку дается определенный текст, он прочитывает несколько страниц, вникает в стиль, сюжет, манеру повествования. Затем текст закрывается, и далее начинается процедура отгадывания. Предлагается найти продолжение этого текста: какая буква должна появиться?
Например, в опытах Пиотровского предлагался отрывок из статьи, опубликованной в газете «Известия»: «И вот, приехав в тот город, где друг мой в свое время справлял свадьбу, я встретил его жену и сына, который учится уже в пятом классе. И сын его меня расспрашивает, правда ли, что я служил с его отцом, на каких кораблях плавали, где бывали. Я отвечаю на эти как будто нехитрые на первый взгляд…»
Дальше текст закрывался и предлагалось угадать букву, которая должна последовать. Отгадчик мог отказаться от ответа (в самом деле, мало ли какое слово может последовать после слов «на первый взгляд») или мог предложить какую-либо букву (например,
Полученные результаты обрабатывались математически. В итоге можно было получить величину информации, приходящуюся на одну букву осмысленного русского текста. Опыты, проведенные в МГУ, показали, что для классической русской прозы (отгадывались «Детские годы Багрова-внука» Аксакова и «Литературные вечера» Гончарова) она равна примерно одному биту. Сходную величину дали и опыты Р. Г. Пиотровского. Если сравнить эту величину в пятью «исходными» битами, мы увидим, что избыточность литературного русского языка классической прозы равна восьмидесяти процентам. Иными словами, четыре из пяти букв — «лишние»!
В пределах семидесяти-восьмидесяти процентов оказалась величина избыточности и для английского, французского, румынского, польского, азербайджанского, казахского языков. Весьма вероятно, что и во всех других языках мира избыточность, которую называют еще своеобразным запасом прочности языка, находится в этих пределах. Если бы в языке не было избыточности, то любое сочетание кодовых знаков, букв, образовало бы осмысленное слово, и тогда почти невозможно было бы исправить ошибку в написании. Не существовало бы и правил грамматики, и сочетаний смыслов слов… Так что избыточность это не излишество, не показатель несовершенства языка по сравнению с техническими кодами, а его важное и нужное свойство, которое возникло многие тысячи лет назад, но лишь сейчас начинает нами осознаваться благодаря теории информации.
Биты, стили, «подъязыки»
Во всяком ли русском тексте четыре пятых букв — «лишние»? Нет, не во всяком. Вспомните телеграммы: в текстах телеграмм мы стараемся уменьшить избыточность языка, опускаем предлоги, глагольные связки и т. п. Однако эта экономия имеет свой предел, иначе получатель нашей телеграммы не поймет текст. Ленинградские исследователи О. Л. Смирнов и А. В. Екимова, используя метод отгадывания, попробовали определить величину информации, приходящуюся на одну букву «телеграфного языка» (или если применять лингвистическую терминологию, подъязыка телеграмм). Для этого были взяты телеграфные тексты общим объемом в пятнадцать тысяч букв. Оказалось, что величина информации почти в полтора раза превышает ту, что несет одна буква литературного русского языка!
На другом полюсе находятся деловые тексты. Величина избыточности здесь, в отличие от телеграмм, наоборот, завышается для большей надежности. Деловые тексты имеют стандартные обороты, словосочетания, синтаксические конструкции. Да и содержание их также вращается в строго заданной сфере — будь это химия, геология, метеорологическая сводка или бухгалтерский отчет. Так, например, опыты по угадыванию специального текста — документации финансового отдела одного из рудоуправлений Донецкой области — показали, что величина избыточности здесь доходит до девяноста процентов.