Информация как основа жизни

Термин "информация" пришел к нам из латинского языка (informatio), и обычно переводится как "представление", "понятие" (о чем-либо), "изложение", "сведения", "осведомление", "сообщение" и т. п. Термин этот интуитивно ясный, обладает широчайшим смысловым полем и поэтому столь же трудно поддается определению, как и его русские синонимы. В. В. Налимов [1] приводит несколько попыток определить понятие "информация", предпринятых разными авторами, ни одну из которых нельзя признать удавшейся. "Даже эта совсем небольшая подборка определений понятия "информация", – пишет он, показывает, сколь полиморфно по своему смысловому значению это слово. Здесь развитие полиморфизма связано прежде всего с тем, что ни одно из определений не отвечает нашим интуитивным представлениям о смысле этого слова. И всякая попытка определения приписывает этому слову совершенно новые черты, отнюдь не раскрывающие, а суживающие и тем самым затемняющие его смысл и уже безусловно увеличивающие семантический полиморфизм этого слова" (стр. 127). Это отражает саму специфику феномена, обозначаемого этим термином.

Определить понятие можно двумя способами – либо сведя его к более элементарным (фундаментальным), либо перечислив круг явлений, к нему относящихся. В основе обоих видов определения лежит возможность расчленить, подразделить смежные понятия или феномены, т. е. дискретность. Дискретность, как известно, фундаментальное свойство материального мира, т. е. мира вещей и энергии. Именно дискретность природных явлений составляет базу всех естественных наук. В случае информации дело обстоит иначе. Слагается ли информация из отдельных дискретных составляющих, или это непрерывный, точнее, – неразрывный поток, лишь искусственно расчлененный на отдельные сообщения или сведения? Ответить на этот вопрос мы не можем. Но, может быть, именно эта особенность информации отражает тот факт, как пишет Н. Винер [2], что "Информация есть информация, а не материя и не энергия" (стр. 201), т. е. не принадлежит миру вещей. Ниже мы еще не раз к этому будем возвращаться. Сейчас же важно понять, почему никто из упомянутых выше ученых, стоявших у истоков теории информации, не попытался дать строгого определения этого термина.

Так складывалась теория, объект которой не был определен. В науке впервые возникла ситуация, подобная той, которая характерна для древнееврейской религии: Бог имеет множество имен, но ни одно из них нельзя произносить вслух. В области религии это вполне допустимо. В науке же все идеи и направления постоянно дискутируются. Мы дадим главные идеи из разных областей, где может быть использован этот термин.

Формула Шеннона

Возникновение классической теории информации было индуцировано развитием технических систем связи, призванных служить обмену информацией между людьми. Подчеркнем – технических систем, работа которых определяется законами физики, т. е. законами материального мира. Задача оптимизации работы таких систем требовала, прежде всего, решить вопрос о количестве информации, передаваемой по каналам связи. Поэтому вполне естественно, что первые шаги в этом направлении сделали сотрудники Bell Telephon Companie – X. Найквист, Р. Хартли и К. Шеннон [3].

В 1924 г. X. Найквист предложил измерять количество информации, приходящееся на одну букву текста, передаваемого по каналу связи, величиной Н-1/п, где п – число букв в используемом языке. Спустя четыре года Р. Хартли, исходя из требования аддитивности, в качестве такой меры начал применять логарифм этой величины, т. е. log(1/n). Двадцать лет спустя, в 1948 г., К. Шеннон для этой же цели ввел величину (6)

где H_i – количество информации, связанное с i-ой буквой алфавита, p_i – частота встречаемости этой буквы в данном языке, q - основание логарифмов, а k – коэффициент пропорциональности, величина которого зависит от q и от избранных единиц измерения количества информации; знак "минус" перед k поставлен для того, чтобы величина H_i всегда была положительной. Тогда суммарное количество информации для сообщения, состоящего из М букв, будет (7):

где m_i – число i-х букв в сообщении

К. Шеннон показал, что с увеличением длины сообщения М почти всегда будет иметь "типичный состав": (т_i/М ® р_i). Следовательно, (8)

В случае бинарного кода, когда n = 2, а р₁ = р₂ = 0.5, q=2 и k=1, количество информации Н_м становится равным М и выражается в так называемых бинарных единицах – битах.

Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтропии источников сообщений, для улучшения методов кодирования и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оптимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном "математической теорией связи", и явилась основой классической теории информации.