Большая Советская Энциклопедия (ИН)

Информа'ции нау'чной и техни'ческой институ'т Всесоюзный (ВИНИТИ), информационный орган и научно-исследовательское учреждение Государственного комитета Совета Министров СССР по науке и технике и АН СССР. Организован АН СССР в 1952 в Москве. В 1952—54 — Институт научной информации, с 1955 — ВИНИТИ. Основные задачи: систематическое и исчерпывающее реферирование всей мировой литературы по естествознанию и технике; подготовка и издание на этой основе реферативного журнала , обзорной и сигнальной информации , экспресс-информации по наиболее актуальным темам; информационное обслуживание, организация, развитие и координация в масштабах страны научных исследований в области информатики, направленных на совершенствование методов и средств, используемых в научно-информационной деятельности. С 1953 институт издаёт «Реферативный журнал» (в 170 выпусках, из которых 38 выходят отдельными выпусками, а 132 в 25 сводных томах), с 1967 — «Сигнальную информацию» (в 55 выпусках), с 1955 — «Экспресс-информацию» (в 78 сериях), с 1957 — «Итоги науки» и «Итоги науки и техники», с 1962 — ежемесячный журнал «Научно-техническая информация» (в 2 сериях). При институте имеются очная и заочная аспирантура, Совет по защите диссертаций, Всесоюзный центр переводов научно-технической литературы и документации.

Информации теория

Информа'ции тео'рия, математическая дисциплина, исследующая процессы хранения, преобразования и передачи информации . И. т. — существенная часть кибернетики . В основе И. т. лежит определённый способ измерения количества информации, содержащейся в каких-либо данных («сообщениях»). И. т. исходит из представления о том, что сообщения, предназначенные для сохранения в запоминающем устройстве или для передачи по каналу связи, не известны заранее с полной определённостью. Заранее известно лишь множество, из которого могут быть выбраны эти сообщения, и в лучшем случае — то, как часто выбирается то или иное из этих сообщений (т. е. вероятность сообщений). В И. т. показывается, что «неопределённость», с которой сталкиваются в подобной обстановке, допускает количественное выражение и что именно это выражение (а не конкретная природа самих сообщений) определяет возможность их хранения и передачи. В качестве такой «меры неопределённости» в И. т. принимается число двоичных знаков, необходимое для фиксирования (записи) произвольного сообщения данного источника. Более точно — рассматриваются все возможные способы обозначения сообщений цепочками символов 0 и 1 (двоичные коды), удовлетворяющие условиям: а) различным сообщениям соответствуют различные цепочки и б) по записи некоторой последовательности сообщений в кодированной форме эта последовательность должна однозначно восстанавливаться. Тогда в качестве меры неопределённости принимают среднее значение длины кодовой цепочки, соответствующее самому экономному способу кодирования ; один двоичный знак служит единицей измерения (см. Двоичные единицы ).

  Пример. Пусть некоторые сообщения x₁ , x₂ , x₃ появляются с вероятностями, равными соответственно ¹ /₂ , ³ /₈ , ¹ /₈ . Какой-либо слишком короткий код, скажем

x₁ = 0, x₂ = 1, x₃ = 01,

непригоден, так как нарушается вышеупомянутое условие б). Так, цепочка 01 может означать x₁ , x₂ или x₃ . Код

x₁ = 0, x₂ = 10, x₃ = 11,

удовлетворяет условиям а) и б). Ему соответствует среднее значение длины кодовой цепочки, равное

Нетрудно понять, что никакой другой код не может дать меньшего значения, т. е. указанный код — самый экономный. В соответствии с выбором меры неопределенности, неопределенность данного источника сообщении следует принять равной 1,5 двоичной единицы.

  Здесь уместно подчеркнуть, что термины «сообщение», «канал связи» и т. п. понимают в И. т. очень широко. Так, с точки зрения И. т., источник сообщений описывается перечислением множества x₁ , x₂ ,... возможных сообщений (которые могут быть словами какого-либо языка, результатами измерений, телевизионными изображениями и т. п.) и соответствующих им вероятностей p₁ , p₂ ,...

  Нет никакой простой формулы, выражающей точный минимум H’ среднего числа двоичных знаков, необходимого для кодирования сообщении x₁ , x₂ ,..., x_n через вероятности p₁ , p₂ ,..., p_n этих сообщений. Однако указанный минимум не меньше величины

(где log₂a обозначает логарифм числа a при основании 2) и может превосходить её не более чем на единицу. Величина Н (энтропия множества сообщений) обладает простыми формальными свойствами, а для всех выходов И. т., которые носят асимптотический характер, соответствуя случаю H’ ® yen, разница между H и H’ абсолютно несущественна. Поэтому именно энтропия принимается в качестве меры неопределённости сообщений данного источника. В приведённом выше примере энтропия равна