Архитекторы компьютерного мира

По совету Буша Шеннон решил добиваться докторской степени по математике в MIT. Идея его будущей диссертации родилась у него летом 1939 года, когда он работал в Cold Spring Habor в Нью-Йорке. Буш был назначен президентом Carnegie Institution в округе Вашингтон и предложил Шеннону провести там немного времени: работа, которую делала Барбара Беркс по генетике, могла послужить предметом, для которого Шеннон применит свою алгебраическую теорию. Если Шеннон смог организовать переключение цепей, то почему он не сможет сделать то же в генетике? Докторская диссертация Шеннона, получившая название "Алгебра для теоретической генетики", была завершена весной 1940 года. Шеннон получает докторскую степень по математике и степень магистра по электротехнике. Т. Фрай, директор отделения математики в Bell Laboritories, был впечатлен работой Шеннона в области символической логики и его математическим мышлением. Летом 1940 года он приглашает Шеннона работать в Bell. Там Шеннон, исследуя переключающие цепи, обнаружил новый метод их организации, позволяющий уменьшить количество контактов реле, необходимых для реализации какой-либо сложной логической функции. Он опубликовал доклад, названный "Организация двухполюсных переключающих цепей". В конце 1940 года Шеннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в Bell Laboratories. С началом войны Т. Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шеннон присоединился к этой группе и работал над устройствами, которые засекали вражеские самолеты и нацеливали зенитные установки.

AT&T, владелец Bell Laboratories, была ведущей фирмой мира в области связи и естественно, что в лабораториях Bell также велись работы по системам связи. На этот раз Шеннон заинтересовался электронной передачей сообщений. Мало, что было понятно ему в этой области, но он верил, что математика знала ответы на большинство вопросов.

Сначала Шеннон задался простой целью: улучшить процесс передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических возмущений или шума. Он пришел к выводу, что наилучшее решение заключается не в техническом усовершенствовании линий связи, а в более эффективной упаковке информации.

Что такое информация? Оставляя в стороне вопрос о содержании этого понятия, Шеннон показал, что это измеримая величина: количество информации, содержащейся в данном сообщении, есть функция вероятности, что из всех возможных сообщений будет выбрано данное. Он назвал общий потенциал информации в системе сообщений как ее "энтропию". В термодинамике это понятие означает степень случайности (или, если угодно, "перемешанности") системы. (Однажды Шеннон сказал, что понятием энтропии ему посоветовал воспользоваться математик Джон фон Нейман, указавший, что, т. к. никто не знает, что это такое, у Шеннона всегда будет преимущество в спорах, касающихся его теории.)

Шеннон определил основную единицу количества информации, названную потом битом, как сообщение, представляющее один из двух вариантов: например, "орел" — "решка", или "да" — "нет". Бит можно представить как 1 или 0, или как присутствие или отсутствие тока в цепи.

На этом математическом фундаменте Шеннон затем показал, что любой канал связи имеет свою максимальную пропускную способность для надежной передачи информации. В действительности он доказал, что, хотя можно приблизиться к этому максимуму за счет искусного кодирования, достичь его невозможно. Этот максимум получил известность как предел Шеннона.

Каким образом можно приблизиться к пределу Шеннона? Первый шаг заключается в том, чтобы воспользоваться избыточностью кода. Подобно тому как влюбленный мог бы лаконично написать в своей любовной записке "я лбл в", путем эффективного кодирования можно сжать информацию, представив ее в наиболее компактной форме. С помощью специальных методов кодирования, позволяющих проводить коррекцию ошибок, можно гарантировать, что сообщение не будет искажено шумом.

Идеи Шеннона были слишком провидческими, чтобы иметь немедленный практический эффект. Схемы на вакуумных электронных лампах просто не могли еще вычислять сложные коды, требовавшиеся для того, чтобы приблизиться к пределу Шеннона. На самом деле только в начале 70-х годов с появлением быстродействующих интегральных микросхем инженеры начали в полной мере пользоваться теорией информации.

Все свои мысли и идеи, связанные с новой наукой — теорией информации, Клод Шеннон изложил в монографии "Математическая теория связи", опубликованной в 1948 году.