Информация ассоциируется с энтропией — мерой термодинамического беспорядка. Макросостояние «12 бросков монеты» соотносится с большим количеством микросостояний (бинарные цифры), чем макросостояние «3/7». В 12 бросках содержится больше информации.
Информация — это мера случайности, так как случайность — это мера беспорядка: того, что сложно описать.
Информация — это мера того, какая неожиданность нас ожидает: в беспорядке больше неожиданностей, чем в порядке. На самом деле именно это мы и подразумеваем под порядком: нечто, что не может нас удивить, так как оно упорядочено.
Странность определения информации, данного Шенноном, становится теперь более постижимой: информация может быть определена только тогда, когда мы знаем ее содержание, когда мы можем сказать, о каких макросостояниях и микросостояниях мы ведем речь. Информация может быть определена только тогда, когда мы объясняем, что мы имеем в виду под порядком.
Теорема Геделя говорит нам о том, что мы никогда не сможем знать, есть ли порядок в случайности — порядок, который мы просто пока не увидели. Чтобы установить, сколько информации содержится в беспорядке, нам сначала необходимо знать, сколько порядка уже обнаружено в этом беспорядке. Мы не можем определить информацию до тех пор, пока мы не узнаем, какой порядок обнаружил получатель информации. Информацию нельзя установить без знания ее содержания. И не потому, что с нашим понятием информации что-то не так, а потому, что понятие порядка и случайности обязательно включает в себя элемент субъективности.
Каждый из этих трех джентльменов создал теорию алгоритмической информации независимо друг от друга. Андрей Холмогоров, один из величайших математиков столетия, работал в Москве; Реймонд Соломонофф — в Кембридже, Массачусетс, а Грегори Чаитин — в Нью-Йорке. Грегори Чаитину удалось дальше всего продвинуться в этой теории. В 60-е годы прошлого века, когда родилась эта теория, Чаитин учился в Городском университете Нью-Йорка. В настоящее время он работает в IВМ Laboratories в Йорктаун Хайс около Нью-Йорка (там, где работают Рольф Ландауэр и Чарльз Беннетт).
Чаитин доказал, что открытия Геделя естественны и легки для понимания: Гедель показал, что любая формальная система, состоящая из конечной серии постулатов или аксиом, всегда будет содержать неполные утверждения. Подобную систему невозможно полностью изучить изнутри. Мы никогда не сможем ее полностью постичь, если ограничим себя формальными методами доказательства.
«Теорему Геделя можно продемонстрировать с помощью аргументов, которые будут иметь информационно-теоретический привкус, — пишет Чаитин. — В подобном подходе можно утверждать, что если теорема содержит больше информации, чем данный набор аксиом, то ее невозможно вывести из этих аксиом. Это составляет контраст с традиционным доказательством, которое базируется на парадоксе лжеца. Эта новая точка зрения предполагает, что феномен неполноты, открытый Геделем, является скорее естественным и широко распространенным, нежели необычным и патологическим».
Но Чаитин также вывел свою теорему как продолжение теоремы Геделя. Он начал с задачи остановки Тьюринга — можем ли мы знать, когда остановится компьютер, решив задачу? Ответ таков: мы узнаем только тогда, когда он остановится.
Чаитин задался вопросом: какова была вероятность, что машина Тьюринга, которой дана в высшей степени случайная программа, остановится, так как она нашла решение? Он доказал, что возможность эта не обнаруживаема. Мы не можем ее подсчитать. Это число под названием Омега. Оно находится где-то между 0 и 1. Но мы никогда не сможем его узнать.
Чаитин доказал: это значит, что сама теория целых чисел должна быть пронизана случайностями. Теорию чисел нельзя описать, не вводя в картину случайные элементы.
В 1988 году британский математик Иан Стюарт, которого можно с уверенностью считать самым знающим комментатором современной математической науки, писал в журнале «Nature»: «Для основ математики и даже до философии применительно к науке это столетие оказалось столетием разбитых иллюзий. Одно удобное предположение за другим разлетались вдребезги в лицо математикам. Предположение о том, что формальная структура арифметики является точной и постоянной, оказалось бомбой замедленного действия — а Чаитин только привел в действие детонатор».