Таинственные ответы на таинственные вопросы

Я регулярно встречаю людей, которые с распростёртыми объятиями ждут создания «более-глупого-чем-человек» искусственного интеллекта, или даже «чуточку-более-умного-чем-человек» ИИ. Стоит начать рассказывать им о разработке ИИ, намного превосходящего человеческие возможности, как они сразу относят это к «псевдонауке» (English). При этом, разумеется, ни у кого из них нет теории интеллекта (пусть и сомнительной), позволявшей бы рассчитывать верхний и нижний пределы мощи процессов оптимизации. Скорее, они просто ассоциируют сверхчеловеческий ИИ с литературным жанром беллетристики о конце света; а, услышав историю о небольшой компании под управлением ИИ, они вспоминают забавные заметки из «Компьюленты». Их утверждения не опираются на какую-либо модель разума. Они не понимают, что им нужна модель, чтобы делать такие утверждения. Они даже не понимают, что наука основана на моделях. Их уничижительная критика целиком построена на сравнениях с апокалиптическими сюжетами, а не на, скажем, существующих принципах, которые делают невозможными подобное развитие событий. Наука для них — лишь литературный жанр, или группа «своих», к которой стоит быть причастным. Одеяние, которое они носят, не похоже на лабораторный халат, и футбольная команда, за которую они болеют, — это не учёные.

Есть ли что-то такое в науке, верой во что вы гордитесь, но до сих пор не применяете вашу веру на практике? Вам лучше спросить себя сейчас, какие возможные варианты будущего ваша вера запрещает. Эта проверка покажет, что вы усвоили на самом деле, что вы сделали частью своей личности. Всё остальное — скорее всего, лишь пароли или одеяния.

Перевод:

santacloud, MacDelph, BT, kostyazen, 7yukari7, Dmitry Antonyuk

http://lesswrong.com/lw/ir/science_as_attire/

Лжепричинность

Элиезер Юдковский

Флогистон — это ответ Европы XVIII века на первоэлемент огня, введённый греческими алхимиками. Зажги древесину и позволь ей сгореть. Что представляет из себя эта яркая оранжевая штука? Почему древесина превратилась в пепел? На оба эти вопроса химики XVIII века отвечали — «флогистон».

…и больше ничего. Это всё, в этом и заключался их ответ: «флогистон».

Флогистон покидал горящие вещества как видимое пламя. В результате горящие вещества теряли свой флогистон и становились пеплом, своим «истинным материалом». Огонь, помещённый в герметичный сосуд, быстро гас потому, что воздух насыщался флогистоном и больше не мог его вместить. Уголь почти не оставлял никакого пепла, потому что он почти полностью состоял из флогистона.

Разумеется, никто не использовал теорию флогистона для того, чтобы предсказать результат химического превращения. Алхимик сначала смотрел на результат, а затем при помощи флогистона объяснял его. Не было и намёка на то, чтобы флогистонщики предсказали прекращение горения в замкнутом сосуде; они, скорее, зажгли огонь в сосуде, увидели его угасание и затем сказали: «Должно быть, воздух насытился флогистоном». Теорию флогистона нельзя применить для того, чтобы выяснить, чего ты точно не сможешь увидеть. Она может объяснить всё.

Наука ещё только начинала выходить на сцену. Очень долго никто не осознавал, что в этой теории что-то не так.

Встретив лжеобъяснение, очень легко не ощутить его фальшивость: потому они и опасны.

Современные специалисты предполагают, что люди думают о причино-следственных связях, используя нечто вроде направленных ациклических графов или байесовских сетей. Поскольку шел дождь, тротуар мокрый; поскольку тротуар мокрый, он скользкий:

[Дождь] → [Тротуар мокрый] → [Тротуар скользкий]

Из этого можно вывести (а, имея байесовскую сеть, можно даже точно вычислить эту вероятность), что, если тротуар скользкий, то, вероятно, шёл дождь. Однако, если уже известно о мокрости тротуара, то сообщение о его скользкости не несёт в себе никакой новой информации о дожде.

Почему огонь горячий и яркий?

[«Флогистон»] → [Огонь горячий и яркий]

Это выглядит как объяснение. И в мозгу эта информация хранится в том же формате и под тем же расширением, что и «настоящие» объяснения. Но человеческий разум неспособен автоматически определить, что стрелка, соединяющая гипотезу с её возможными следствиями, никак не ограничивает пути, которыми могут проявляться эти следствия. Эффект знания задним числом делает ситуацию ещё хуже: люди могут считать, что гипотеза действительно ограничивает происходящее, хотя на самом деле гипотеза подогнана под происходящее постфактум.