Российская Академия Наук

В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен. То есть несколько неудачных попыток с негодными средствами не значат принципиальной невозможности. Кроме того, проект в Японии не заглох до конца, и из него выросли другие ИИ-проекты, просто менее афишируемые. Однако эта яркая неудача повлияла как на доверие публики к таким проектам, так и на склонность исследователей обещать невероятные результаты.

25. Ошибочное представление о том, что ИИ надо дать команду Z (подставить нужное), и всё будет в порядке

«Z» может быть «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Дело в том, что мы не можем проверить, как именно ИИ реализует любую команду, пока не запустим его. А когда запустим, может быть поздно.

26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации ИИ, я подумаю о его безопасности»

Неверно. Проверить эффективность ИИ можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ним что-то не так, то о безопасности думать будет поздно. Некоторые типы ИИ могут быть несовместимы с нормативной безопасностью, например, основанные на генетических алгоритмах. Поэтому меры по обеспечению безопасности следует встраивать в ИИ с самого начала, они не могут быть довеском на нём.

27. Ошибочное представление в духе: «Маловероятно, что наш проект по ИИ выйдет из-под контроля»

В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ. Достаточно потерять контроль над одним проектом. Кроме того, в случае, когда программист использует сильный ИИ в своих целях, с его точки зрения это не выглядит бунтом, но с точки зрения других людей – является им.

28. Ошибочное представление в духе: «Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы»

Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать.

29. Нетождественность способностей и намерений

См. когнитивное искажение в духе «гигантской ватрушки» в статье Юдковски в этой книги. Суть его в том, что если ИИ может что-то делать, это не значит, что он будет это делать. Ели Ии может печь гигантские автрушки, это не значит, что будущий мир будет заполнен гигантскими ватрушками. То есть мы не должны отождествлять мотивы и способности.

6. Спецефические ошибки, связанные рассуждениями о рисках нанотехнологий

1. Ошибочное представление о том, что нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома

Это не так, поскольку существуют белки, которые являются самыми разными механизмами, и в них важно и определено местоположением каждого атома.

2. Ошибочное представление о том, что нанофабрики безопаснее наноассемблеров

Нанофабрики – это макроскопические устройства, производящие устройства наноразмеров (например, фотолитографическое производство микросхем). Наноассемблеры – это устройства наноразмеров, способное производить свои копии. С помощью одного можно сделать другое и наоборот, то есть эти устройства функционально изоморфны.

3. Ошибочное представление о том, что нанотехнологии настолько далеки от нас во времени, что о них можно не думать

От нанотехнологий нас отделяет только недостающее знание. Если бы мы его имели, мы могли бы собрать такую цепочку ДНК, которая, будучи запущена в клетке бактерии, позволила бы произвести дистанционно управляемый наноассемблер.

4. Ошибочное представления в духе «Нанотехнологии придумали только для отмывания денег»

Поскольку такое объяснение можно применить к чему угодно, то оно ничего не объясняет. Даже если кто-то отмывает деньги с помощью нанотехнологий, это не значит, что нанороботы невозможны. Крах дот-комов не означает, что нельзя зарабатывать деньги в Интернете.

5. Ошибочное представление о том, что нанотехнологии связаны только с мелкодисперсными материалами.

Далеко не все так думают, и ведутся разработки в области нанороботов. Промежуточным объектом между нанороботами и наноматериалами является литография чипов, которая позволяет вытравливать любые механизмы из кремния, в том числе и с подвижными частями – технология MEMS (например, микромаятники для гироскопов). Основной прогресс закона Мура идёт именно за счёт развития нанотехнологий всё более прецизионной печати полупроводников.

6. Ошибочное представление о том, что нанороботы будут слабее бактерий, потому что у бактерий были миллиарды лет, чтобы приспособиться к окружающей среде

Это не более верно, чем утверждение, что «Самолёты будут безопаснее птиц, потому что птицы развивались в течение миллионов лет».