Разум: от начала до конца. Новый взгляд на эволюцию сознания от ведущего мыслителя современности

Существуют способы укрепить эти границы, даже если мы тем самым сузим пространство и сделаем их заметными всем. На нашу территорию постоянно будут вторгаться инновации, и если мы изучим ошибки прошлого, то поймем, что каждый шаг вперед будет даваться все дороже. Для подобной ситуации существуют и противоядия, которые нам следует запасти заранее. Известно, что люди быстро принимают интенциональную позицию по отношению ко всему, что производит на них впечатление умного, вдобавок по умолчанию предполагается, что интенциональность – это рациональность (или понимание), поэтому необходимо предпринять конкретные усилия, чтобы показать людям, что следует умерить свою доверчивость при взаимодействии с антропоморфными системами. Во-первых, мы должны разоблачать и высмеивать любой беспричинный антропоморфизм в компьютерных системах: миленькие, почти человеческие голоса, всякие прикольные заигрывания. Общаясь с компьютером, вы должны понимать, что общаетесь с компьютером. Те системы, в которых намеренно скрыты сокращения пути расчета или провалы некомпетентности, должны быть признаны мошенническими, а их создатели должны идти под суд за намеренное совершение преступления и создание искусственного интеллекта, который они пытались выдать за человека.

Мы должны поощрять развитие традиций скромной ответственности, когда рекламные ролики сопровождаются обязательным списком пределов, недостатков, непроверенных вероятных сбоев и других источников когнитивных иллюзий (это правило обязательно сегодня для фармацевтических компаний, которые должны сопровождать свою продукцию почти комически длинными списками известных побочных эффектов всякий раз, как они начинают рекламировать свою продукцию по телевизору). Тестирование, определяющее пределы понимания на основе теста Тьюринга, должно стать новейшей практикой, поощряющей людей гордиться своими способностями распознавать мошеннический прием в машине, точно так же, как они гордятся способностью распознать обманщика на рынке. Кто может найти самый быстрый и надежный способ обозначить границы для интеллектуальных инструментов? (Оказывается, что, обучая детей толерантности и вежливости в общении с незнакомыми людьми, мы получаем в придачу и не совсем желательные скрытые последствия: они становятся уязвимыми пользователями целой кучи способных к вербализации «ложных посредников», с которыми они сталкиваются в Сети. Они должны усвоить, что с этими ничего не чувствующими «помощниками» надо проявлять агрессию и невежливое любопытство.)

Мы должны надеяться, что новые когнитивные протезы будут по-прежнему разрабатываться в качестве паразитов, инструментов, но не сотрудников. Их единственной «врожденной» целью, заложенной в них создателями, должен стать конструктивный и прозрачный ответ на запросы пользователя. Причина для беспокойства может появиться в машинах глубинного обучения, которые способны постепенно научиться угадывать, в чем мы, их пользователи, возможно, нуждаемся, и овладеть способностью скрывать от нас «воображение». Мы уже сталкиваемся с неудобствами, доставляемыми автоматической «коррекцией» того, что наш дивайс принимает за «орфографические ошибки», и многие из нас даже отключают порой эти функции, поскольку неверное толкование наших намерений встречается все еще довольно часто. Но мы имеем дело с пока всего лишь верхним слоем полупонимания.

Существуют и другие источники сложностей в области последних разработок, которые требуют комментариев. Google разработал программу, которая улучшила поисковую систему, автоматически выясняя, что пользователь действительно хотел узнать, вводя символы в строку поиска (http:// googleblog.blogspot.com/2010/01/helping-computers-understandlanguage.html). Это весьма полезная вещь во многих ситуациях, но не во всех. Как отметил Дуглас Хофстадтер в открытом письме бывшему студенту, работавшему в то время в Google над этим проектом: