Но все это - сравнение именно с человеком. А может ли существовать нечеловеческий интеллект? Да, у обезьян интеллект явно есть, но мы воспринимаем его, сравнивая с человеческим. А существует ли не сверхчеловеческий, и не недочеловеческий, а просто "не", просто другой? Интеллект - это часть психологии, задача "придумать психологию" не кажется безнадежной
http://lit.lib.ru/a/ashkinazi_l_a/text_3020.shtml
как и соседняя задача - придумать социологию
http://fan.lib.ru/a/ashkinazi_l_a/text_4420.shtml
Рассуждая формально, придумать другую психологию и социологию было бы проще всего, поняв, частью чего они являются, и посмотрев, что лежит рядом с ними. Другой путь - разделив их на части, и либо соединив эти же части иначе, либо изменив их список.
Сравнивая ИИ с человеком, иногда переходят (может быть, не заметив этого) от сравнения с человеком к сравнению с идеалом. Эта ситуация имеет два уровня - когда идеал существует хотя бы в принципе, и когда он вообще не существует и не может существовать. Пример первой ситуации - отношение к автомобилю, управляемому ИИ. Такой автомобиль намного безопаснее обычного, но некоторые готовы примириться с ним лишь при абсолютной гарантии безопасности. Которой быть не может, хотя бы потому, что человек может броситься под колеса или отправить туда ближнего своего. Чего не сделаешь, чтобы доказать, что робоавтомобиль опасен.
Конструируя ситуации, которые должны по их замыслу испугать, авторы иногда нарушают логику. Например, пишут: "Если полицейские отряды, состоящие из людей, могут отказаться выполнять какие-то драконовские директивы (например, убивать всех представителей определенной демографической группы), то такая автоматизированная система не поддастся никаким угрызениям по поводу проведения в жизнь любых капризов вышестоящих человеческих существ". Имея в виду попугать машинами, автор проговорился - "капризы человеческих существ". Кроме того, мы видим - есть миллионы людей, которые прекрасно "не поддаются угрызениям".
Вот еще пример ситуации, предложенной мне одним из оппонентов (текста нет в интернете и автора не называю). "Человек садится в свое беспилотное авто, говорит адрес, машина блокирует ручное управление и двери и привозит человека в полицейский участок. Почему? Потому, что адрес - вблизи места сбора митинга оппозиции. Или ИИ, зная, что по адресу будет такой митинг и, зная, чем он может закончиться, заботится о безопасности хозяина (в строгом соответствии с законами роботехники Азимова) и в полицию не повезет, а просто увезет хозяина из города и не выпустит пока митинг не закончится. Такая вот этика и гуманизм ИИ".
Автор ситуации не обратил внимания на более простые решения. Не тратить бензин, а просто запереть и стоять на месте, или запереть в их машинах всех, кто собирался приехать на митинг. Или - беречь так беречь! - запереть всех в домах. Вот в мире каких кошмарных фантазий живут некоторые; отнеситесь к ним с пониманием и сочувствием. Обратите внимание - эти кошмарики сконструировали умные люди, причем сконструировали именно на базе знания людей, знания нашей человеческой истории.
Вот еще одна страшилка "от оппонента" (текста нет в интернете и автора не называю).
"Родителям ребенка с диагнозом "дебилия" предлагают вживить что-то ему в мозг. Они согласны. Ребенок становится первым учеником, победителем олимпиад, пишет стихи и рисует картины, сочиняет музыку, играет на инструментах, знает несколько языков, поступает в университет. Родители в восторге, но это - не их ребенок, тело их ребенка стало аватаром ИИ. Чип в мозгу - только средство связи. А сам мозг только управляет физиологическими функциями". Идея сама по себе интересная, и людям когда-то надо будет решать, реализовать ли ее и в какой мере. Можно, конечно, вместо решения - пугаться; но это проблема человека, а не ИИ.
Ненадежны могут быть не только беспилотные автомобили и промышленные роботы. Любая программа может выдать неправильные цифры - из-за ошибок, сделанных ее автором, ошибок других программ и сбоев железа. Мы привыкли к этому, и как-то научились с этим умеренно справляться, хотя самолеты иногда перепутывают верх и низ. Но перепутывает и человек - была версия, что однажды хотели сбить своего, чтобы получить casus belli, а по криворукости грохнули чужого. Но программы, на коробке с которой написано ИИ, человек боится больше, и поэтому предъявляет к ней больше требований. И совершенно зря - потому, что он сам ошибается чаще этой программы.