Иногда в качестве принципиального отличия ИИ от ЕИ говорят, что ИИ "действует по алгоритму". Но нейрон тоже действует по алгоритму, а то, что нейронов у человека много, не делает их менее алгоритмичными. Если мы все-таки свяжем интеллект с количеством нейронов, нам придется отвечать на вопрос - где граница? Если мы осмелимся ответить, компьютерщики предъявят систему, которая не слабее или назовут год, когда сделают это. Если нам скажут, что в компьютере алгоритм не меняется, а в человеке меняется, то мы ответим, что алгоритм в компьютере может изменяться, причем само изменение может быть изменяемым и так далее сколько угодно раз. То есть имеются в виду не последовательные изменения одного алгоритма, а вложенные, то есть на каждом уровне изменяется нижележащий алгоритм.
На аргумент о непредсказуемости происходящего в мозгу человека мы спросим, как вы отличаете непредсказуемость от простого человеческого незнания или от случайных процессов, а в ответ увидим закатываете глаз и услышим произнесение с придыханием "голография" и "квантовые процессы".
Тут ощущается горячее дыхание серьезной проблемы. Проблема вложенных алгоритмов - это часть "проблемы возникновения нового". Когда при усложнении структуры и алгоритмов возникает "новое" и почему? Вот вариант простого и конструктивного ответа - когда мы видим изменение наблюдаемых нами признаков. Когда возникает речь, использование орудий, хранение орудий, изготовление орудий, передача навыков, рисунки на стенах пещер... А на вопрос "почему" у нас нет ответа. Когда мы сможем загрузить в машину времени установку фМРТ, то сможем узнать, какие структуры в мозге работали, когда наш предок делал что-то новое. Такое исследование интересно проделать и в современности, и есть попытки https://www.nkj.ru/news/26522/
От ИИ могут требовать решения этических задач, которые не имеют общего решения. Классический пример - "проблема вагонетки"
https://publications.hse.ru/articles/846074095
Решения у подобных задач нет не потому, что мы его не знаем, а потому, что мы знаем их много; причем разные "мы" знают разные решения. Как на персональном уровне, так и на уровне групп (половых, возрастных, населения стран, религиозных групп и т. д.). Содержательный анализ тут:
https://elementy.ru/novosti_nauki/433355/
Более того - индивидуальные мнения могут в некоторых случаях зависеть от многих факторов, о которых мы даже не подозреваем. А на групповом уровне - от деятельности пропаганды, которая, как оказалось, вполне может натравить один народ на другой. Я имею в виду, разумеется, гитлеровскую Германию.
Человечество имеет опыт таких ситуаций - сначала это межплеменные и религиозные войны, а потом голосования и прочие признаки цивилизации. Хочется надеяться, что опыт цивилизованного решения этических проблем будет людьми расширен. Попутно - чтобы было меньше обиженных, можно ввести компенсации проигравшим за счет выигравших. Причем до голосования выяснять, какую компенсацию победителей к побежденным все в среднем сочтут правильной (например, дневной или недельный доход). Социологи и психологи вполне могут это выяснить.
Проблема "ИИ и этика" может осложняться тем, что для ИИ, как кажется некоторым людям, надо разработать формальное решение, а это воспринимается как посягательства на человеческие прерогативы. Однако мы знаем, что ЕИ может обучаться той или иной этике (в том числе и этике, предписывающей массовые убийства в отношении другой этнической группы). Наверное, так же этике может обучиться ИИ. Причем в этом случае отпадает возражение о формализации, потому что выработка формализации вообще не имеет места.
Но возникает другая проблема - мы видим, что люди в смысле "этики" очень разные. Можно осторожно предположить, что и ИИ могут в этом смысле оказаться разными. Будем надеяться, что лучшие айтишники и собеседники окажутся на светлой стороне. И что мы сами, и те, кто нам дорог, будут именно на ней. Попутно заметим, что с тем, как решает этические проблемы человек, тоже не все ясно - и может быть, погружение в проблему ИИ позволит нам лучше понять ЕИ. Различия в ИИ будут возникать, как и у ЕИ, в процессе воспитания, взросления. В том числе и непреднамеренно, в результате общения с разными ЕИ. Станислав Лем, рассказ "Ананке"
http://www.serann.ru/text/ananke-8923