Выживание есть и у компьютерных программ - хорошие программы живут, то есть применяются людьми, дольше. Конкуренция между программами имеет своим следствием улучшение их параметров, это улучшение делается человеком, который играет роль природы. Если мы хотим, чтобы ИИ стал в этом смысле подобен человеку, нужно заложить в ИИ способность к (случайному или закономерному) изменению параметров, запустить в сеть много таких ИИ и предоставить им возможность оказывать человеку услуги. Оказание услуг можно сделать платным, а заработанные деньги ИИ может тратить на усовершенствование и размножение. Тут уж ему придется делать выбор - совсем как нам.
Цели могут возникать (и у ЕИ, и у ИИ) несколькими способами, причем всегда - при обнаружении зависимостей. Самосохранение является обязательным для любой деятельности, и если поставлена какая-то цель, требующая деятельности, то самосохранение тоже становится целью. А если, например, поставлена цель - забота о человеке, то немедленно становится целью вся медицина, существенная часть биологии и прочих естественных наук, ну и других наук тоже. Именно так происходит в цивилизованном обществе ЕИ и, будем надеяться в обществе с ИИ.
Иногда говорят, что у ИИ не может быть эмоций, и это ущербность. А зачем вообще эмоции человеку? Кое-что очевидно: они управляют телом, например, сжимают сосуды, чтобы уменьшить потерю тепла. Как пишут в книжках по альпинизму, страх замерзнуть увеличивает вероятность замерзания (в этом виде спорта я до таких высот не поднялся). Но эмоции управляют и психикой - возбуждая какие-то зоны в мозгу, они могут ускорять обработку информации именно в них. Увеличивая снабжение их кровью, то есть кислородом, или посредством веществ, которые ускоряют работу - возможно, ценой ускорения износа. Или более изощренно, электрически - подняв уровень шума или возбудив колебания (про которые не понятно, зачем они вообще в мозге и почему мы не пытаемся в этом разобраться), и этим понизив порог срабатывания нейронов. В этом случае мозг будет быстрее и обучаться, и работать, но больше делать ошибок. В ситуации, когда цена времени больше, чем цена ошибки, это может оказаться полезно.
Но управление через эмоции вполне можно реализовать и в компьютере - например, возможно изменение приоритета выделения ресурсов программам в зависимости от ситуации. Возможно изменение "степени параноидальности" антивирусных и других защитных программ при получении информации об опасности. Чем это будет отличаться от эмоций? Отсутствием осознания? Но и человек не всегда осознает, как выглядит. Особенно, когда влюбляется... или дискутирует об ИИ. Кроме того, осознание в компьютере есть, любой log - это оно; особенно, если система его использует.
Что касается самосознания, то люди учат людей, не зная, как работает мозг, и иногда учат успешно. Мы не понимаем, как ИИ пишет стихи, успешно имитируя стиль великих поэтов. Не вполне понимаем, как ИИ доказывает математические теоремы (Брайан Дэвис "Куда движется математика?")
https://elementy.ru/nauchno-populyarnaya_biblioteka/164681/
и как строит физические модели (Сергей Попов "Маглы в мире андроидов"),
https://elementy.ru/nauchno-populyarnaya_biblioteka/434304/
он же "Грядут перемены"
https://www.trv-science.ru/2023/06/mirovuyu-nauku-zhdut-peremeny/
Это является психологической проблемой для человека, но придется привыкнуть. С другой стороны, программа Watson уже знает, что она что-то знает. Она сравнивает и ранжирует алгоритмы - что это, как не самосознание? Причем в ней есть блок WatsonPaths, который показывает человеку пути, по которым программа шла к ответу. В результате эта программа стала учить студентов-медиков, как идти к диагнозу.
Но невозможность понять, как работает ИИ, то есть нечто, созданное нами самими, может серьезно влиять на наше к нему отношение и способность к трезвым оценкам и суждениям. Впрочем, наши дети тоже созданы нами, но всегда ли мы их понимаем? И тем более - понимаем ли мы, как они приходят к тем или иным выводам? И не влияет ли это непонимание на наше к ним отношение? Размышление о ИИ вполне может привести к улучшению пониманию себя.
Некоторые авторы вопрошают, понимала ли программа, что читала и слышала? Если мы хотим не просто поговорить с приятными людьми, а что-то понять, то нужно дать определение "понимания", причем допускающее экспериментальную проверку, измерение. Пусть, например, понимание - это успешное определение, в каком смысле употреблено в тексте то или иное многозначное слово. А также установление связей новой информации с уже имеющейся, встраивание нового знания в свою систему знаний. Понимание при общении, это определение субъективного смысла того или иного слова, для данного собеседника и в конкретной ситуации, и опять же, встраивание. Если принять такое (довольно жесткое) определение, то да, ИИ это может.