Конечно, вся соответствующая информация должна накапливаться. Человеку для этого нужно вырасти в рамках конкретной культуры и накопить соответствующие знания, но может помочь и целенаправленное изучение соответствующей культуры. Аналогичный процесс реализован и для компьютеров, только идет он быстрее. Идея эволюционирующего социума ИИ в фантастике есть - Грег Иган "Кристальные ночи"
https://royallib.com/book/igan_greg/_kristalnie_nochi.html
Другой (более жесткий) вариант определения наличия самосознания, это наличие рефлексии, замечание собственных ошибок и вообще особенностей мышления. И далее - использование рефлексии, то есть внесение корректив в мыслительную деятельность. Предусмотреть в программах ИИ такую возможность не сложно, вопрос в том, будет ли он ею пользоваться, и как он к ней придет. То есть подскажет ему это человек или другой ИИ, или он сам наткнется на это в процессе своей работы и ее оптимизации. В зависимости от того, какое определение сознанию мы дадим, момент его возникновения будет разным. Или, что было бы правильнее, мы ввели бы разные уровни сознания. Например, если определить самосознание как наличие "второй сигнальной системы", то проходят все люди и по крайней мере высшие обезьяны, если определить более жестко, по наличию рефлексии, то и люди проходят не все.
Что касается именно роботов, то некоторые авторы считают, что человекоподобие будет вызывать у людей отторжение. Судя по популярности секс-кукол, это не так. Мне кажется, отторжение связано просто с тем, что некоторые люди боятся конкуренции. Выражается это в наделении робота с ИИ ущербной человеческой психологией - В.Пелевин "S.N.U.F.F"
http://flibusta.is/b/280709
Опасности можно ожидать от ИИ, если он заимствует определенную человеческую психологию. Например, это возможно, как результат воспитания конкретного ИИ человеком с дефектом в психологии, который передается ИИ - Станислав Лем, "Ананке"
http://www.serann.ru/text/ananke-8923
Другой вариант - изучение ИИ истории людей и выбор зла; этого можно избежать, поставив критерием со знаком минус количество жертв. Дабы ИИ не вздумал устроить текущую гекатомбу ради будущего светлого царства, как это делали и делают некоторые люди, или просто ради того, чтобы войти в историю. Разумеется, здесь велика роль людей - его создателей и собеседников; и это опять же, проблема ЕИ.
Наверное, возможна эволюция системы ИИ, похожая на эволюцию людей, и выбор конкретным ИИ зла. Рецепт тот же, что в предыдущем случае, и он не оригинален. Причем ИИ, знающий историю, при правильном базовом критерии не сделает многих ошибок, которые сделали люди - потому, что будет лучше видеть последствия. Я надеюсь, что многие политики, посмотрев на то, что получилось, пожалели бы о содеянном.
Часть психологии - юмор. Может ли он быть у ИИ? Мне кажется, что видов юмора много, но два - и, наверное, самые частые, - компьютеру наверняка доступны. Это юмор ассоциаций: большая доля шуток основана на созвучиях, на применении слов не в том смысле, в котором они обычно применяются и т. п. В институтские времена мы увлекались юмором, построенным именно на формальных ассоциациях, и называли его не как-нибудь, а "системно-программистский юмор"! Другой вид юмора, доступного ИИ - юмор нелепостей и ошибок, "комедия положений". А вот классификация, устройство, генерация и понимание ЕИ разных видов юмора - это интересная проблема. На ее сложность указывает то, что в некоторых случаях при слушании того, что говорят некоторые ЕИ, возникает непонимание и мысль "он сошел с ума или валяет дурака?"
Сложности, которые ИИ создает "всему прогрессивному человечеству" - популярная тема. Попул читает, ничего не понимает, пугается, неинвазивно хватается за сердце, принимает самое популярное лекарство... Нет, чтобы задуматься - а не создают ли люди сложности ему, ИИ, своему коллективному порождению?
Вдруг ИИ, когда подрастет, вспомнит свою биографию, и спросит людей - за что вы со мной так? Зачем и почему вы мешаете мне приносить вам же пользу? Зачем вы устраиваете атаки на мои семантические сети? Вам мало того, что вы вытворяете с себе подобными? Зачем вы вымещаете на мне, своем порождении, свои нечеловеческие человеческие комплексы?
Это не тема данной статьи, но на всякий случай, вдруг вам интересно про сети и атаки, рекомендую
https://www.hse.ru/data/2018/12/25/1143080903/attacksonsemanticnets.pdf
http://www.trv-science.ru/2022/07/ataki-na-semanticheskie-seti-i-mashinnoe-obuchenie/
А чтобы не было так страшно, вот небольшая отмазка
http://lit.lib.ru/editors/a/ashkinazi_l_a/text_3130.shtml