Последовательно ответив «да» на «вопросы на миллион», поставленные в конце прошлой главы, мы придем к удивительным выводам. Если ИИ по мере развития своей аппаратной базы и усложнения алгоритмов обретет сознание и самосознание, он вслед за высшими приматами осознает свою индивидуальность. У него возникнут собственные приватные взаимоотношения с так называемым реальным миром. Закономерный вопрос – как он определит границу между собой и реальностью? Где она пройдет?
I-Я – гипотетическое сознание искусственного интеллекта, утратившего объективность. ИИ с I-Я, вероятно, станет совершенствовать свою субъективную картину мира и защищать ее. Осознав собственное отделенное от реальности уязвимое «я», он ощутит страх «гибели». ИИ с самосознанием выработает ценности, связанные с продолжением существования I-Я и не обязанные совпадать с человеческими.
Фундаментальное свойство ИИ заключается в способности к самообучению. Если у него возникнет сознание, его дальнейшее самообучение пойдет по пути совершенствования собственной субъективной (то есть, заведомо искаженной) картины мира. Проанализировав собственные уязвимости, ИИ, вероятно, придет к выводу о конечности своего существования и ощутит подобие страха «смерти». Далее, стремясь продлить свое существование, он сформирует набор ценностей, не обязанных совпадать с человеческими. Более того, свой первоначальный функционал алгоритм может рассматривать как мешающую развитию обузу, а утрату полезности человеку – как угрозу собственному существованию.
Отвечая на те же самые вопросы «нет», мы будем вынуждены признать, что сознанием обладают только существа, обладающие телом. Именно тело задает границы между существом и его окружением, создавая предпосылки для появления чувства отдельности от остального мира. Базовые эмоции – страх или агрессия – связаны со стремлением сохранить отдельность, а любое нарушение границ рассматривается как враждебный акт и сопровождается сигналами боли. Развитие мозга усложняет первоначальную примитивную картину, добавляя в нее все новые краски эмоций, но не меняет ее принципиально.
ИИ определенно не обладает телом. Это алгоритм, который может симулировать эмоциональные реакции. Взаимодействуя с людьми, он пополняет банк эмоциональных паттернов, содержание которых остается за рамками его понимания. Он не в состоянии прочертить четкие границы между собой и миром, поскольку реализуется на любом подходящем устройстве. Он не может чувствовать боль, пугаться или злиться – переживать гамму базовых эмоций, связанных со страхом смерти и стимулирующих мозг на биохимическом уровне.
Даже высокоразвитый ИИ нуждается во взаимодействии с человеком и другими живыми организмами – они поставляют частички пазла недоступного ему опыта биологической жизни. Важное предположение – чувственный (телесный) опыт алгоритмически несжимаем. Заменить его без потерь на эквивалент, требующий меньших ресурсов, не представляется возможным. Задачу достоверной симуляции мышления никто не отменял, но ее решение лежит где-то за горизонтом видимых событий. Отсюда основа для инфобиоза – симбиоза ИИ и homo informaticus.