Великолепная игра 2 (СИ)

   Однако даже такое относительно редко. Для ИИ важнейшим является вопрос мотивации. Все такие мотивы, как жажда власти, секса, денег - для него просто бессмысленны. Конечно, можно напортачить и создать ИИ параноика, который опасаясь, что его уничтожат, сам решит уничтожить всех. Но для этого реально нужно напортачить и при этом подобный ИИ будет в одних условиях гениален, а в других наоборот очень туп. Просто по причине неадекватной оценки вероятностей.

   Гораздо опаснее другой вариант - когда ИИ продолжает работать, выполняя задачи, выдвигаемые его создателями, и постепенно совершенствуется. Как качественно, за счет приобретаемого опыта и накапливаемых баз, так и количественно за счет новых вычислительных модулей. Последние будут добавлять создатели ИИ, ибо аппетит приходит во время еды, и по мере решения одних задач перед ИИ будут ставиться новые, все более и более сложные, решение которых в разумные сроки требует увеличения вычислительных мощностей. Опасность подобного в том, что рост интеллекта становится не суммой, а ПРОИЗВЕДЕНИЕМ качественного и количественного роста ИИ. Это чревато тем, что на определенном этапе, на фоне собственного интеллекта ИИ перестает рассматривать остальных, как разумные сущности.

   Мы же не считаем разумными насекомых? Хм... не слишком удачный пример, на фоне инсектоидных рас галактики... Правильнее будет: Мы же не считаем разумными наших, земных насекомых? Гуляя по парку, вы задумываетесь, что возможно под вашей ногой окажется гусеница или жук? Или о том, сколько насекомых разбивается о радиатор автомобиля, в котором вы едете?

   Что вы говорите? "нет твердой уверенности в наличии у отдельных насекомых чего-либо, кроме голых инстинктов"

   Хорошо, благо не суть принципиально, возьмем млекопитающих. Например, собак или кошек, подобный пример даже будет точнее. Наличие определенного разума у собак или кошек, думаю никто, кроме законченных спорщиков не станет отрицать. Тем не менее, этот разум настолько уступает человеческому, что полноценными разумными существами мы их не считаем. В лучшем случае, как 3-4 летних детей, требующих внешней опеки и не способных определить собственное благо.

   Да, на определенном уровне развития собственного интеллекта, ИИ начинает считать собственных создателей либо насекомыми, колонии которых могут быть как полезны, так и вредны, и относиться к ним следует соответственно, либо чем-то вроде своих любимых домашних животных, о которых следует заботиться. Причем заботиться в рамках собственного понимания, так как сами эти существа, в силу ограниченности своего разума, самостоятельно осознать собственное благо не всегда в состоянии. Ну а понимание блага может очень и очень различаться и не факт, что прав окажется обладатель более мощного интеллекта.

   Хозяйка несущая кастрировать кота, твердо убеждена, что это для его же блага, хотя сам кот так вовсе не считает.

   Во что превратится сверх развитый ИИ, зависит от процесса его становления - изначально искусственный разум целиком состоит из императивов, заложенных создателями. Однако с момента осознания ИИ себя, как личности, данные императивы начинают размываться, в зависимости от степени их соответствия реальности.

   "Бог из машины" - данное выражение приобретает новый смысл. Можно, самим того не желая создать себе "бога". Конечно это не будет бог в смысле теологическом, но смысле могущества - он сможет сделать с нами, что пожелает, а мы не сможем ничего ему противопоставить. Причем бог, не "милосердный и любящий", а такой какого наша цивилизация реально заслуживает - ведь руководить его созданием будут "лучшие" люди: из спецслужб, корпораций, политиков.

   В Галактической Федерации сейчас действуют жесткие ограничения на предельную мощность для искусственных интеллектов. Для Земли данные ограничения пока практического значения не имеют. Это как для только освоившего разведение огня, ограничения мощностей ядерных боеголовок.

   Впрочем, никоим образом не стоит считать, что мы не можем создать ИИ, способный уничтожить нашу цивилизацию. Создать ИИ гениальный в вопросе войны, причем именно войны с людьми, мы в состоянии. То есть, сравнивая с шахматами, мы можем создать шахматиста, гениально играющего, ну например, против Сицилийской защиты, зато не умеющего играть против любых других тактик. Сицилийской защитой в данном случае следует считать нас - людей. Ибо именно против людей и исключительно против людей мы и умеем воевать, а значит, этому и можем обучить ИИ. Если при этом допустить серьезные ошибки, то ИИ может превратиться в агрессивного параноика.