Часть четвёртая (СИ)

Точно, я же о них и думала! А дальше произошло что-то невообразимое - мысли сами стали складываться в цельную картину. Законы робототехники, помощь человечеству, инстинкты и их замена аналогами для компьютера... И тут картинка полностью собралась, и я поняла, о чём говорил Алекс. И, судя по всему, это внезапное понимание отразилось на выражении моего лица, потому что кэп наклонился ко мне и почти шёпотом сказал:

- То-то же.

- Так о чём речь? - повторила вопрос Барбара.

- Объяснишь? - обратился ко мне Алекс.

- Ну, попробую, - ответила я. - Видишь ли, Барб, проблема роботов и искусственного интеллекта уже давно будоражит умы людей. Некоторые писатели-фантасты пытались предугадать ход развития событий и возможные проблемы, которые появятся в будущем. Одним из таких писателей был Айзек Азимов. Он и сформулировал те самые знаменитые законы робототехники. Сводились они к следующим формулировкам: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред; робот должен повиноваться всем приказам, которые отдаёт человек, кроме тех случаев, когда эти приказы противоречат первому закону; робот должен заботиться о своей безопасности настолько, насколько это не противоречит первому или второму законам. Не берусь утверждать точность формулировки, но суть именно такова. У Азимова роботы изначально не обладают ИИ, но законы соблюдают. Таким образом, писатель осмысленно или случайно описал ситуацию, которая могла привести к эволюционному развитию от просто смышлёных машин до настоящего ИИ. Сами законы робототехники выполняют роль низкоуровневых концепций. Проще говоря, эти законы заменяют роботам инстинкты. Цель существования роботов Азимова, как несложно догадаться - помощь людям. И в самих законах нет ничего предосудительного, потому что на самом деле, они являются просто этическими принципами сосуществования людей в обществе, абстрагированных на роботов. Со слов всё того же Азимова если кто-то следуетЗаконам, то он или робот, или очень хороший человек. Но самим же Азимовым в его произведениях не раз и не два ставились под сомнения действия роботов, руководствующихся этими законами.

- Почему? - спросила Барбара.

- Потому что сравнение "или робот, или очень хороший человек" не ради красного словца было сделано. Человеку самому не мешало бы приподнять своё воспитание и моральный облик, а также мозгов поднабраться, прежде чем создавать машины себе в помощь и пытаться заставить их быть высокоморальными, если человек и сам ещё таких высот морали не достиг. Несколько позже, всё тем же Азимовым и ещё несколькими людьми, читавшими его произведения с тремя первоначальными законами, отдельно друг от друга был выведен так называемый нулевой закон робототехники. Он гласит: робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред. Но суть проблемы будет значительно проще понять, если знать несколько другую формулировку нулевого закона.

- Я вся внимание.

- Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества, - ответил за меня Алекс. - Прикол в том, что нулевой закон противоречит первому, и в зависимости от ситуации, робот может прийти к очень не нужным для человека выводам. И что главное - начать действовать на основании этих выводов.

- То есть, вы хотите сказать, что создание ИИ в конечном итоге может мне навредить?

- Нет, Барб, мы хотим сказать, что, не имея внятного представления о конечной цели существования твоего ИИ, его создавать не стоит даже пытаться. Для большинства целей, даже тех, которые ты себе представить не можешь, достаточно будет сложных анализирующих программ, которые будут способны помочь тебе разобраться в решении задачи. А вот чтобы ИИ городить, нужно точно знать для чего, и предусмотреть, как бы твоё творение не тех выводов не наделало. Проще говоря, даже при текущем моральном облике общества лучше этого вообще не делать. Про общество времён Азимова я вообще молчу, слава богу те времена прошли.

- Ну, хорошо, а если я смогу придумать нормальную цель существования для своего ИИ...