Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens

Если вы верите, что жесткий старт — вещь опасная, то самый безопасный вариант — построить продвинутый УЧИ как можно скорее, чтобы он возник тогда, когда поддерживающие технологии не так сильны и бесконтрольный жесткий старт менее вероятен. И надо попытаться сделать это до появления развитых нанотехнологий или самомодифицирующихся роботов, то есть таких роботов, которые самостоятельно меняют свою форму и функциональность, приспосабливаясь к любой работе.

В общем, Гертцель не принимает до конца идею жесткого старта, который приведет к апокалипсису, то есть не верит в сценарий Busy Child. Его аргумент прост — выяснить, как строить этичные системы ИИ, можно только на практике, строя их, а не рассуждая издалека, что они непременно будут опасны. Но и опасность он не исключает.

Я бы не сказал, что меня это не беспокоит. Будущее содержит громадную постоянную неопределенность. У меня есть дочь, сыновья и мама, и я не хочу, чтобы все эти люди умерли потому, что какой-то сверхразумный ИИ переработает их молекулы в компьютрониум. Но я считаю, что теория построения этичного УЧИ возникнет на основе экспериментов с системами УЧИ.

Когда Гертцель говорит это, позиция градуалистов представляется довольно разумной. Действительно, в будущем нас ждет громадная неопределенность. А ученые, разумеется, в ходе работы над УЧИ узнают многое о том, как следует обращаться с разумными машинами. В конце концов машины эти будут сделаны людьми. Компьютеры, став разумными, не превратятся мгновенно в абсолютно чуждые нам существа. Так что, если продолжить рассуждения, они будут делать то, что сказано. Более того, они даже могут оказаться более этичными, чем мы сами, — ведь мы не хотим создать разум, жаждущий насилия и убийства, правда?

Тем не менее именно таковы автономные беспилотники и боевые роботы, которые сегодня разрабатывают правительство США и военные подрядчики. При этом они создают и используют самые продвинутые ИИ. Мне кажется странным, что пионер робототехники Родни Брукс отрицает возможность того, что сверхразум принесет человечеству вред, — при том что основанная им компания iRobot уже выпускает вооруженных роботов. Точно так же Курцвейл утверждает, что у продвинутого ИИ будет наша система ценностей, поскольку он произойдет от нас — и потому будет безобиден.

Я брал интервью у обоих ученых десять лет назад, и тогда они оба выдвигали те же самые аргументы. Несмотря на прошедшие годы, их взгляды не изменились, хотя я припоминаю одно выступление Брукса, в котором он утверждал, что производить вооруженных роботов с моральной точки зрения совсем не то же самое, что принимать политическое решение их использовать.

Мне кажется, на пути к УЧИ и после его создания очень даже возможны серьезные болезненные ошибки. Чуть дальше я расскажу, что страдать от действий УЧИ нам придется гораздо раньше, чем мы получим шанс узнать о его существовании, как предсказывает Гертцель. Что до вероятности выживания человечества, то я, надеюсь, достаточно ясно показал, что считаю ее сомнительной. Вы, возможно, будете удивлены, но главная моя претензия к исследованиям ИИ даже не эта. Мало кто из людей вообще понимает, что разработка искусственного интеллекта связана хоть с какими-то рисками, и это ужасно. Люди, которые очень скоро могут пострадать от дурных последствий разработки ИИ, имеют право знать, во что, собственно, втягивают человечество ученые.

Интеллектуальный взрыв Гуда и его пессимизм по поводу будущего человечества тесно связаны между собой, поскольку если интеллектуальный взрыв возможен, то возможен и выход ИИ из подчинения. Прежде чем говорить о факторах, которые могут его предотвратить, — об экономике и сложности программного обеспечения, — давайте посмотрим на путь, который придется пройти для создания ИСИ. Какие основные ингредиенты потребуются для интеллектуального взрыва?