Искусственный интеллект. Этапы. Угрозы. Стратегии

Важным параметром является качество «социальной эпистемологии» области ИИ и лидирующих в ней проектов. Поиск критически важных соображений — ценное занятие, но только в том случае, если как-то влияет на конкретные действия. А это не обязательно так. Представьте проект, в рамках которого в создание прототипа ИИ вложены годы работы и миллионы долларов инвестиций и который после преодоления многочисленных технических сложностей начинает демонстрировать реальный прогресс. Есть шанс, что еще чуть-чуть — и он превратится в нечто полезное и прибыльное. Но тут возникает критически важное соображение о том, что гораздо безопаснее было бы пойти по совершенно иному пути. Убьет ли проект сам себя, как опозоренный самурай, отказавшись от своей небезопасной архитектуры и зачеркнув весь достигнутый прогресс? Или отреагирует как потревоженный кальмар, выбросив облако контраргументов в надежде отбить нападение? Если, столкнувшись с такой дилеммой, команда проекта выберет путь самурая, она окажется гораздо более предпочтительным разработчиком[586]. Хотя довольно трудно строить процессы и институты, готовые из-за голословных обвинений совершать харакири. Еще одним измерением социальной эпистемологии является управление конфиденциальной информацией, особенно способность избежать ее утечки. (Информационное воздержание может оказаться особенно трудным в случае традиционных ученых, привыкших расклеивать результаты своих исследований на всех столбах и деревьях.)

Конкретные показатели

В дополнение к общим целям стратегического понимания и создания новых возможностей могут быть обозначены и более специфические цели, достижение которых станет экономически оправданным.

Одна из них — это прогресс в решении технических вопросов обеспечения безопасности машинного интеллекта. Преследуя эту цель, стоит внимательно относиться к управлению информационными рисками. Какие-то действия, полезные с точки зрения решения проблемы контроля, могут быть полезными и с точки зрения решения проблемы компетентности. Если какое-то задание приведет к перегоранию предохранителей ИИ, возможно, оно имеет отрицательное значение.

Еще одной специфической целью является пропагандирование последних достижений в этой области среди исследователей ИИ. Следует распространять информацию о любом прогрессе в решении задачи контроля. В некоторых видах вычислительных экспериментов, особенно когда предполагается возможность рекурсивного самосовершенствования, требуется использовать меры контроля возможностей, чтобы снизить риск случайного взлета. Хотя практическое применение инструментов обеспечения безопасности пока неактуально, оно станет таковым по мере нашего продвижения вперед. Не за горами то время, когда перспективы появления машинного интеллекта окажутся довольно близкими, и нужно будет призвать участников процесса выразить свою приверженность безопасности, согласие с принципом общего блага и обещание усилить меры предосторожности. Одних благочестивых слов может быть недостаточно, и сами по себе они не сделают опасную технологию безопасной, но за словами могут постепенно последовать мысли, а потом и поступки.

Время от времени могут возникать другие возможности улучшения каких-то важных параметров, например снижения одного из экзистенциальных рисков, проведения когнитивного улучшения биологического мозга и углубления нашей коллективной мудрости или даже перевода мировой политики в какой-то более гармоничный регистр.

Все лучшее в человеческой природе — шаг вперед!

Перед лицом перспективы взрывного развития интеллекта мы похожи на детей, играющих с бомбой. Именно таков разрыв между мощностью нашей игрушки и незрелостью нашего поведения. Сверхразум — это вызов, ответить на который мы не готовы сегодня, и не будем готовы еще долгое время. Мы понятия не имеем, когда произойдет детонация, хотя если поднести устройство к уху, уже можно услышать тихое тиканье.

Ребенку с тикающей бомбой в руках правильнее всего осторожно положить ее на пол, быстро выбежать из комнаты и обратиться к ближайшему взрослому. Впрочем, в нашем случае ребенок не один, нас много, и у каждого в руках свой взрыватель. Шансы на то, что все обладают достаточным здравым смыслом, чтобы аккуратно поместить опасный предмет в безопасное место, ничтожны. Какой-нибудь маленький идиот обязательно нажмет красную кнопку просто из любопытства.

Убежать мы тоже не можем, поскольку взрывное развитие искусственного интеллекта обрушит сам небесный свод. Да и взрослых в поле зрения нет.

В такой ситуации проявлять восторженное любопытство было бы неуместным. Более подходящими чувствами были бы озабоченность и страх, а самое правильное поведение — горькая решимость стать настолько компетентными, насколько это возможно, как при подготовке к экзамену, который или позволит исполнить наши мечты, или разрушит их.