Совместимость. Как контролировать искусственный интеллект

Другое распространенное предположение — что машины, следующие трем принципам, разовьют у себя все отрицательные черты людей, которых наблюдают и у которых учатся. Действительно, многие из нас склонны делать небезупречный выбор, но нет причин полагать, что машины, изучающие наши мотивации, станут делать такой же выбор, — это равносильно ожиданию, что криминалисты должны становиться преступниками. Возьмем, например, коррумпированного чиновника, вымогающего взятки за выдачу разрешений на строительство, потому что его нищенская зарплата не позволяет оплатить обучение детей в университете. Машина, наблюдающая это поведение, не научится брать взятки; она усвоит, что чиновник, как и многие другие люди, имеет очень сильное желание, чтобы его дети стали образованными и успешными. Она найдет способы помочь ему, не предполагающие ухудшения благополучия других людей. Это не значит, что все случаи негодного поведения должны оцениваться машинами как беспроблемные. Возможно, машинам нужно будет по-другому обращаться с людьми, осознанно стремящимися причинять страдания другим.

Причины для оптимизма

Короче говоря, я полагаю, что нам нужно развернуть исследования ИИ совершенно в другом направлении, если мы хотим сохранить контроль над все более интеллектуальными машинами. Нам нужно отойти от одной из движущих идей технологии XXI в. — машин, оптимизирующих поставленную задачу. Меня часто спрашивают, почему я считаю это достижимым хотя бы в отдаленной перспективе, с учетом колоссальной инерции движения, связанной со стандартной моделью ИИ и сопутствующими дисциплинами. В общем, я настроен по этому поводу оптимистично.

Первой причиной для оптимизма является наличие сильных экономических стимулов разработки ИИ-систем, которые подчиняются человеку и постепенно подстраиваются под предпочтения и намерения пользователя. Такие системы были бы очень востребованы: спектр доступных им действий попросту намного шире, чем у машин с фиксированными, известными целями. Они будут задавать людям вопросы или спрашивать разрешения, когда это нужно, осуществлять «пробные запуски», чтобы узнать, нравится ли нам их предложение, и принимать исправления, сделав что-то неправильно. Напротив, отказ систем от всех этих действий имел бы серьезные последствия. До сих пор тупость и ограниченность воздействия ИИ-систем защищали нас от этих последствий, но это изменится. Представьте, например, домашнего робота будущего, который должен присматривать за вашими детьми, когда вы задерживаетесь на работе. Дети хотят есть, но холодильник пуст. Тут робот замечает кошку. Увы, робот понимает питательную ценность кошки, но не ее эмоциональную ценность. Проходит несколько часов, мировые СМИ пестрят заголовками о свихнувшихся роботах и жареных кошках, и все производители роботов-домохозяек лишаются рынка сбыта.

Возможность того, что один представитель отрасли может уничтожить ее всю из-за небрежной разработки, создает сильный экономический стимул к формированию отраслевого соглашения по ориентации на безопасность и ужесточению стандартов безопасности. Уже сейчас Партнерство по развитию ИИ, членами которого являются почти все ведущие технологические компании мира, пришло к соглашению о сотрудничестве с целью обеспечения того, чтобы «исследования ИИ и технологии были честными, надежными, заслуживающими доверия и велись в условиях установленных ограничений». Насколько я знаю, все крупнейшие игроки публикуют свои исследования, связанные с ориентацией на техническую безопасность, в открытом доступе. Таким образом, экономический стимул уже действует задолго до создания ИИ человеческого уровня и будет лишь усиливаться со временем. Более того, та же тенденция к кооперации может начаться на международном уровне. Например, официальная политика китайского правительства — «кооперация с целью активного предупреждения угрозы, связанной с ИИ»[247].

Вторая причина для оптимизма заключается в изобилии исходных данных для изучения человеческих предпочтений, а именно примеров человеческого поведения. Данные поступают не только в форме прямого наблюдения через видеокамеру, клавиатуру и тачскрин миллиардов машин, обменивающихся данными о миллиардах человек (разумеется, с ограничениями, связанными с конфиденциальностью), но и опосредованно. Самым очевидным типом косвенных данных является огромная летопись человечества: книги, фильмы, теле- и радиотрансляции, почти полностью посвященные тому, что люди делают (а другие люди из-за этого расстраиваются). Даже самые ранние и скучные шумерские и египетские хроники обмена медных чушек на мешки ячменя дают некоторое представление о человеческих предпочтениях в отношении различных товаров повседневного спроса.