Совместимость. Как контролировать искусственный интеллект

Убежденный консеквенциалист скажет: «Очевидно, это нежелательное последствие чрезмерной автоматизации! Правильно сконструированные машины никогда этого не сделают!» Верно, но вдумайтесь, что это означает. Машины могут хорошо понимать, что автономия и компетенция человека — это важные аспекты того, как мы предпочитаем проводить свою жизнь. Они могут добросовестно настаивать, чтобы люди сохраняли контроль над собственным благополучием и ответственность за него, — иными словами, машины скажут «нет». Однако мы, близорукие, ленивые люди, необязательно с ними согласимся. Это пример трагедии общих ресурсов в действии: каждому отдельному человеку, возможно, покажется бессмысленным тратить долгие годы самоотверженной учебы на приобретение знаний и навыков, которыми машины уже владеют, но если все будут думать так, человечество коллективно утратит автономию.

Решение этой проблемы, как представляется, носит культурный, а не технический характер. Нам понадобится движение в сторону переформирования наших идеалов и предпочтений в направлении автономии, способности к деятельности и знаниям, прочь от сибаритства и зависимости — если хотите, современная, окультуренная версия воинского идеала древних спартанцев. Это будет означать конструирование человеческих предпочтений во всемирном масштабе наряду с радикальными изменениями в том, как функционирует наше общество. Чтобы не ухудшить плохую ситуацию, нам может потребоваться помощь сверхинтеллектуальных машин, как в оформлении решений, так и в реальном процессе обретения равновесия каждым индивидом.

Любому родителю маленького ребенка знаком этот процесс. Когда ребенок проходит стадию беспомощности, выполнение родительских обязанностей требует постоянно меняющегося равновесия между полюсами: делать для ребенка все и целиком или полностью предоставить его самому себе. На определенном этапе ребенок начинает понимать, что родитель прекрасно может завязать ему шнурки, но сознательно не делает этого. Это ли будущее человеческой расы — вечно находиться на положении ребенка, на попечении совершенных машин? Думаю, нет. Хотя бы потому, что дети не могут выключить своих родителей. (Слава богу!) В нашем современном мире в действительности нет аналога отношениям, которые сложатся у нас в будущем с полезными интеллектуальными машинами. Нам еще предстоит узнать, чем закончится игра.

Приложение А. Поиск решений

Выбор действия на основе прогноза будущего и оценки результатов возможных последовательностей действий — фундаментальная способность интеллектуальных систем. Ваш сотовый телефон делает это всякий раз, как вы спрашиваете у него, в каком направлении двигаться. На рис. 14 приведен типичный пример: как попасть из текущего местоположения, 19-й пирс, в целевое, Койт-Тауэр. Алгоритм должен знать, какие действия ему доступны; в случае навигации по карте, как правило, каждое действие связано с фрагментом дороги, соединяющим два соседних перекрестка. В данном примере у 19-го пирса доступно лишь одно действие: повернуть направо и ехать по Эмбаркадеро до следующего перекрестка. Затем имеется выбор: продолжить движение или резко повернуть налево на Бэттери-стрит. Алгоритм последовательно исследует все эти возможности, пока не находит маршрут. Обычно мы добавляем некоторые указания, исходя из здравого смысла, например предпочтение улиц, ведущих прямо к цели, а не в сторону от нее. Благодаря этим указаниям и еще нескольким хитростям алгоритм очень быстро находит оптимальное решение — обычно за несколько миллисекунд, даже в случае поездки по сложным маршрутам.

Поиск маршрута на карте — очевидный и всем известный пример, но, возможно, недостаточно объективный, поскольку отдельных локаций очень мало. Например, в США имеется лишь около 10 млн перекрестков. Казалось бы, большое число, но это ничто по сравнению с количеством отдельных позиций в пятнашках. Пятнашки — это игра с сеткой 4 × 4, где находятся 15 пронумерованных фишек и пустое место. Перемещая фишки, нужно достичь целевой конфигурации, скажем, расположить их все по порядку номеров. В пятнашках около 10 трлн состояний (в миллион раз больше, чем перекрестков в США!); пазл с 24 клетками допускает около 8 триллионов триллионов состояний. Это пример того, что в математике называется комбинаторной сложностью, — очень быстрого увеличения количества комбинаций с ростом числа «подвижных элементов» задачи. Вернемся к карте США: если компания-грузоперевозчик хочет оптимизировать движение 100 своих грузовиков по территории страны, количество возможных состояний составит 10⁷⁰⁰.

Отказ от надежды на рациональные решения