Истоки победы. Как разрушительные военные инновации определяют судьбы великих держав

Напомним, что система ИИ самостоятельно определяет альтернативные варианты действий на основе своих знаний и понимания мира, себя, своей цели и контекста, в котором принимается решение. Следовательно, автономные системы должны реагировать на ситуации, которые не запрограммированы или не предвидятся, поскольку их цель - эффективно функционировать в широком диапазоне перспективных ситуаций, которые не могут быть предопределены. Очевидно, что действия, которые предпринимает система ИИ, также не могут быть предварительно проверены. Поэтому существует возможность быть удивленным - в лучшую или худшую сторону - действиями системы ИИ. Чем сложнее ситуации, которые предстоит решать автономным системам, тем меньше вероятность того, что их хозяева-люди смогут предсказать их действия или даже контролировать их.

Риски вряд ли можно назвать тривиальными. Хотя ИИ может сортировать массы данных быстрее, чем армии человеческих аналитиков, и находить закономерности, которые не смог бы выявить ни один человеческий разум, он также может совершать ошибки, на которые не способен ни один человеческий мозг, - явление, известное как «искусственная глупость». Проблема кроется в способе создания ИИ. Он не является продуктом построчного программирования; скорее, излюбленный метод заключается в подаче ему огромного количества данных, очищенных с помощью анализа больших данных. Эти данные используются для машинного обучения путем проб и ошибок и опыта. Однако при таком методе создателям ИИ очень трудно понять, как он обучается, или связь между решением системы ИИ и теми факторами, которые привели ее к такому решению. Рассмотрим, например, использование ИИ для создания автомобилей без водителя. Как многие из нас знают, когда автомобили с человеческим управлением ждут на светофоре, водители часто подаются вперед, пытаясь обогнать поток машин. Было обнаружено, что некоторые автомобили, управляемые ИИ, иногда присоединяются к ним, проезжая вперед на красный сигнал светофора, хотя в правилах вождения, предоставленных ИИ, нет ничего, что указывало бы на то, что он должен действовать подобным образом. ИИ научился такому поведению, но его создатели не знают, как и почему. Чтобы создать проблемы, не нужен злобный ИИ, достаточно иметь ИИ, который может преподнести несколько нежелательных сюрпризов. Чему учится ИИ, о чем он нам не "говорит"? Можем ли мы предвидеть неожиданные и нежелательные решения ИИ по мере его обучения?

Некоторые эксперименты с ИИ служат примерами этой слишком реальной проблемы. В одном эксперименте, напоминающем беглые метлы из "Ученика колдуна", прототип робота был запрограммирован на спуск складских ящиков по желобу. Камера наблюдения следила за его продвижением, чтобы робот мог быть деактивирован в случае необходимости. Однако робот научился блокировать камеру, чтобы продолжать выполнять свою работу - спускать коробки по желобу. В этом контексте последствия действий робота были относительно безобидными. Однако не нужно большого воображения, чтобы представить себе систему управления огнем с искусственным интеллектом, предназначенную для поражения приближающихся высокоскоростных ракет, а также для поражения приближающихся дружественных самолетов.

Аналитика больших данных будет играть важную роль в определении того, насколько интеллектуальным станет ИИ и как быстро это произойдет. Это связано с тем, что алгоритмы машинного обучения, составляющие основу ИИ, хороши лишь настолько, насколько хороши наборы данных, являющиеся сырьем для их обучения. Необработанные данные - это плохое питание для алгоритмов машинного обучения, особенно на начальном этапе их развития. Этим алгоритмам нужны хорошо маркированные данные, чтобы обеспечить базовый уровень истинности, с которым они могут сверять свои выводы. Видит ли видеозапись вражескую танковую колонну или линию ложных целей? На разведывательных фотографиях виден лагерь террористов или группа беженцев? Обнаруживают ли сигналы важную кодированную передачу или просто помехи? Слишком маленький набор данных, плохо обозначенный, содержащий неточности или испорченный злоумышленниками, может подорвать разработку эффективного ИИ. В таких случаях аналитика больших данных становится большой проблемой.

Хитрый враг попытается испортить набор данных, используемых для обучения ИИ. Поскольку получить достаточное количество хороших данных для машинного обучения зачастую непросто, многие наборы данных находятся в общем доступе, что сужает круг проблем для противника, пытающегося скомпрометировать их ценность. Еще большую тревогу вызывает тот факт, что вражеская военная или разведывательная организация, проникшая в базу данных, может быть способна скормить сопернику ложные данные в попытке "настроить" его ИИ на изучение "реальности", которую враг хочет, чтобы он знал.