Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

На протяжении всей человеческой истории в развитии технологий мы полагались на один и тот же проверенный метод, метод проб и ошибок, предполагающий нашу способность на совершаемых ошибках учиться. Мы научились пользоваться огнем, а потом, неоднократно погорев, изобрели огнетушитель, пожарный выход, пожарную сигнализацию и пожарную службу. Мы изобрели автомобиль, а потом, не раз побывав в автокатастрофах, изобрели ремни безопасности, подушки безопасности и беспилотные автомобили. До сих пор наши технологии относительно редко приводили к несчастным случаям, так что причиняемый ими вред перевешивался приносимыми ими выгодами. Однако разрабатываемые нами технологии становятся все мощнее и мощнее, и мы неизбежно достигнем такого момента, когда даже одна авария может оказаться достаточно разрушительной, чтобы перевесить все мыслимые выгоды. Некоторые в качестве примера такого события называют случайно спровоцированный глобальный атомный конфликт. Другие ссылаются на пандемию, которая может возникнуть в результате неудачного опыта с биотехнологией, и в следующей главе мы обратимся к спорам о том, сможет ли искусственный интеллект привести в будущем к чему-то подобному. Но рассматривать такие крайности нам в общем-то и не надо, чтобы сделать основной вывод: по мере того как наши технологии становятся все более и более мощными, мы все меньше и меньше можем полагаться на метод проб и ошибок в достижении технологической безопасности. Иными словами, наша задача — стать про-активными, а не реактивными, все больше ресурсов вкладывая в исследования вопросов безопасности, чтобы предотвращать даже единичные случайности. Вот почему общество тратит больше средств на исследования по безопасности ядерных реакторов, чем на исследования по безопасности мышеловок.

По той же самой причине, как мы видели в главе 1, к исследованиям по безопасности искусственного интеллекта был проявлен большой общественный интерес на конференции в Пуэрто-Рико. В оставшейся части этой главы я хочу познакомить вас с четырьмя направлениями в исследованиях технической безопасности искусственного интеллекта, которые доминируют сейчас в дискуссиях вокруг этого вопроса и которые характеризуются четырьмя ключевыми словами: проверка (верификация), валидация, надежность и контроль[20]. Чтобы сделать рассказ несколько более живым и наглядным, давайте разберем некоторые прошлые удачи и провалы в различных информационных технологиях и посмотрим, какие уроки мы можем из них извлечь и какие исследовательские задачи на будущее они перед нами ставят.

Большинство этих историй уже довольно старые, и речь в них пойдет о тех компьютерных системах, которые сейчас никто не будет связывать с искусственным интеллектом, при этом ни в одной из этих историй никаких особых инцидентов не случилось, а если и случилось, то последствия их отнюдь не были тяжелыми. Несмотря на все это, мы можем извлечь из них ценные уроки для проектирования безопасных и мощных AI-систем будущего, сбои в работе которых могут оказаться действительно катастрофическими.

Искусственный интеллект для космических исследований