Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Однако бывало и так, что мир висел на волоске, и это большая удача, что в цепи оказался человек. 27 октября 1962 года, во время кризиса из-за размещенных на Кубе ракет, одиннадцать эсминцев ВМС США и авианосец USS Randolph выследили советскую подводную лодку Б‐59 недалеко от Кубы, в международных водах за пределами американской «карантинной» зоны. Они не знали, что температура на борту к тому времени выросла до 45 °C, потому что все аккумуляторные батареи сели и кондиционирование воздуха было прекращено. На грани отравления углекислым газом многие из членов экипажа были без сознания. Подлодка не могла связаться с Москвой уже много дней, и никто на ней не знал, не началась ли уже третья мировая война. Американцы начали сбрасывать небольшие глубинные бомбы, которые, как они потом объясняли Москве, оставались незамеченными советским экипажем, хотя предназначались исключительно для того, чтобы заставить подводную лодку подняться на поверхность. «Думали, все — финиш, — вспоминал один из членов экипажа В. П. Орлов. — Казалось, будто сидишь в железной бочке, по которой колотят кувалдой»[26]. А еще американцы не знали, что Б‐59 была вооружена ядерной торпедой, которую им было разрешено использовать без согласования с Москвой. И капитан Савицкий действительно принял решение пустить эту торпеду. Валентин Григорьевич, торпедный офицер, воскликнул: «Мы сейчас по ним шарахнем! Сами погибнем, их потопим всех, но флот не опозорим!»[27]. К счастью, решение о пуске должно приниматься тремя офицерами, и один из них, Василий Архипов, сказал нет. Очень немногие слышали об Архипове, хотя его решение, возможно, предотвратило третью мировую войну и должно рассматриваться как едва ли не наиболее ценный вклад в современную историю человечества^{44}. Почти полная неизвестность Архипова действует отрезвляюще, и не меньше отрезвляют размышления о том, что могло бы случиться, если бы Б‐59 была автономной, контролируемой искусственным интеллектом подводной лодкой без людей в цепи управления.

Два десятилетия спустя, 9 сентября 1983 года, напряженность в отношениях сверхдержав снова выросла: Советский Союз получил клеймо «империи зла» от президента США Рональда Рейгана после того, как неделей раньше был сбит пассажирский самолет Корейских авиалиний, сбившийся с курса в воздушном пространстве, и в результате погибло 269 человек, в том числе конгрессмен США. На этот раз по советской автоматизированной системе раннего оповещения прошла тревога: США выпустили пять ядерных ракет наземного базирования по Советскому Союзу, и у дежурного офицера Станислава Петрова оставались минуты, чтобы решить, не была ли тревога ложной. Спутник проверили — он работал в штатном режиме, и входящий протокол обязывал Петрова рапортовать о начале ядерного нападения. Но он этого не сделал, поверив внутреннему чувству, говорившему ему, что Соединенные Штаты вряд ли стали бы атаковать всего лишь пятью ракетами, и сообщил командованию, что тревога ложная, хотя никакой уверенности, что это действительно так, у него быть не могло. Позднее стало ясно, что спутник ошибочно принял солнечные блики от облаков за пламя ракетных двигателей^{45}. Хотел бы я знать, что случилось бы, будь на месте Петрова система искусственного интеллекта, которая должным образом отреагировала бы на должным образом поступивший протокол.

Снова гонка вооружений?

Как вы, несомненно, уже догадались, лично у меня создание автономных систем оружия вызывает серьезную озабоченность. Но я пока даже не начал рассказывать вам о главной причине моего беспокойства: конечной точке в гонке вооружений с применением искусственного интеллекта. В июле 2015 года я выразил это беспокойство в открытом письме, написанном вместе со Стюартом Расселом, с содержательными откликами от моих коллег по Институту будущего жизни^{46}: