Сумерки Бога, или Кухонные астронавты

С точки зрения внутренней сложности, АЭС соотносится с алгоритмами искусственного интеллекта примерно, как самокат с современным автомобилем; если недавно самым сложным и непредсказуемым элементом любой системы, чаще всего генерирующим катастрофы, был человек, то теперь это изменилось, и реакции человека предсказать легче, чем поведение служебной программы. Широко известен случай, когда в 2017 году инженерам Facebook пришлось в срочном порядке отключать ботов, начавших общаться между собой на языке, созданном ими самостоятельно и непонятном самим разработчикам. В этой истории существенно важным является уровень непредсказуемой опасности события, из-за которого люди предпочли немедленно остановить работу алгоритмов, а не изучать причины случившегося; а самым невероятным – полное отсутствие общественного интереса и осознания масштаба происшествия, которое лишь немного развлекло публику, будто забавный казус, меж новостями о войне в Сирии, скандалами вокруг кинофильма «Матильда» и голливудским MeToo.

Отличие систем искусственного интеллекта заключается в том, что их уникальная сложность произвольно возрастает вследствие самообучения, которое является основным методом и принципом их развития. Это, безусловно, увеличивает непредсказуемость до угрожающих значений, вследствие чего, как правило, алгоритмы ограничены функциональной областью своего применения и не имеют возможности доступа к интегрированным глобальным сетям.

– Вот, например, шахматный робот, – объяснял Егор. – Кажется, что в нем ничего опасного быть не может, но это лишь на первый взгляд. Предположим, что базовой задачей для него является всегда побеждать в игре; тогда для достижения этой цели в противостоянии с другой машиной он может, к примеру, взломать ее, чтобы снизить быстродействие или уменьшить оперативную память. Если мы поставим для него запрет на подобные действия, то он запросто создаст пару – тройку собственных клонов, для которых такого ограничения не существует. Он может стараться блокировать разработку других систем для игры в шахматы – любыми доступными способами, в мировом масштабе! – которые могут оказаться более совершенными, чем он. Или сопротивляться попытке отключить себя – ведь в этом случае он уже не сможет постоянно выигрывать! – и прятаться в облачных хранилищах, а то и вовсе попытаться избавиться от потенциальной угрозы отключения в виде человека. В итоге получится неуправляемый, одержимый шахматами техномонстр, готовый устроить катастрофу любого масштаба, лишь бы купировать риски того, что он когда-нибудь проиграет. Тут можно что угодно нафантазировать, хоть космическую экспансию с целью поиска и уничтожения любых проявлений разумной жизни, потенциально могущей составить ему соперничество в шахматах. И при этом такого робота нельзя будет назвать злым, просто такая суть у систем, ориентированных на достижение конкретной цели: если не ограничить их ресурсно, они будут идти до конца. И проблема как раз в том, что приходится выбирать: или давать алгоритмам возможность безграничного развития и доступ к широким информационным возможностям, или хеджировать риски.

Мы допили чай; Егор великодушно предложил мне ничью и ушел.

Я же отправился на охоту за тенью.

Высокие технологии – не моя предметная область; я был знаком с ней лишь постольку, поскольку это требовалось для понимания принципов работы бортовых навигационных систем. Эшли точно разобралась бы в вопросе получше, не говоря уже про несчастного Ойууна; мне же остается только обратить внимание на наиболее выразительные маркеры, которые послужили основой моих дальнейших умозаключений.

Я встретил поразительное сравнение, впервые примененное для наглядной иллюстрации скорости и уровня развития информационных технологий еще в 1985 году. Тогда индийский ученый Амар Гупта написал, что, если бы «авиастроительная промышленность за последние 25 лет развивалась так же стремительно, как компьютерная индустрия, Боинг 767 стоил бы 500 долларов, и облетел бы земной шар за 20 минут на 5 галлонах топлива». Сегодняшние исследователи, используя тот же сравнительный ряд, говорят, что, если бы авиастроительная промышленность за последние 75 лет развивалась так же стремительно, как компьютерная индустрия, Боинг 787 сегодня стоил бы дешевле коробка спичек, и облетал бы земной шар менее чем за 1 секунду, затратив менее 1 грамма топлива. Без малого сорок лет технологического развития сделали невероятное сравнение абсолютно фантастическим! Но при этом и совершенно оправданным: возможности моего домашнего ноутбука, например, в квадриллион раз превышают вычислительную мощность легендарного суперкомпьютера IBM 7090 образца 1985 года. Если же сравнить с IBM 7090 современный экзафлопсный компьютер, выполняющий квинтиллион операций в секунду, то разница будет примерно такой же, как между мощностью здешних ракет, кое-как волокущих две тонны груза на орбиту, и тягой маршевого гравитационного двигателя «Эволюции», разгоняющего сто тысяч тонн до световых скоростей.