Верховный алгоритм. Как машинное обучение изменит наш мир

Следующий этап ползучей передачи власти искусственному интеллекту — разрешить ему принимать вообще все решения: он ведь гораздо умнее. Здесь надо быть очень осторожным. Может быть, компьютеры и правда умнее нас, но они служат тому, кто разработал их функции оценки. Это проблема «Волшебника страны Оз». В мире разумных машин надо будет постоянно следить за тем, чтобы они делали ровно то, что от них требуется, причем и на входе (целеполагание), и на выходе (проверяли, выдала ли машина то, что от нее просили). Если этого не сделаете вы сами, сделает кто-то другой. Машины могут помочь человечеству осознать свои желания, но самоустранившийся проигрывает: совсем как при демократии, но в еще большей степени. Об этом не принято говорить, но человек довольно легко попадает в подчинение, а ведь любой достаточно развитый искусственный интеллект неотличим от бога, и, возможно, никто не станет возражать против приказов какого-то огромного непогрешимого компьютера. Вопрос в том, кто надзирает за надзирателем. Будет ли искусственный интеллект путем к совершенной демократии или к тотальной диктатуре? Пора начать вечное дежурство.

Третий и, наверное, самый серьезный повод для беспокойства — то, что, как джинн из сказки, машины начнут давать нам то, чего мы просим, а не то, чего мы на самом деле хотим. Это не гипотетический сценарий: обучающиеся алгоритмы постоянно так поступают. Мы обучаем нейронные сети узнавать лошадей, а они учатся узнавать коричневые пятна, потому что все лошади в обучающем наборе были гнедые. Вы купили часы, и Amazon начинает рекомендовать схожие предметы — еще больше часов, — хотя они вам уже совершенно ни к чему. Если проверить все решения, которые сегодня принимают компьютеры — например, о выдаче кредитов, — можно заметить, что они зачастую необоснованно плохи. Человек был бы не лучше, если бы его мозг работал по методу опорных векторов и все познания об оценке кредитоспособности были бы получены из тщательно проработанной, но никуда не годной базы данных. Люди беспокоятся, что компьютеры станут слишком умны и захватят мир, однако настоящая проблема в том, что мир уже захвачен глупыми компьютерами. 

Эволюция, часть вторая

Даже если компьютеры пока еще не блещут интеллектом, не вызывает сомнения, что их умственные способности очень быстро растут. Еще в 1965 году британский статистик Ирвинг Гуд[113], во время Второй мировой работавший с Аланом Тьюрингом над взломом «Энигмы»[114], размышлял на тему приближающегося взрывного роста интеллекта. Гуд указывал: если мы способны разработать машины умнее нас самих, те, в свою очередь, должны быть способны разработать машины, которые будут умнее их, и так до бесконечности, оставляя человеческий разум далеко позади. В 1993 году Вернор Виндж[115] окрестил это «сингулярностью». Эту концепцию широко популяризировал Рэймонд Курцвейл, который в книге The Singularity Is Near («Сингулярность рядом») утверждает, что момент, при котором разум машин превысит человеческий — давайте назовем его точкой Тьюринга, — не только неизбежен, но и ждет нас в течение ближайших нескольких десятилетий.

Очевидно, что без машинного обучения — программ, которые разрабатывают программы, — сингулярность не наступит. Еще для этого понадобится достаточно мощное оборудование, но оно не отстает. Точки Тьюринга мы достигнем вскоре после того, как изобретем Верховный алгоритм. (Я готов поспорить с Курцвейлом на бутылку Dom Pérignon, что это произойдет раньше, чем мы сконструируем мозг путем обратной инженерии — предложенного им метода достижения искусственного интеллекта, равного человеческому.) При всем уважении к Курцвейлу, однако, это приведет не к сингулярности, а к чему-то намного более интересному.

Термин «сингулярность» пришел из математики — там он обозначает точку, в которой функция стремится к бесконечности. Например, у функции 1⁄x такая точка — это x = 0, потому что результат деления единицы на ноль равен бесконечности. В физике классический пример сингулярности — черная дыра: точка бесконечной плотности, где конечное количество материи сжимается в бесконечно малое пространство. Единственная проблема с сингулярностью заключается в том, что на самом деле она не существует. (Когда вы последний раз делили торт между нулем человек и каждый из них получал бесконечный кусок?) Если физическая теория предсказывает нечто бесконечное, значит, с ней что-то не в порядке. Наглядный пример: общая теория относительности предсказывает, что черные дыры имеют бесконечную плотность, предположительно из-за того, что игнорируют квантовые эффекты. Аналогично разум не может развиваться вечно. Курцвейл признает это, но усматривает в совершенствовании технологии серию экспоненциальных кривых (скорость процессоров, объем памяти и так далее) и утверждает, что границы этого роста так далеки, что можно не принимать их во внимание.