Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах

Ничто из сказанного здесь не станет новостью для исследователей ИИ, и многие из них в настоящее время рассматривают способы защиты от взлома ради цели. Одним из решений является обучение ИИ контексту. Наряду с проблемой согласования целей исследователи рассматривают проблему согласования ценностей, чтобы создать ИИ, который лучше бы понимал человека. Решение этой проблемы можно представить как две крайности. С одной стороны, мы можем в форме прямых указаний закачать в ИИ наши ценности. В какой-то мере это можно сделать уже сегодня, но такой подход уязвим для всех описанных выше хаков. С другой стороны, мы можем создать ИИ, который изучит наши ценности, возможно наблюдая за людьми в действии или взяв в качестве входных данных человеческую историю, литературу, философию и т. д. Это проект на много лет вперед, и, вероятно, именно такой подход задаст ряд свойств общему ИИ. Большинство же современных исследований колеблется между этими двумя крайностями.

Несложно представить себе вопросы, которые возникнут, когда ИИ придет в соответствие с человеческими ценностями. Чьи ценности он должен будет отражать? Сомалийского мужчины? Сингапурской женщины? Или нечто среднее между ними, что бы это ни значило? Люди часто придерживаются противоречивых ценностей и бывают непоследовательны, пытаясь жить в соответствии с ними. Ценности отдельно взятого человека могут быть иррациональными, аморальными или основанными на ложной информации. История, литература и философия тоже полны иррациональности, безнравственности и ошибок. Люди в принципе далеки от собственных идеалов.

Наиболее эффективная защита от любых хаков основана на выявлении уязвимостей, то есть на обнаружении и устранении хакерских атак еще до того, как они будут совершены. В этом могут существенно помочь технологии ИИ, тем более что они могут работать на сверхчеловеческих скоростях.

Однако вспомните, о чем мы говорили, когда рассматривали компьютерные системы. Как только ИИ станет способен обнаруживать новые уязвимости в программном обеспечении, фору получат все стороны, а значит, и правительственные хакеры, и криминал, и любители. Они смогут использовать новые уязвимости для компрометации компьютерных сетей по всему миру. Это поставит под угрозу всех нас.

Но та же самая технология будет более эффективно работать на безопасность, поскольку обнаруженная уязвимость может быть устранена навсегда. Представьте себе, что компания-разработчик программного обеспечения сможет внедрять ИИ-детектор уязвимостей непосредственно в код программы. Уязвимости будут найдены и устранены еще до того, как программное обеспечение будет выпущено. Тестирование может идти автоматически в процессе разработки. Таким образом, хотя и нападение, и защита будут иметь доступ к одной и той же технологии, защита сможет использовать ее для постоянного повышения безопасности своих систем. Мы можем надеяться на будущее, когда уязвимости программного обеспечения уйдут в прошлое. «Помните первые десятилетия вычислительной техники, когда хакеры взламывали программы через уязвимости? Вот было безумное времечко!»

Конечно, переходный период простым не будет. Новый код может быть безопасным, но старый все еще будет уязвим. Злоумышленники сосредоточат свои ИИ-инструменты на автоматическом поиске уязвимостей в уже действующем старом коде, который часто невозможно исправить. Однако в долгосрочной перспективе технология ИИ для поиска уязвимостей в программном обеспечении благоприятствует тем, кто защищает системы от вторжений и нанесения им вреда.

Это утверждение справедливо и для более широких социальных систем. Когда ИИ начнет находить уязвимости в политических, экономических и социальных системах, они будут использоваться в преступных целях. Более того, эти взломы могут способствовать интересам тех, кто контролирует системы ИИ. Индивидуально подобранная реклама намного убедительнее, а значит, она будет оплачена теми, в чьих интересах работает. Когда ИИ обнаружит новую налоговую лазейку, можно не сомневаться, что к ней тут же появится эксплойт, потому что те, кто имеет доступ к системе ИИ, захотят снизить свое налоговое бремя. Хакинг в значительной степени укрепляет существующие структуры власти, а ИИ будет усиливать их еще больше, если мы не научимся преодолевать существующий дисбаланс.