Читаем Воспитание машин. Новая история разума полностью

Воспитание машин. Новая история разума

Здесь уместно вспомнить о «законе техногуманитарного баланса», согласно которому для выживания цивилизации необходимо обеспечить регуляцию общественных отношений, адекватную степени развития технологий[72]. Проще говоря, «сила» цивилизации должна быть уравновешена ее «мудростью». Чем мощнее и потенциально опаснее технологии, тем тоньше и сложнее должны быть механизмы достижения общественного согласия, способные подавлять агрессию и предотвращать конфликты. При этом «мудрость», как правило, отстает от «силы», общественное бытие обгоняет общественное сознание, которое, совсем по Ницше, остается и ныне «человеческим, слишком человеческим». Как справедливо заметил А. П. Назаретян, наше будущее зависит от ответа на вопрос: «Успеет ли земной разум усовершенствовать качество самоконтроля в соответствии с ускоряющимся технологическим ростом, прежде чем разрушительные последствия станут необратимыми?»

Таким образом, вопрос о нашем все более активном участии в общественной жизни, в выработке целей и ценностей общества – ключевой вопрос нашего будущего. И если рассматривать стратегию как взгляд на настоящее из желаемого будущего, то цифровая демократия – это именно та проблема, на решении которой мы должны сосредоточиться сегодня. Потеряем ли мы в будущем контроль над своими судьбами? Кто будет решать, как нам жить, к чему стремиться?

А кто это делает сегодня? Если и сегодня это решаем не мы, если решения принимаются кем-то за нас, пусть и от нашего имени, то нам, собственно, нечего будет и терять с приходом сильного ИИ. Он лишь усугубит ту ситуацию, которая к тому моменту сложится в обществе. Причем этот момент может быть гораздо ближе, чем мы до сих пор полагали. «Возможно, наши земные жены сегодня рождают потенциальных богов, которым будут доступны какие-то формы бессмертия и космического господства. Или они рождают поколение самоубийц, которые окончательно обрушат здание Ноосферы…»[73] Об этом мы поговорим в оставшейся части книги.

Резюме

Подытожим наш краткий обзор рисков, связанных с развитием ИИ. Во-первых, следует признать серьезность и нетривиальность возникающих проблем. Мы должны понимать, что нам предстоит создать не просто сильный ИИ, а безопасный, дружественный сильный ИИ. И по всей видимости, это гораздо более сложная проблема, поскольку она не сводится к чисто техническим решениям, а подразумевает активное участие граждан в выработке согласованной концепции общественной безопасности. Концепции эти могут отличаться от страны к стране. Соответственно, потребуются и какие-то международные конвенции в этой области, особенно в связи с опасностью новой гонки вооружений.

Во-вторых, с технической точки зрения желательно, чтобы безопасность ИИ была встроена в саму архитектуру будущих операционных систем роботов, подобно «трем законам робототехники» Айзека Азимова. Мы подробно обсудим эту концепцию в следующей главе, посвященной технологиям сильного ИИ.

Наконец, last but not least, система коллективной безопасности социума, состоящего из людей, роботов и агентов с искусственной психикой, должна быть обеспечена технологически на основе постоянного взаимного контроля. Мы с самого начала должны понимать, что настанет момент, когда люди не смогут сами контролировать решения более мощных искусственных стратегов, поэтому нам следует заранее создавать механизмы саморегуляции сообщества машинных интеллектов с учетом наших интересов. В дополнение к правильным «социальным инстинктам» в будущей искусственной психике мы должны будем разработать и механизмы взаимного контроля всех членов социума, включая ИИ, подобно тому как технология блокчейн автоматически обеспечивает взаимный контроль транзакций в сети. Будущие цифровые платформы должны будут иметь систему встроенной коллективной безопасности, как в последних поколениях ядерных реакторов со встроенной на физическом уровне системой безопасности.

Итак, мы разобрали, кому и зачем нужен сильный ИИ, а также каким требованиям он должен удовлетворять, чтобы улучшить, а не ухудшить нашу жизнь. Самое время перейти к обсуждению вопроса, насколько реальны наши планы по его созданию и на каком временном горизонте он может появиться.