Технологии против человека

• все и вся становится информационными маячками, генерирующими тысячи гигабайтов информации в день, которая затем собирается в облако, фильтруется и анализируется такими компаниями, как Watson[71] от IBM и DeepMind от Google, которые ежесекундно применяют к ней свои ненасытные самообучающиеся глобальные ИИ-мозги.

Эффективность может с легкостью превзойти человеческие возможности во всех смыслах, и тогда нами станет управлять огромное машинное программное обеспечение, способное к самостоятельному обучению, которое в буквальном смысле будет съедать наш информационный вклад до тех пор, пока даже такое минимальное человеческое участие не перестанет быть необходимым. К этому моменту мы станем представлять меньшую ценность, чем технологии, создателями которых мы являемся.

Суверенитет, присущий человечеству на протяжении десятков тысячелетий, будет поставлен под угрозу – и не какими-нибудь пришельцами, а сторонниками технологий и их программами по гипермеханизации.

Если мы сегодня не можем определить, какими этическими принципами мы должны руководствоваться при пользовании интернетом и прочими устройствами, то как мы сможем принять решение по поводу чего-то, что в разы превышает сферу охвата нашей привычной сети? Стоит ли нам оставаться спокойными по поводу того, что нас ждет, только потому что мы можем не терять самообладание?

Кто контролирует ситуацию?

Сегодня у нас есть стандарты, инструкции и договоренности, регулирующие развитие биотехнологий и биоинженерии, например, инструкции, принятые на конференции Asilomar по рекомбинаторной ДНК в 1975 году¹⁰¹. У нас также есть договоры о нераспространении ядерного оружия. Тем не менее у нас еще нет похожих договоренностей в сфере данных и интеллекта, которые являются «нефтью» цифровой эры. Несмотря на то что данные уже стали самым мощным двигателем экономики, мы все еще не подписали глобальный договор, в котором бы оговаривалось, что можно, а что нельзя делать с личными данными более 3,4 миллиардов интернет-пользователей¹⁰². Договоренностей по когнитивным вычислениям[72] или искусственному интеллекту также еще не существует. За исключением появления ядерного оружия, в истории человечества произошло мало кардинальных изменений, вызвавших столь незначительную реакцию. Экспоненциальное использование данных, а также ИИ уже весьма скоро действительно превзойдет влияние ядерного оружия, но тем не менее ИИ остается почти неконтролируемой сферой.

Кто сможет проверить, насколько правильно поступают ведущие компании в области ИИ и данных? Кто проконтролирует новые замечательные интернет-вещи, чтобы они поступали правильно? И что это вообще значит – правильно? Кто это определяет? Сможем ли мы вообще понять, что правильно, а что нет?

Андроритмы и превентивные принципы

Что помешает новым хозяевам Вселенной не только обратить все процессы и аппаратное обеспечение в данные, но и превратить людей в вещи, будь то случайно или намеренно? Несмотря на восторг, который интернет вещей вызывает у всей технологической индустрии, – это риск, на который мы не можем пойти бездумно и без применения крайних мер предосторожности.

Мы должны обеспечить соблюдение баланса, который будет способствовать настоящему человеческому развитию, уравновешивая технологии, ступающие экспоненциальными шагами, беспокойством о человеческой сущности, и иногда вбрасывая отвлекающий вопрос о ней между нулями и единицами, которые начинают управлять нашей жизнью.

Я скромно предлагаю применить обновленную версию превентивного принципа (см. главу 8) к тем, кто собирается обеспечить и осуществить благое влияние интернета вещей. Он будет ограничением, гарантирующим, что интернет вещей не сможет навредить тем, кому придется существовать под его властью. Это в первую очередь относится к тем, кто будет контролировать интернет вещей; только установив, что эти лица несут ответственность, мы сможем двигаться дальше. В то же время нам предстоит проявлять активный подход к развитию этих технологий и не препятствовать инновациям.

Вопрос уже не заключается в том, чтобы выбрать «либо одно, либо другое», или в простом соединении этих двух стратегий. Homo sapiens вступают на доселе неизведанную территорию, спустя 70 лет после того, как было принято неоднозначное политическое решение и военный эксперимент по использованию ядерного оружия был реализован. Мы продолжаем идти навстречу миру больших данных, и на этот раз уже без какой-либо новой войны, которая могла бы оправдать это движение. Тем не менее мы движемся в этом направлении так легко, как будто думаем, что у нас будет возможность остановиться в любой момент. Интернет вещей сможет окружить человечество и изменить его сущность, точно так же как он сможет наделить богоподобным всемогуществом своих владельцев. Нам нужно принимать меры предосторожности и одновременно оставаться верными прогрессу – но два этих фокуса больше не могут существовать отдельно и продвигаться отдельными группами людей.