Вторая эра машин

По мере того как мы углубляемся все дальше во вторую эру машин, эти опасности, порожденные как стечением обстоятельств, так и злым умыслом, будут лишь нарастать, а материальные желания и потребности будут становиться сравнительно менее важными. Нам будут все сильнее волновать вопросы, связанные с катастрофическими событиями, экзистенциальные риски, противостояние свободы и тирании и другие вопросы, которые могут стать непреднамеренными или неожиданными побочными эффектами технологического развития.

Плотность и сложность нашего цифрового мира приносит с собой немало рисков. Наша технологическая инфраструктура становится все более сложной и взаимосвязанной. К примеру, интернет и корпоративные сети теперь соединяют между собой не только людей и компьютеры, но и телевизоры, термостаты, охранную сигнализацию, промышленные сенсоры, локомотивы, автомобили и бесчисленное количество других устройств. Многие из них передают друг другу данные по каналам обратной связи, а большинство этих гаджетов зависят от общих подсистем, такие как маршрутизаторы, направляющие интернет-трафик.

Любая система с таким уровнем сложности и взаимозависимости составных частей всегда имеет два связанных между собой слабых места. Во-первых, в ней высока опасность того, что изначально незначительные ошибки в результате непредсказуемой последовательности событий превратятся в нечто гораздо более масштабное и разрушительное. Именно такой каскад событий (социолог Чарльз Пэрроу назвал его «системной» или «обычной аварией») привел в 1979 году к расплавлению активной зоны реактора АЭС «Три-Майл-Айленд», к масштабному блэкауту (отключению электричества), затронувшему в августе 2003 года 45 миллионов человек на северо-востоке США, и к многим другим инцидентам.[423]

Кроме того, комплексные и плотные системы часто представляют интерес для шпионов, преступников и тех, кто стремится создать хаос. Один из самых свежих примеров – компьютерный червь Stuxnet, который, возможно, был создан в лабораториях, принадлежащих правительству США. В 2010 году Stuxnet парализовал как минимум одно ядерное предприятие в Иране, перенастроив контрольные системы оборудования марки Siemens, которым была оснащена фабрика. Червь смог проникнуть в систему через целевые сайты, а затем беспрепятственно размножился, переходя с одного персонального компьютера на другой; как только представилась возможность, он перешел на оборудование Siemens и продолжал свою разрушительную работу уже на нем.[424]

До сравнительно недавнего времени наш биологический вид не обладал возможностями для полного самоуничтожения. Теперь они у нас появились. Более того, по мере того как технологии становятся одновременно и всё более мощными, и всё более дешевыми (а, следовательно, общедоступными), такие возможности могут оказаться и у отдельных людей. Не все эти люди будут психически здоровы, не все они будут действовать из добрых побуждений. Как уже отмечали Билл Джой и другие исследователи, генная инженерия и искусственный интеллект способны создавать самовоспроизводящиеся сущности.[425] Это значит, что некий умелец в своей спрятанной под землей лаборатории вполне может овладеть одной из таких технологий, чтобы выпустить на волю разрушительные силы, способные повлиять на всю планету. Те же самые научные прорывы в области секвенирования генома, которые используются для лечения заболеваний, могут использоваться и для создания боевой разновидности вируса оспы.[426] Компьютерные программы также могут самовоспроизводиться, превращаясь в цифровые вирусы, – и та же самая глобальная Сеть, посредством которой распространяются хорошие идеи и инновации, станет инструментом разрушения. Физический объем ущерба, который теоретически способен нанести всего один человек или небольшая группа, становится все больше и больше. Будет ли наш прогресс в деле противодействия деструктивной стороне технологий по меньшей мере столь же быстрым, как и само развитие технологий? Этот вопрос в будущем обретет большую важность.