Nexus

Соответственно, по мере того как сеть становится все более мощной, ее механизмы самокоррекции приобретают все большее значение. Если племя каменного века или город-государство бронзового века были неспособны выявлять и исправлять свои ошибки, потенциальный ущерб был ограничен. В лучшем случае разрушался один город, а оставшиеся в живых пытались повторить попытку в другом месте. Даже если правитель империи железного века, такой как Тиберий или Нерон, был охвачен паранойей или психозом, последствия редко были катастрофическими. Римская империя просуществовала века, несмотря на изрядную долю безумных императоров, и ее окончательный крах не привел к концу человеческой цивилизации. Но если сверхдержава кремниевого века будет иметь слабые или вовсе отсутствующие механизмы самокоррекции, она вполне может поставить под угрозу выживание нашего вида, а также бесчисленных других форм жизни. В эпоху ИИ все человечество оказалось в ситуации, аналогичной ситуации Тиберия на его вилле на Капри. Мы обладаем огромной властью и наслаждаемся редкой роскошью, но нами легко манипулируют наши собственные творения, и к тому времени, когда мы очнемся от опасности, может быть уже слишком поздно.

К сожалению, несмотря на важность механизмов самокоррекции для долгосрочного благополучия человечества, у политиков может возникнуть соблазн ослабить их. Как мы видели на протяжении всей книги, хотя нейтрализация самокорректирующихся механизмов имеет много минусов, она, тем не менее, может быть выигрышной политической стратегией. Она может дать огромную власть в руки Сталина XXI века, и было бы безрассудно полагать, что тоталитарный режим, усиленный ИИ, обязательно самоуничтожится, прежде чем сможет нанести ущерб человеческой цивилизации. Как закон джунглей - это миф, так и идея о том, что дуга истории изгибается в сторону справедливости. История - это радикально открытая дуга, которая может изгибаться в разных направлениях и достигать самых разных целей. Даже если Homo sapiens уничтожит сам себя, Вселенная будет продолжать заниматься своими обычными делами. Земной эволюции потребовалось четыре миллиарда лет, чтобы создать цивилизацию высокоразумных обезьян. Если нас не станет, и эволюции понадобится еще сто миллионов лет, чтобы создать цивилизацию высокоразумных крыс, она это сделает. Вселенная терпелива.

Однако есть и еще более худший сценарий. Насколько мы знаем сегодня, обезьяны, крысы и другие органические животные планеты Земля могут быть единственными сознательными существами во всей Вселенной. Теперь мы создали бессознательный, но очень мощный инопланетный интеллект. Если мы неправильно с ним обратимся, ИИ может уничтожить не только человеческое господство на Земле, но и свет сознания, превратив Вселенную в царство абсолютной тьмы. Наша обязанность - не допустить этого.

Хорошая новость заключается в том, что если мы откажемся от самодовольства и отчаяния, то сможем создать сбалансированные информационные сети, которые будут сдерживать свою собственную власть. Для этого не нужно изобретать очередную чудо-технологию или находить гениальную идею, которая каким-то образом ускользнула от всех предыдущих поколений. Скорее, чтобы создать более мудрые сети, мы должны отказаться как от наивных, так и от популистских взглядов на информацию, отбросить фантазии о непогрешимости и посвятить себя тяжелой и довольно рутинной работе по созданию институтов с сильными механизмами самокоррекции. Это, пожалуй, самый важный вывод, который можно сделать из этой книги.

Эта мудрость намного старше человеческой истории. Она является элементарной, основой органической жизни. Первые организмы не были созданы каким-то непогрешимым гением или богом. Они возникли в результате сложного процесса проб и ошибок. За четыре миллиарда лет все более сложные механизмы мутаций и самокоррекции привели к эволюции деревьев, динозавров, джунглей и, в конце концов, человека. Теперь мы вызвали инопланетный неорганический разум, который может выйти из-под нашего контроля и поставить под угрозу не только наш собственный вид, но и бесчисленное множество других форм жизни. От того, какие решения мы примем в ближайшие годы, будет зависеть, окажется ли вызов этого инопланетного интеллекта неизбежной ошибкой или началом новой обнадеживающей главы в эволюции жизни.

 

 

Благодарности

 

В эпоху искусственного интеллекта люди по-прежнему пишут и издают книги средневековыми темпами. Я начал работать над этой книгой в 2018 году, а основная часть рукописи была написана в 2021 и 2022 годах. Учитывая скорость, с которой разворачиваются технологические и политические события, смысл многих разделов уже изменился, приобретя большую актуальность и неся в себе неожиданные послания. Но одно осталось неизменным - жизненная важность связей. Хотя эта книга была написана в условиях растущей международной напряженности, она также стала результатом диалога, сотрудничества и дружбы и представляет собой коллективный труд многих людей, близких и далеких.