Машины создания

Во втором случае, мы имеем государство, которое развилось, чтобы эксплуатировать людей, возможно по тоталитарному принципу. Государства нуждаются в людях как в работниках, потому что человеческий труд являлся необходимым основанием для власти. Что более важно, геноцид был дорогим и проблематичным для организации и выполнения. Однако в этом веке тоталитарные государства убивали своих граждан миллионами. Усовершенствованная технология сделает работников ненужными, а геноцид легко исполнимым. История свидетельствует, что тоталитарные государства могут тогда вообще уничтожить людей. В этом есть некоторое утешение. Кажется вероятным, что государство, желающее и способное поработить нас биологически, вместо этого бы просто нас убило.

Угроза совершенной технологии в руках правительств делает одну вещь совершенно очевидной: мы не можем позволить себе дать деспотическому государству взять первенство в грядущих прорывах.

Основная проблема, которую я обрисовал – очевидна: в будущем, также как и в прошлом, новые технологии будут годиться для аварий и злоупотребления. Поскольку репликаторы и думающие машины будут давать огромную новую власть, эта возможность аварий и злоупотребления будет также огромен. Эти возможности создают реальные угрозы нашим жизням.

Большинство людей хотело бы иметь возможность жить и быть свободными выбирать, как им жить. Эта цель может не звучать слишком утопичной, по крайней мере в некоторых частях света. Это не означает принуждение жизни каждого к соответствию какому-то грандиозному плану; это главным образом означает, чтобы избежать порабощения и смерти. Однако, также как достижение утопичной мечты, это принесёт будущее чудес.

Учитывая эти проблемы жизни и смерти и эту общую цель, мы можем рассмотреть, какие меры могли бы нам помочь достичь успеха. Наша стратегия должна включать людей, принципы и институты, но также она должна основываться на тактике, которая неизбежно будет включать технологию.

Системы, которым можно доверять

Чтобы использовать такие мощные технологии безопасно, мы должны делать технические средства, которым мы можем доверять. Чтобы иметь доверие, мы должны быть способны тщательно оценивать технические факты – способность, которая в свою очередь будет зависеть отчасти от качества наших способов оценки. Более существенно, однако, она будет зависеть от того, будет ли заслуживающие доверие технические средства физически возможны. Это – вопрос надёжности компонентов и систем.

Часто мы можем делать надёжные компоненты, даже без помощи ассемблеров. "Надёжные" не значит "неразрушимые" – всё что угодно разрушится, если его поместить достаточно близко к ядерному взрыву. Это даже не означает "стойкий" – телевизор может быть надёжным, однако он не выдержит удара о бетонный пол. Скорее, мы называем что-то надёжным, когда мы можем рассчитывать, что оно будет работать, как задумано.

Надёжный компонент не обязательно должен быть совершенным воплощением совершенной конструкции: ему только нужно быть достаточно хорошим воплощением достаточно предусмотрительной конструкции. Инженер, который строит мост, может не быть уверен насчёт силы ветра, нагрузки движения по мосту, и прочности стали, но предполагая высокий ветер, интенсивное движение и непрочную сталь, инженер может сконструировать мост, который сможет выдержать.

Неожиданные отказы компонентов обычно проистекают из физических дефектов. Но ассемблеры будут строить компоненты, которые имеют пренебрежимо малое число атомов не на своём месте – ни одного, если будет в том необходимость. Это сделает их идеально унифицированными и в ограниченном смысле – совершенно надёжными. Однако излучение будет всё равно вызывать повреждение, поскольку космические лучи могут неожиданно выбивать атомы из чего угодно. В достаточно малых компонентах (даже в современных компьютерных устройствах памяти), отдельная частица излучения может вызвать отказ.

Но системы работают, даже когда их части перестают работать; ключ к этому – избыточность. Представьте мост, подвешенный на канатах, которые случайным образом обрываются, каждый около одного раза в год в непредсказуемый момент времени. Если мост упадёт когда порвётся канат, его будет использовать слишком опасно. Однако представьте, что чтобы починить канат требуется один день (потому что квалифицированная команда ремонтников с запасными канатами вызывается как только необходимо), и что, хотя необходимо пять канатов, чтобы поддерживать мост, есть на самом деле шесть. Теперь один канат рвётся, и мост всё равно остаётся на своём месте. Закрыв движение и далее заменив порвавшийся канат, операторы моста могут восстановить безопасность. Чтобы разрушить этот мост, в этот же день должен порваться второй кабель, также как и первый. Поддерживаемый шестью канатами, каждый имеющий 1 из 365 шансов порваться, мост вероятно выдержит около 10 лет.