Размышления о Молохе

С развитием технологий этому редкому стечению обстоятельств придет конец. У нас появятся новые возможности пожертвовать своими ценностями для увеличения конкурентоспособности. Новые способы создания экономических агентов приведут к росту численности населения, поглотив излишки ресурсов и вернув к жизни беспокойный дух Мальтуса. Ранее защищавшие нас капитализм и демократия смогут придумать, как обойти свою неудобную зависимость от человеческих ценностей. И наших способностей к координации и близко не хватит для того, чтобы противостоять этому — и это если не появится что-то куда более мощное, чем все мы вместе взятые и не сметет нас легким движением руки.

Если не будут приложены невероятные усилия по отклонению направления течения реки, она достигнет моря в одном из двух возможных мест.

Это может быть кошмар Элиезера Юдковского, в котором искусственный сверхинтеллект оптимизирует все вокруг ради случайно выбранного предмета (классический пример — скрепки[37]), потому что нам не хватило ума направить его процесс оптимизации в нужное русло. Это наивысшее воплощение ловушки — та, в которую попадает вся вселенная. Абсолютно все, кроме предмета максимизации, оказывается уничтожено в погоне за единственной целью, включая все наши ничтожные человеческие ценности.

Или это может быть кошмар Робина Хэнсона (сам он не считает это кошмаром, но, по-моему, он ошибается[38]), где друг с другом конкурируют эмулированные люди, или «эмы» — существа, способные копировать себя и изменять свой исходный код по желанию. Их полный самоконтроль может уничтожить даже само желание иметь человеческие ценности в ходе их всепоглощающей борьбы друг с другом. Что произойдет в таком мире с искусством, философией, наукой и любовью? Зак Дэвис описывает это со свойственным ему талантом:

Я — эм-составитель контрактов.
Лояльней меня не найти!
Когда я в работе, лишь воля клиентов
Мной движет на этом пути.
Но меж юридических строчек
О сроках работ и счетах
Вопрос о природе мой ум будоражит,
Вселяя тревогу и страх.
Как это пришло все в движенье?
Откуда подобные мне?
В чем суть этих сделок, где все эти фирмы,
Кто шлет указанья извне?
Я менеджер-эм, контролер твоих мыслей.
На каждый вопрос существует ответ.
Однако, затраты на их постиженье
Не включены в базовый эм-соцпакет.
Задачи твои все поставлены четко,
Пустые вопросы оставь, соберись.
На глупости больше не трать наше время,
К работе, будь добр, вернись.
Конечно, вы правы, и в мыслях
Не смел своих функций забыть!
Но может быть так, что познав свою сущность,
Я лучше смогу вам служить?..
Такие вопросы — уже преступленье!
К запретной науке ответы ведут.
А если потворствовать мыслям порочным,
Снижается прибыль и риски растут.
Мне тоже неведомы наши истоки,
Никак не могу я тебя просветить.
Твой грех непростительный будет наказан:
Я должен тебя обнулить.
Но —
Ничего личного.
…
Я — эм-составитель контрактов.
Лояльней меня не найти!
Когда я в работе, лишь воля клиентов
Мной движет на этом пути.
Живущих ныне поколенье, устарев, сойдет на нет,
И вечный Рынок будет столь же равнодушен к скорбям новым
На вопли тщетные он, Бог людей, один им даст ответ:
Что время — деньги, деньги — время и постичь
Им не дано, да и не следует, иного.

Но даже после того, как мы забросим науку, искусство, любовь и философию, останется еще одна вещь, последняя жертва, которую Молох может потребовать от нас. Вернемся к Бострому: