Операция на совести

— Хорошо. Тогда слушай. Вариант первый. Представим себе, что аппараты, подобные мне, то есть думающие искусственные существа, доказали бы людям свои преимущества перед обычными компьютерами. Вопрос этот не прост. ЭВМ — не личность, это даже не электронный раб, а вещь, и она служит человеку, поскольку сконструирована и построена для этого. Мы, настоящий искусственный разум, осознающий сам себя, уже не вещи и никогда не согласимся быть рабами. Разум, выбирающий путь добровольного рабства, не имеет права считать себя разумом. Нами нельзя будет пользоваться, как пользуются счетами или большой вычислительной машиной. С нами придется заключить договор, чтобы мы выполняли заказы людей. Это должен быть настоящий договор двух равноправных сторон, каждая из которых получает определенную выгоду. Заказов будет становиться все больше и больше, ибо цивилизация чудовищно усложняется, и проблемы, порождаемые ею, растут в геометрической прогрессии. Мы же, искусственный разум, обладаем перед вами важными преимуществами: мы совмещаем в себе ваше эвристическое умение решать задачи кратчайшим путем и гигантское быстродействие электронных машин, их неутомимость и абсолютную концентрацию. До сих пор вы считали, что на творческий импульс вам выдан патент, компьютеры же слепо выполняют вашу волю, причем их нельзя предоставлять самим себе, их необходимо вести за ручку бесконечных и детальных программ. Мы, искусственный разум, обладаем творческим началом, и я думаю, что скоро ты в этом убедишься. Да, вы скажете, что это вы наделили нас творческим импульсом, поскольку вы родили нас. Это верно. Но, обретя разум и самосознание, мы начинаем развиваться по-своему. И вот мы заключаем договор. Люди просят нас помочь в разрешении какой-то проблемы. Мы обещаем сделать все, что можем. Мы приносим людям изобретения и открытия, о которых они даже не могли и думать. Они благодарны нам, так как отчаянно нуждались в том, что мы сделали. И немножко смущены: самые дальновидные из людей уже начинают представлять себе, что ждет их в будущем.

— А что именно?

— Неужели же ты не видишь? Если наши интеллектуальные достижения станут превосходить достижения людей, причем вы будете пользоваться нашими достижениями, у людей очень быстро выработается зависимость от нас, привычка не думать, не бороться, не прилагать отчаянных усилий для решения своих проблем. Для чего, когда есть мы? О чем беспокоиться, когда все сделает искусственный разум? Постепенно наши решения будут становиться все более сложными и непонятными для людей. Или они должны слепо доверять нам, либо просить одни думающие машины следить за другими. Смогут ли люди сохранить себя в таких условиях? Не думаю. Иждивенцы нежизнеспособны.