Я подумал о том, что это убеждение было естественным для Нейта и для таких людей, как он, потому что их мозг, их ра-зум функционировал настолько логически верно и методически строго, что делал эту метафору интуитивно верной и даже вовсе не метафорой. Тогда как сам я с беспокойством думал о своем мозге как о компьютере или о некоем другом механизме. Если это действительно так, я бы хотел заменить его новой моделью, потому что мой мозг был крайне неэффективным устройством, склонным к частым сбоям, ужасным просчетам и продолжительным блужданиям на пути к целям, которые с большой долей вероятности не будут достигнуты. Возможно, я сопротивлялся самой идее «мозга как компьютера», потому что для меня она означала бы согласие с тем, что мое собственное мышление неисправно и полно сбоев и ошибок.
Было что-то вероломное во всей этой склонности трансгуманистов, последователей сингулярности, технорационалистов относиться к людям, будто они просто компьютеры из белка, и настаивать на том, что мозг, как сказал Минский, «может быть машиной из плоти». Ранее в тот же день я прочитал в твиттере Нейта, где он традиционно постит то, что услышал в офисах МИРИ, такое сообщение:
«Вот что случается, когда вы запускаете программы на компьютере: они просто уделывают компьютеры из плоти».
Полагаю, такое заявление было крайне неприятным, ведь оно снижало сложность и удивительность человека до уровня упрощенной механической модели стимула и ответной реакции и тем самым открывало путь целой идеологии о том, что нас вполне можно заменить мощными машинами. В конечном счете развитие любой технологии подразумевает смену на более сложное, более полезное, более эффективное и функциональное устройство. Весь смысл заключался в том, чтобы как можно быстрее делать отдельные технологии избыточными. И, по такому технодарвинистскому взгляду на наше будущее, насколько быстро мы будем проектировать собственную эволюцию, настолько же быстро мы превратимся в «устаревшие» технологии. «Мы сами создаем своих преемников, – писал английский писатель Сэмюэл Батлер в 1863 году, во время промышленной революции и спустя четыре года после «Происхождения видов» Чарльза Дарвина. – Человек станет для машины тем, кем являются для человека лошадь и собака».
Но было в этом еще нечто банальное, но более тревожное: отвращение, связанное с объединением двух якобы непримиримых образов, плоти и техники. Пожалуй, причина моего отвращения к такому союзу заключалась в той запретной близости к невыразимой словами истине, что мы на самом деле – плоть, и что эта плоть – всего лишь механизм, который и есть мы. И в этом смысле действительно не было ничего особенного в углероде, точно так же, как нет ничего особенного в пластике, стекле и кремнии моего айфона, на который я записывал разговор с Нейтом Соаресом.
Для последователей сингулярности лучшим сценарием развития событий был тот, в котором мы сливаемся с искусственным сверхинтеллектом и становимся бессмертными машинами. Для меня он был ничуть не более привлекательным, а возможно, и даже более отвратительным, чем самый плохой сценарий, в котором сверхинтеллект уничтожит всех нас. Именно этот последний сценарий, вариант провала в противовес варианту стать богами, должен был ужасать меня. Я был уверен, что со временем перестану испытывать страх перед наилучшим сценарием.
Во время разговора Нейт периодически щелкал колпачком красного маркера, которым он иллюстрировал на доске некоторые исторические факты: например, как в разработке искусственного интеллекта мы достигли уровня человека. Из чего логически может следовать, что в ближайшем будущем искусственный интеллект сможет запрограммировать дальнейшие итерации развития самого себя, разжигая экспоненциально воспламеняющийся ад, который поглотит все живое.
– Как только мы сможем автоматизировать исследования в области компьютерных наук и искусственного интеллекта, – сказал он, – цикл замкнется, и мы получим системы, способные без нашей помощи создавать более совершенные системы.