Докт. Томас АнгессерОпасности бесконтрольной технологизацииДоклад на форуме «Социальные последствия технического прогресса»,Франкфурт-на-Майне, 12 февраля 2013 гДамы и господа, ни у кого из нас нет сомнений в том, что набирающее обороты проникновение сетевых технологий в повседневность открывает перед нами невиданные возможности в экономике, здравоохранении и бытовом комфорте. Однако мы практически не говорим об оборотной стороне этого процесса. А необходимость такого разговора, на мой взгляд, уже назрела, поскольку прогресс происходит настолько быстро, что мы рискуем утратить над ним контроль.
Посмотрите на этот смартфон. Наверняка у каждого из вас в кармане найдется похожий. Мой — далеко не последней модели. Однако он обладает такой вычислительной мощностью, которой двадцать лет назад могли похвастаться лишь университетские вычислительные центры. Сегодня компьютеры не только выигрывают у чемпионов в шахматы, но и побеждают в викторинах на эрудицию. Они и считают быстрее нас, и видят лучше, а в скором будущем начнут и лучше водить. Уже получены первые результаты экспериментов с машинным считыванием мыслей.
Все это — лишь начало. Начало объединения всех устройств в единую сеть, которое мы будем называть термином «индустрия 4.0» и которое в дальнейшем будет способствовать невообразимо быстрому технологическому развитию. Остается совсем немного времени, возможно, всего лишь несколько лет, когда интеллект устройств, объединенных Интернетом, превзойдет человеческий.
Уже сегодня самое простое программное обеспечение создается с помощью сложно организованных сред программирования. Компьютеры все чаще программируют себя сами, быстро изменяются под воздействием внешних условий, обучаются и обмениваются знаниями в глобальной сети. Момент, когда нам останется лишь отойти в сторону и в изумлении наблюдать, как технология изменяется и развивается без нашего вмешательства, не за горами.
Технический прогресс всегда шел по эволюционному принципу. Путем проб и ошибок, путем «передачи» новых знаний и рыночного отбора мы создаем все более эффективные товары и услуги. Так же как и в природе, эволюция здесь протекает спонтанно и непредсказуемо. Например, кто мог бы представить в далеком 1973 году, что Арпанет министерства обороны США через двадцать лет станет основой глобальной коммуникационной среды? Кто мог бы предсказать, что изобретение Интернета приведет к вымиранию привычных газет и книг? Кто сегодня сможет сказать, что произойдет, если команде биологов под руководством Вентера Крейга[30] удастся создать искусственный организм, способный к размножению?
Последствия технологических изменений часто становятся заметны лишь спустя долгое время. Только сейчас мы способны увидеть масштаб тех изменений мира, начало которым было положено первой индустриальной революцией двести лет назад. Технологическое развитие дарит нам не только новые методы лечения, эффективное производство и умные телефоны, но и думающее оружие и искусственно созданных возбудителей болезней. Двуликость прогресса — не новость. Новость — в том, что скорость развития и изменений возрастает.
Позвольте мне зачитать отрывок из манифеста, предрекающего нам далеко не светлое будущее:
«Для начала предположим, что программистам удастся создать интеллектуальные машины, которые умеют делать все лучше человека. В таком случае следует предположить, что вся работа будет осуществляться сложнейшими, высокоорганизованными техническими системами, и человеческий труд перестанет быть необходимым. Тогда наступит один из двух вариантов развития событий: машинам доверят принимать решения без вмешательства человека или же контроль над ними со стороны человека сохранится.
Если машинам будет позволено принимать решения самостоятельно, то мы не сможем предсказать, что произойдет в результате, поскольку невозможно предвидеть, как поведут себя такие машины. Мы лишь заметим, что в этом случае судьба человечества будет зависеть от их милости… Возможен сценарий, в котором человек сохранит контроль над машинами. Тогда рядовой гражданин будет контролировать свою личную технику, например автомобиль или компьютер, однако контроль над сложными компьютерными системами будет в руках малочисленной элиты… Совершенствование технологий позволит элите все жестче контролировать людей, и поскольку человеческий труд перестанет быть нужным, человечество станет избыточным, превратится в бесполезный балласт внутри системы».
Эти строки написал Теодор Качинский, печально известный Унабомбер, который решил сдержать технический прогресс, рассылая ведущим ученым бомбы по почте. Три человека погибли, двадцать три были тяжело ранены. Качинского заслуженно приговорили к пожизненному заключению. Но это не сделало автоматически его воззрения бессмысленными. Должен признаться, у меня появляются мурашки, когда я читаю его манифест. И не только у меня: пионер компьютерной индустрии Билл Джой, основатель фирмы Sun Microsystems, процитировал Качинского в своем известном эссе «Почему мы не нужны будущему». Он задается вопросом, не создаем ли мы сейчас предпосылок к тому, чтобы сделать себя ненужными в будущем.
Лично я не считаю, что мы должны бояться машин как будущих врагов. Опасности коренятся не столько в способностях компьютеров, сколько в том — и это никого из вас не удивит, — как мы ими распорядимся.
Мы — те, кто работает над развитием техники, — постоянно находимся под гнетом конкуренции, который вынуждает нас спешить. Однако это не должно служить оправданием тому, что мы не замечаем или предпочитаем не замечать рисков технологического развития. Я убежден, что мы обязаны анализировать каждую новую технологию с критических позиций.
Во-первых, какие сложности я создаю своей технологией? Все более плотное срастание в единую сеть устройств делает возникающий конгломерат необозримым и непредсказуемым. А он чреват катастрофическими последствиями. Например, такими, как вызванный компьютерным сбоем обвал рынка ценных бумаг 6 мая 2010 года, или непредвиденными рисками, вроде проблемы 2000 года, суть которой заключалась в том, что никто не мог предсказать, наступит ли этот год для техники. Разъединение систем может быть способом уменьшения таких рисков.
Во-вторых, насколько я могу полагаться на технику? Мы переоцениваем свою способность справляться с рисками. Примерами здесь могут служить не только аварии на атомной электростанции в Фукусиме и на нефтяной буровой платформе Deepwater Horizon, но и банковский кризис 2008 года, который во многом был вызван автоматическими системами оценки рисков. Нам не помешает проявлять больше осмотрительности и здравого скептицизма в обращении с компьютерной техникой.
В-третьих, действительно ли нам нужно все контролировать и автоматизировать? Выбирая решения и адаптируя их под конкретные ситуации, люди не только учатся делать правильный выбор, но и приносят пользу себе и окружающим. Нам нужно учиться упрощать задачи и доверять друг другу, а не слепо полагаться на якобы безупречный компьютер.
В-четвертых, какую цену платят пользователи, возможно, незаметно для себя? Машины прельщают нас возможностью легче и приятнее решать задачи. Но тот, кто постоянно пользуется навигатором, теряет способность ориентироваться самостоятельно. Тот, кто постоянно сидит в смартфоне, лишает себя свободного времени и возможности расслабиться. Объем свободного времени, который мы жертвуем на электронную коммуникацию в ущерб личностному общению и творчеству, ужасает. Если когда-то в будущем мы станем общаться только с машинами, которые — я имею в виду буквально — будут угадывать все наши желания, то, возможно, мы перестанем быть людьми.
В-пятых, какие виды злоупотребления технологией я делаю возможными? По мере технического прогресса растет и опасность использования его для совершения преступлений. К сожалению, развитие законодательной базы отстает от развития техники с большим отрывом. Киберпреступность и кибервойны станут серьезным вызовом грядущих десятилетий. Кроме этого, еще и государственные учреждения, чьи трехбуквенные аббревиатуры я называть не буду, используют технологии, чтобы наблюдать за каждым нашим шагом. Развитие новых технологий предполагает переосмысление этических и юридических границ и возможностей.
Но, дамы и господа, не поймите меня неправильно. Мои слова не означают, что мы должны остановить технический прогресс или передать его другим. Даже если бы мы этого захотели, у нас не получилось бы. Интернет невозможно выключить. Эволюцию — ни биологическую, ни технологическую — невозможно остановить. Но, наверное, можно время от времени делать перерыв, брать паузу для рефлексии и размышлений над своими действиями. Поэтому я с удовольствием принял приглашение выступить на этом форуме и выразить свое мнение об опасностях технологического развития как представителя этой индустрии. Таких мероприятий должно быть больше, и, честно говоря, я бы предпочел, чтобы их проводили не только ассоциации и профсоюзы, но и сама индустрия высоких технологий. Несмотря на все мои предостережения, я хотел бы закончить свой доклад на оптимистической ноте: если мы будем разумно скептичны по отношению к соблазнам технологизации жизни и внимательны к тому факту, что пользуемся вещами, которые нам все меньше и меньше понятны, будущее меня страшить не будет. Благодарю вас за внимание!
