Машина, платформа, толпа. Наше цифровое будущее

Решив исследовать это явление, Суини обнаружила, что поиск по именам, более распространенным среди афроамериканцев (например, Тревон, Лакиша или – да, Латания), с гораздо большей вероятностью приводил к появлению сообщения «Арестована?», чем по именам, чаще ассоциирующимся с белыми (например, Лори или Брендан)[142]. О причинах этого феномена нельзя сказать ничего точно, но Суини дала ему такое объяснение: алгоритм Google, обеспечивающий показ рекламы, заметил, что клики более вероятны, когда объявления связаны с именами, характерными для чернокожих. Это не отражение сознательных дискриминирующих действий людей, размещающих объявления или работающих в Google. Просто алгоритм отражает и усиливает распространенный в обществе расовый предрассудок, проявляющийся в решениях миллионов людей кликнуть по определенным объявлениям. Аналогичным образом по словам «ученый» и «бабушка», набранным в январе 2017 года в сервисе поиска изображений Google, выдавалось ошеломляющее количество фотографий белых людей.

В статье в Nature Кейт Кроуфорд и Райан Кало отмечали опасность того, «что в ряде контекстов недостатки систем искусственного интеллекта чрезвычайно влияют на группы, которые и без того находятся в невыгодном положении из-за таких факторов, как расовая принадлежность, пол или социально-экономические условия», и подчеркивали, насколько важно при проектировании таких систем учитывать социальные воздействия – как намеренные, так и непреднамеренные[143].

Мы разделяем эту озабоченность и видим в тенденции к алгоритмическому принятию решений как вероятные проблемы, так и благоприятные возможности. Проблемы состоят в том, что такой подход способен укоренить и закрепить несправедливые, опасные и нежелательные искажения. Хуже того, такие искажения могут возникать, несмотря на искреннее желание разработчиков создавать по-настоящему беспристрастные системы, и, вероятно, их будет трудно обнаружить без масштабного тестирования. Любой проект обязательно столкнется с такой проблемой.

Благоприятные возможности состоят в том, что компьютерные системы, как правило, легко поддаются тестированию и улучшению. И если какую-то ошибку однажды исправить, то маловероятно, что она проявится снова. Людям, напротив, крайне трудно разобраться в своих предрассудках (сколько явных расистов и сексистов вы знаете?), не говоря уже о том, сколько труда нужно для их преодоления. Если смотреть на ситуацию реалистично, то для систем, принимающих решение, идеальным не будет ни один стандарт – хоть на основе компьютера, хоть на основе человека, хоть на их сочетании. Любая система, скорее всего, будет содержать искажения и делать ошибки. Так что лучше поставить цель выработать такой подход, который сведет их к минимуму и позволит легко и быстро их исправлять.

ИСПОЛЬЗУЙТЕ РАЗУМ ДЛЯ ПРИНЯТИЯ РЕШЕНИЙ – НО ДЕЛАЙТЕ ЭТО РАЗУМНО

Какую роль в принятии решений должны играть люди (и должны ли вообще)? Мы уже знаем об искажениях и ошибках Системы 1, у нас есть океаны данных и растущие с каждым годом вычислительные мощности, так что можно сделать вывод, что «невидимая экономика» вот-вот вытеснит традиционную, а цифровые аналоги Системы 2 вскоре станут принимать большинство решений. Есть такая старая шутка: в будущем на каждом заводе останется всего два работника – человек и собака. Обязанностью человека будет кормить собаку, а обязанностью собаки – следить, чтобы человек не касался машин[144]. А может, действительно компании завтрашнего станут такими?

Мы так не думаем. Да, у нас есть предрассудки, которых нет у компьютеров. Но у нас есть и сильные стороны, которых лишены машины. Начнем с того, что мы постоянно получаем от своих органов чувств невообразимое количество данных и при этом не занимаемся предварительным отбором – просто вбираем их целиком по мере поступления. Нам трудно слышать только некоторые звуки или видеть только некоторые вещи – даже в течение короткого времени. Компьютеры ведут себя наоборот: они испытывают огромные трудности в сборе разнородных данных или данных, отличных от тех, с которыми им позволили работать конструкторы и программисты.