Платформы и экосистемы

Алгоритмы порождают дискриминацию не так, как люди. Профессор вычислительной математики Латанья Свини провела потрясающее исследование, целью которого было разобраться в роли расы в рекламных объявлениях Google. Она задавала в поиске типичные афроамериканские имена типа Дешон или – ну да – Латанья, и отмечала объявления, которые появлялись на странице вместе с результатами поиска. Затем она задавала имена, более типичные для белых, например Джеффри. Оказалось, что при поиске «черных» имен на странице чаще появлялись объявления с предложениями баз данных по арестам.

Конечно, никто не настраивает Google так, чтобы он показывал подобные объявления людям, ищущим афроамериканские имена. Это происходит потому, что алгоритм «решает» на основании прошлых запросов, что некто, ищущий имя «Дешон», с большей вероятностью, чем некто, ищущий «Джеффри», заинтересуется рекламой с данными об арестах (и, следовательно, обеспечит Google больше прибыли). Таким образом, этот выбор сделан, хоть и непреднамеренно, разработчиками Google.

Путь к более умному рыночному дизайну

Платформы – даже в одной и той же отрасли – часто различаются особенностями своего дизайна, что может приводить к разным уровням склонности к дискриминации. Возьмем, к примеру, решение о том, размещать ли фотографии пользователей и когда именно. Uber не показывает водителям фото потенциальных пассажиров, а его конкурент Lyft – показывает. Благодаря этому в Uber дискриминация пассажиров со стороны водителей менее вероятна. Аналогично, главная страница с результатами поиска жилья на HomeAway показывает только изображения недвижимости, но не ее владельцев, которые можно увидеть (и то не всегда) только при выборе конкретных объявлений, а Airbnb требует от владельцев прикладывать свои фото к объявлениям на главной странице.

Компании также по-разному подходят к расследованиям случаев возможной дискриминации и выработке мер по ее устранению. Например, eBay работала с командой социальных психологов, которые изучали, не получают ли продавцы-мужчины больше денег за одинаковые товары, чем продавцы-женщины (оказалось, что так и есть). Однако чаще компании не занимаются подобными вопросами. Хотя многие топ-менеджеры признают, что дискриминация существует, и вроде бы хотят справиться с ней, пока мы видим не так уж много искренних попыток сделать что-то реальное, как в eBay. Поэтому исследователи, желающие изучать онлайн-дискриминацию, должны проводить собственные эксперименты или собирать по определению неполные данные с сайтов. (И нам известны случаи, когда юристы компаний пытались преследовать таких исследователей и мешать их работе.)

Даже компании с самыми благими намерениями могут выбирать не самые лучшие подходы к борьбе с дискриминацией, потому что, насколько нам известно, не существует системы для взвешенного рассмотрения доступных вариантов дизайна с этой точки зрения и их возможных последствий. Наша цель в этой статье – предложить компаниям схему, с помощью которой они смогут построить процветающую площадку и управлять ею, одновременно минимизируя склонность к дискриминации.

Мы не рассчитываем на то, что все создатели рынков будут принимать одинаковые решения. Конкуренты по-разному подходят к решению других вопросов (например, Lyft позволяет оставлять чаевые через приложение, а Uber – нет), и они точно так же будут по-разному решать проблему дискриминации (например, среди прочего, они могут по-разному стимулировать меры, направленные на борьбу с ней. (Хотя мы убеждены, что платформы должны стремиться к высшим стандартам в этом отношении.) Наша цель – помочь создателям лучше разобраться в возможных последствиях и компромиссах их решений.

Ниже мы предлагаем два основных принципа для платформ, стремящихся решить эту задачу. Затем мы оценим четыре варианта решений, которые способны повлиять на дискриминацию.

Принцип 1. Не игнорируйте возможность дискриминации