2062: время машин

Слова Питера Норвига о том, что люди плохо умеют принимать решения, сущая правда. Специалисты в области поведенческой экономики выяснили, что мы полны стереотипов и часто ведем себя иррационально. Однако если мы не будем осторожны, то создадим машины, которые будут такими же предвзятыми. На самом деле алгоритмы сегодня часто уступают людям в этом аспекте. В отличие от нас многие алгоритмы не могут объяснить, как они принимают решения. Это черные ящики, которые просто дают ответы. Человека всегда можно спросить, почему он поступил так или иначе. С большинством современных ИИ придется просто принять ответ как должное.

Имморальный компас

К 2062 году предубеждения в алгоритмах распространятся еще больше, если мы не предпримем никаких действий, чтобы это предотвратить. Существует множество доказательств того, что эта проблема уже стоит перед нами. Посмотрим на один такой пример из США: алгоритм машинного обучения под названием COMPAS, разработанный компанией Northpointe. Он предназначен для того, чтобы на основании исторических данных высчитать вероятность повторного совершения преступления осужденным преступником.

Алгоритм могут использовать службы, чтобы неприспособленные для этого люди не оказались в тюрьме. Думаю, немногие станут оспаривать такое применение технологии. Она способна сделать наше общество лучше и безопаснее. Однако COMPAS используют совсем иначе. Судьи обращаются к нему, чтобы определить срок заключения, размер залога и испытательного срока. Не стоит даже говорить, что здесь все совсем неоднозначно. Может ли программа действительно принимать подобные решения на уровне опытного судьи? Может ли она принять во внимание все детали, которые судья изучил бы, прежде чем определять чье-либо наказание?

Представим ненадолго, что к 2062 году компьютерная программа сможет учитывать различные дополнительные факторы и выносить вердикт лучше судей. Стоит ли нам оставлять на этих должностях людей? Не обязаны ли мы доверить принятие таких решений превосходящим нас в этом деле компьютерам?

А теперь самое интересное. В исследовании 2016 года COMPAS предсказал, что черные подсудимые совершают рецидив своих преступлений чаще, чем это происходит на самом деле. В то же время он показал, что белые подсудимые повторно нарушают закон реже, чем это происходит в реальности[66]. Поэтому из-за предвзятости программы черные люди могут быть несправедливо осуждены на более долгие срок, чем белые. А те белые преступники, которые повторно совершат преступление, окажутся на свободе. Я очень сомневаюсь, что программисты Northpointe намеренно заложили в COMPAS расовые стереотипы. Однако они есть.

Причина этого нам неизвестна. Из коммерческих соображений Northpointe отказался раскрывать детали того, как работает COMPAS. Подобные основания для секретности сами по себе вызывают некоторые вопросы. Однако мы знаем, что программа обучалась на исторических данных, которые, скорее всего, и были полны расовых предубеждений. Раса не была частью входных данных, но почтовый индекс был. Для некоторых мест это почти то же самое, что указание расовой принадлежности. Возможно, дело в том, что в черных районах больше полицейских патрулей, а потому вероятность задержания черного правонарушителя выше? Возможно, полицейские руководствуются расовыми стереотипами и чаще останавливают черных? Возможно, причина совершения многих преступлений – бедность, а потому, основываясь на почтовом индексе, мы просто наказываем бедность?

Как только мы обнаружили подобную предвзятость машины, мы можем постараться ее устранить. Мы должны определить, в чем причина расовой предубежденности прогнозов программы машинного обучения, а затем научить ее избегать такой предвзятости. Даже если нам это удастся, вопрос о том, стоит ли доверять такие решения компьютерам, останется спорным. Лишение свободы – одно из самых сложных решений, которые принимает общество. К этому нужно относиться серьезно. Мы отказываемся от важной части нашего естества, когда передаем эту функцию машине.

Несмотря на большое количество негативных отзывов о COMPAS, ошибки этой программы продолжают повторяться. В 2017 году полиция на северо-востоке Англии начала использовать машинное обучение, чтобы определить, стоит ли держать подозреваемого под стражей. Инструмент оценки риска ущерба использует полицейские данные, а также историю правонарушений подозреваемого и выборочную демографическую информацию, чтобы определить степень вероятности, с какой подозреваемый повторно совершит преступление, если окажется на свободе. И опять один из основных факторов, с помощью которых формулируется прогноз, – почтовый индекс.