выбор слов в такой же степени является продуктом региона, образования, этнической принадлежности, диалекта и класса, как и так называемого «интеллекта».
Подобно тому, как сортировщик резюме Amazon быстро «научился» ассоциировать косвенные показатели пола (например, слово «женский») с непригодностью, слишком легко представить, как алгоритм HireVue отсеивает кандидатов с определенным акцентом, разговорными выражениями и другими продуктами их культурных особенностей.
Затем, конечно, есть те переменные, которые человек мог бы распознать и объяснить в одно мгновение, но которые машинный процесс сопоставления с образцом не может понять: возможно, человек с деформацией лица, который не может улыбаться обычным образом; человек с дефектом речи, который не похож на предыдущих нанятых звезд; или даже кандидат, на лицо которого яркие потолочные светильники отбрасывают заметные тени так, что «машинный глаз» интерпретирует это как злобное выражение лица.
Откровенный разговор с машиной
Дело не в том, что менеджер по найму не может быть предвзятым или дискриминировать на собеседовании человека с другим цветом кожи, с определенным акцентом или с инвалидностью, даже если он не осознает, что делает это. Дело в том, что предположение о том, что решение, принятое алгоритмом, не будет так уязвимо для подобных предубеждений, просто неверно и говорит о нашей слепой вере в машины, а не в людей.
Более того, по мере того как алгоритмы становятся все более замысловатыми, а их наборы данных все больше, их правила все более сложными, запутанными и самообученными, становится все труднее понять, как именно и почему они приходят к своим выводам. Мы уже фактически достигли точки, когда собственные создатели некоторых алгоритмов не могут полностью объяснить, что стоит за их решениями. И если мы недостаточно понимаем, как на самом деле работает алгоритм, чтобы предвидеть, как он может дать сбой, чрезвычайно трудно внедрить эффективные меры предосторожности.
По мере того как алгоритмическое принятие решений приобретает все большее значение во всей нашей жизни, – от решения, имеем ли мы право на получение ссуды, до того, остановит ли нас полиция и обыщет ли нас, наймут ли нас или даже уволят (да, по словам профессоров бизнес-школы IESE, алгоритм, который «предсказывает будущие взносы» и вычисляет, кого следует уволить в периоды увольнений, «скорее всего будет введен») – непрозрачность этих алгоритмов и, следовательно, трудности, связанные с оспариванием их решений, не говоря уже о попытках отменить ошибочные, неизбежно усугубят наше чувство бессилия.
А одиночество процветает в вакууме, который создает бессилие. Ибо, как мы видели, чувство, что твоя судьба – это то, над чем ты не властен, способствует одиночеству и изолированности.
Было еще кое-что, что меня глубоко отталкивало в этом одностороннем допросе: хотя во время этого виртуального интервью за мной наблюдали более пристально, чем, возможно, когда-либо прежде, я чувствовала себя на удивление невидимой. Кого именно оно тщательно изучало? Меня? Или одномерную разбитую на пиксели версию меня, разрезанную и разделенную на эти 25 000 точек данных – версию меня, которой неизбежно будет сложно уловить глубины моего опыта, истории и личности?
Это чувство подкреплялось тем фактом, что, несмотря на то что я действительно открылась в интервью и очень откровенно рассказала о личных проблемах, которые я преодолела, о вещах, которых я не только достигла, но и с которыми боролась, прошло всего несколько минут после того, как закончилось интервью, и я получила электронное письмо с оценкой моего характера – оценкой настолько общей и обходительной, что было очевидно, что, хотя я и говорила, меня не услышали.
Вот выдержка из ключевого раздела оценки: