Физика XX века выяснила, что Вселенная вовсе не так детерминистична, как нам казалось вначале. Квантовая физика показала, что Природа играет в кости. Результаты определяются вероятностями, а не часовым механизмом. Именно это господство вероятности и придало алгоритмам такую силу. Возможно, с этим же связано и то, что люди, обучавшиеся физике, по-видимому, ориентируются в нашем новом алгоритмическом мире лучше нас, математиков. Речь идет о соревновании рационалистов с эмпириками, и, к несчастью для меня, эмпирики одерживают в нем верх.
Как машина научилась играть в Breakout на приставке Atari, если ей даже не объяснили правил игры? В ее распоряжении были только данные о пикселях на экране, счет и ракетка, которую можно двигать влево или вправо. Алгоритм был запрограммирован на вычисление воздействия смещения ракетки влево или вправо на счет с учетом текущего состояния экрана. Поскольку последствия хода могут проявиться лишь через несколько секунд после него, нужно было вычислять отложенное воздействие. Это весьма непростая задача, потому что не всегда ясно, что именно вызвало тот или иной эффект. В этом состоит один из недостатков машинного обучения: иногда оно замечает корреляцию и принимает ее за причинно-следственную связь. Тем же недостатком страдают животные.
Довольно красивая иллюстрация этого утверждения была получена в эксперименте, продемонстрировавшем, что голуби суеверны. Исследователи производили видеозапись поведения нескольких голубей, сидевших в клетках; в определенные моменты дня в их клетки ставили кормушки. Дверцы кормушек открывались с задержкой, так что голубям, взволнованным появлением кормушки, тем не менее приходилось дожидаться, пока они смогут добраться до пищи. При этом было сделано следующее поразительное открытие: какие бы случайные действия ни производили голуби непосредственно перед открытием дверцы кормушки, они повторяли их на следующий день. Голубь увидел, что дверца закрыта. Он повернулся на месте два раза, и дверца открылась. Тогда он (ошибочно) заключил, что причиной открытия дверцы было его кручение на месте. Поскольку он очень стремился получить свою награду, в следующий раз, когда кормушка появилась в его клетке, он на всякий случай повторил свои повороты дважды.
Другой классический случай ошибочного обучения, ставший притчей во языцех среди специалистов по машинному обучению, произошел в американской армии. Военным требовались нейронные сети, обученные отбирать изображения с танками. Группа, разработавшая этот алгоритм, вводила в него изображения, помеченные как содержащие танки и не содержащие их. Алгоритм анализировал эти данные и начал выделять характеристики, отличающие изображения этих двух типов друг от друга. Когда он проанализировал несколько сотен помеченных изображений, его испытали на партии фотографий, которых он никогда до этого не видел. Алгоритм распознал их со стопроцентной точностью, чем чрезвычайно порадовал разработчиков.
После этого алгоритм передали военным для полевых испытаний. Военные вскоре прислали его обратно, заявив, что он ни на что не годится. Разработчики были в недоумении. Когда они проанализировали изображения, которые использовали военные, они увидели, что алгоритм выдавал ответы почти случайным образом. Но тут кто-то заметил в результатах закономерность: алгоритм, по-видимому, очень хорошо находил танки, если они были сфотографированы в облачный день.
Вернувшись к своим тренировочным данным, разработчики поняли, в чем была ошибка. Исследовательская группа получила доступ к танкам всего на несколько дней. Они ездили по полигону и фотографировали танки в разных замаскированных положениях. Но при этом они не обратили внимания на то, что в эти несколько дней стояла облачная погода. Затем исследователи вернулись на полигон и сфотографировали местность без танков, но на этот раз небо было безоблачным. Алгоритм научился только отличать изображения с облаками от изображений с чистым небом. А от детектора облачности военным было мало пользы. Вывод: даже если машина учится, нужно обеспечить, чтобы она училась тому, что нужно.
Эта проблема становится все серьезнее по мере того как алгоритмы, обученные на данных, начинают влиять на жизнь общества. Заявки на ипотечные кредиты, решения в области охраны правопорядка и медицинские рекомендации все чаще и чаще обрабатываются алгоритмами. Но теперь у нас имеется много свидетельств того, что в их работе возникают скрытые искажения. Старшекурсница МТИ Джой Буоламвини обнаружила, к своему смущению, что робототехническое программное обеспечение, с которым она работала, по-видимому, тратило гораздо больше времени на распознавание ее лица, чем лиц ее более светлокожих коллег. Когда она надевала белую маску, робот тут же понимал, где находится ее лицо, но стоило ей снять маску, как она исчезала.