God, Human, Animal, Machine: Technology, Metaphor, and the Search for Meaning

Самым известным современным пересказом Книги Иова - хотя библейское вдохновение в нем затушевано и заслонено антиутопической политикой - является роман Кафки "Испытание". В романе рассказывается история Йозефа К., анонимного банковского служащего, которого однажды утром арестовывают, не объясняя ему сути его преступления. Пытаясь доказать свою невиновность, он сталкивается с загадочной системой правосудия, которую, кажется, не понимает никто, даже ее клерки и эмиссары. Судебная система имеет на него какое-то досье и хранит жуткие сведения о его прошлых действиях, но он так и не может понять, почему его расследуют и в каком преступлении его подозревают. Нортроп Фрай назвал роман "своего рода "мидрашем" на книгу Иова", в котором непрозрачная природа божественного правосудия переосмыслена как лабиринт современной бюрократии. Стоическое и грозное здание государства становится в двадцатом веке воплощением Иеговы, скрывающего себя в вихре.

Дэниел Дж. Солоу, профессор права, пишущий о частной жизни и слежке, утверждает, что роман прозорливо отражает дилемму современного субъекта информационных технологий. По его мнению, озабоченность сбором данных и предиктивной аналитикой слишком сильно сфокусирована на оруэлловских страхах - идее, что государство следит за нашими самыми частными моментами, жадно выискивая признаки политического несогласия, - в то время как реальные угрозы более кафкианские. Уникальная угроза бюрократического государства заключается в его безликости, отсутствии намерений и смысла. "В "Испытании" изображена бюрократия с непостижимыми целями, которая использует информацию о людях для принятия важных решений о них, но при этом лишает людей возможности участвовать в том, как используется их информация..." Солоу пишет. "Вред от бюрократии - равнодушие, ошибки, злоупотребления, разочарование, отсутствие прозрачности и подотчетности".

По мере того как технологии "черного ящика" становятся все более распространенными, не утихают требования о повышении прозрачности. В 2016 году Генеральный регламент Европейского союза по защите данных включил в свои положения "право на объяснение", заявив, что граждане имеют право знать причину автоматизированных решений, которые их касаются. Хотя в Соединенных Штатах аналогичной меры не существует, технологическая индустрия стала более благосклонно относиться к "прозрачности" и "объяснимости", хотя бы для того, чтобы укрепить доверие потребителей. Некоторые компании утверждают, что они разработали методы, которые работают в обратном направлении, чтобы найти точки данных, которые могли вызвать решения машины - хотя эти объяснения в лучшем случае являются разумными догадками. (Сэм Ритчи, бывший инженер-программист компании Stripe, предпочитает термин "нарративы", поскольку объяснения - это не пошаговое описание процесса принятия решений алгоритмом, а гипотеза о тактике рассуждений, которую он мог использовать). В некоторых случаях объяснения исходят от совершенно другой системы, обученной генерировать ответы, которые призваны убедительно объяснить в семантических терминах решения, принятые первоначальной машиной, в то время как на самом деле эти две системы совершенно автономны и не связаны между собой. Эти вводящие в заблуждение объяснения в конечном итоге просто вносят еще один слой непрозрачности. "Проблема усугубляется, - пишет критик Катрин Пассиг, - потому что даже существование отсутствия объяснения скрывается".

Однако в какой-то степени дебаты о технических объяснениях и их предполагаемой невозможности - это ловкий трюк, призванный отвлечь внимание от реальных препятствий на пути к прозрачности, которые носят юридический и экономический характер. Система КОМПАС, которая использовалась в деле Эрика Лумиса, жителя Висконсина, которому было отказано в праве знать, по каким критериям алгоритм определял его тюремный срок, на самом деле не была моделью "черного ящика"; она была разработана частной компанией и защищена правом собственности. Google, Amazon, Palantir и Facebook - многие компании, внедрившие технологии "черного ящика" в государственные системы, - естественно, не решаются раскрывать принцип работы своих программ даже в тех случаях, когда это возможно, чтобы конкуренты не получили доступ к их исследованиям. Учитывая, что эти машины теперь интегрируются в огромные системы, стремящиеся к прибыли, которые сами по себе непостижимы, существует все больше теневых границ между машинами, которые эзотеричны по своей природе, и теми, которые скрыты для защиты власть имущих. Нам не только не позволено знать информацию, которую эти системы имеют о нас, нам не позволено знать, почему нам не позволено знать.