Invisible Rulers

Однако некоторые из этих крайних случаев выходили за рамки эхо-камер: рекомендательные системы толкали людей в сообщества, которые были пограничными, если не прямо вредными. К концу 2018 года QAnon уже был, по сути, децентрализованной сектой, 40 связанной с несколькими случаями насилия, а также с достаточным количеством историй ужасных последствий для семей, чтобы создать специальную группу поддержки (под названием "QAnonCasualties"). 41 В нескольких случаях в группах против вакцин, продвигаемых алгоритмом, наблюдалась смерть детей после того, как заблуждающиеся родители игнорировали здравые медицинские советы в пользу предложений от коллег. Одна мать из группы "Остановить обязательную вакцинацию" ( ), рекомендованной алгоритмом, решила отказаться от тамифлю после того, как члены группы предостерегли ее от лечения, предлагаемого "Большой Фармой", и посоветовали попробовать бузину или грудное молоко, или положить лук в носки сына вместо этого. Позже он умер от гриппа. 42 Еще одна участница отказалась от прививки с витамином К, которая предотвращает кровоизлияния в мозг новорожденных, опасаясь, что это вакцина с токсичными ингредиентами - заблуждение, широко распространенное в группе. В то время поисковые системы также выдавали антивакцинальные блоги в ответ на запрос "прививка с витамином К". 43 Алгоритмы работают с тем, что у них есть.

Хотя некоторые ученые, журналисты и активисты (как и я в то время) писали об этих ситуациях и призывали переосмыслить этику рекомендательных систем, платформы в основном избегали действий, хотя внутри себя они тайно начинали испытывать некоторые опасения. В 2016 году внутреннее исследование Facebook показало, что 64 процента людей, вступивших в экстремальную группу, сделали это по рекомендации и что эти группы, как выразился Джефф Хорвиц из Wall Street Journal, "непропорционально сильно подвержены влиянию подгруппы гиперактивных пользователей". 44 Летом 2019 года внутренние исследовательские группы Facebook создали персональный аккаунт - политически консервативную мать по имени Кэрол - и обнаружили, что в течение двух дней ее тоже стали подталкивать в группы, посвященные QAnon. 45 В общем и целом, именно так люди вроде Полли и ее аудитории связывались друг с другом, как росло сообщество и как его авторитеты становились центрами притяжения для большого количества людей. И все же руководство Facebook в значительной степени проигнорировало свои собственные выводы.

К 2020 году опасения стали слишком масштабными, чтобы их игнорировать. В октябре того же года, накануне президентских выборов в США, Facebook отключил рекомендации групп по всем политическим и социальным вопросам 46 , а также запретил страницы и группы QAnon. 47 Однако, хотя платформа в конце концов отмодерировала, группы просто собрались в другом месте; к этому моменту связи в социальных сетях уже были установлены, мировоззрения сформированы, дружеские отношения и фэндомы укрепились. Людей годами подталкивали к сообществам любителей теорий заговора, отправляя их в кроличьи норы, ведущие к полномасштабным заказным реалиям. И, как говорит специалист по технологической этике Л. М. Сакасас, "миры, в которых мы сейчас живем, - это оцифрованные царства, неспособные по своей природе и дизайну генерировать широко распространенный опыт реальности. Об этом можно сетовать, если есть желание, но это невозможно исправить". 48

Алгоритмы формируют не только то, кого мы знаем, но и то, что мы видим. Побудив нас вступать в группы и следить за людьми, алгоритмы курирования и ранжирования ленты выбирают среди этих (и подобных им) аккаунтов тот, который попадает в поле нашего зрения. 49

Когда социальные сети превратили всех в создателей контента, платформы столкнулись с проблемой переизбытка контента. В ранних социальных сетях в основном использовалась обратная хронологическая лента, в которой самое последнее сообщение находилось вверху. Алгоритмы ранжирования и курирования вместо этого фильтровали и сортировали контент, пытаясь определить, что будет наиболее интересным, создавая персонализированный контент для каждого конкретного пользователя. Эти системы курации начинают с инвентаризации всего возможного контента на платформе, доступного для просмотра пользователем, - часто это посты влиятельных лиц, за которыми он следит, групп, в которых он состоит, или контент, похожий на любой из них. 50 Затем они удаляют "пограничный" (проблемный) контент 51 - то, что противоречит политике модерации платформы и не подлежит курации (а иногда и монетизации); это называется дебустированием, понижением рейтинга или демонизацией. Из оставшихся постов алгоритм курирования выбирает подмножество постов-"кандидатов" с высокой вероятностью релевантности для целевого пользователя и затем ранжирует их. В процессе ранжирования платформа определяет, какие из релевантных постов вы с наибольшей вероятностью будете воспринимать, сохраняя вашу заинтересованность, присутствие на сайте и возможность видеть рекламу. 52