Invisible Rulers

И тогда компания приступила к переориентации социальных сетей пользователей с помощью систем рекомендаций, которые способствовали развитию групп. В своей простейшей форме рекомендательные системы предлагают контент на основе выраженных интересов. Известный как фильтрация по содержанию, этот тип алгоритма берет сигналы от того, что сделал сам пользователь, например посмотрел видео о садоводстве, а затем предлагает больше садоводческого контента или сообществ. Но по мере того как платформы накапливали данные о миллионах пользователей, рекомендательные системы научились находить сходства между пользователями, предлагая предложения, основанные не на том, что делала сама пользовательница, а на том, что делали люди, похожие на нее, - этот процесс называется коллаборативной фильтрацией. Просмотр видео о садоводстве может привести к предложениям о вегетарианских кулинарных группах, например, или о беге трусцой.

По мере того как алгоритмы социальных сетей всасывали и обрабатывали все больше данных о поведении пользователей, в том числе о политике, и перерабатывали их в рекомендации, они оказались чрезвычайно точными, предлагая то, что интересовало людей, но при этом вызывало тревогу и аморальность. В период с 2013 по 2015 год начали появляться признаки непредвиденных последствий: алгоритмические рекомендации глубоко токсичных сообществ. Например, в 2014 году у Twitter возникли проблемы с базирующейся в Сирии и Ираке террористической группировкой "Исламское государство" (ИГИЛ, или ДАЕШ). Вербовщики и фанбои ИГИЛ присутствовали на платформе, используя ее как инструмент пропаганды и влияния, распространяя свои сообщения и увеличивая число своих последователей. 36 Они поддерживали идеологию своего так называемого виртуального халифата, и если вы следовали за одним аккаунтом, алгоритм предлагал другие.

В 2016 году система рекомендаций групп Facebook начала предлагать группы "Пиццагейт" пользователям, которые состояли в других группах, посвященных теории заговора, таких как сообщества псевдонауки, посвященные вакцинам и химтрейлам. 37. К началу 2018 года он начал предлагать группы QAnon, задолго до того, как QAnon (или "Удивительная Полли") стала предметом широкого освещения в СМИ, что помогло зарождающейся периферийной теории перерасти в омниконспирологию, сингулярность, в которой всевозможные теории заговора слились воедино и привлекли гораздо больше приверженцев, чем любая их составная часть. 38 Система рекомендаций работала как нечто вроде матрицы корреляции теорий заговора: Вы цените контент о плоской Земле и верите, что НАСА вам лжет, поэтому вам обязательно стоит заглянуть вот к этим людям, которые верят, что педофилы пьют кровь детей в пиццерии, а Джон Кеннеди-младший вернулся. Это непредвиденное последствие сохраняется годами и проявляется во многих темах; в мае 2023 года моя команда в Стэнфордской интернет-обсерватории обнаружила, что следование за одним аккаунтом в сети эксплуатации детей в Instagram приводит к предложениям о других. 39 Люди, ищущие этот вид крайне незаконного и очень вредного контента, были связаны друг с другом не только ключевыми словами или реальными отношениями, но и рекомендательной системой, которая интуитивно поняла, что у них есть общие интересы.

Алгоритм коллаборативной фильтрации делал именно то, для чего он был создан: предлагал контент или сообщества людям, которые, вероятно, будут заинтересованы в них из-за некоторого сходства с другими людьми (в случае с матрицей корреляции заговоров, возможно, общего недоверия к правительству). В значительной степени эти алгоритмы отражают существующие человеческие предпочтения: птицы, схожие по перу, собираются вместе. И действительно, PYMK и другие рекомендательные алгоритмы, объединяющие людей в сети, часто создают сообщества очень похожих пользователей (сети с высокой гомофилией), что вызвало обеспокоенность по поводу эхо-камер.