Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

Тонг не оценивал изображения - в те времена искусственный интеллект для компьютерного зрения был грубым по современным меркам. Все, что он делал, - это смотрел, куда перемещались курсоры пользователей при получении массовых писем. В случае с обычными письмами никакой закономерности не было. Но в случае с порнографией мышь получателя сразу же начинала зависать над изображением, как извращенный ирландский сеттер. Реакция была почти непроизвольной - мгновенное подергивание, отражающее то, что делают люди, когда неожиданно сталкиваются с обнаженным товарищем - мы смотрим.

У плохих парней тоже были свои шаблоны. Макнелли и его коллеги использовали сочетание автоматизации, анализа данных и здравого смысла, чтобы отличить вредоносных пользователей от нормальных, но не только для электронной почты, но и для рекламного мошенничества и фиктивных отзывов. Самой большой константой было то, что злоумышленники, как правило, были слишком увлечены использованием продуктов компании. Google хотел, чтобы люди отправляли много писем, кликали на рекламу и писали много отзывов - но только до определенного момента. Слишком частое выполнение действий вызывало подозрение, а то и откровенную враждебность. Самыми опасными пользователями были те, которые с точки зрения простого использования выглядели как самые лучшие.

"Гиперактивные и исключительные вещи не вызывали доверия, - говорит Макнелли. Иногда неадекватное поведение было автоматизировано, но не всегда. Один из внутренних продуктов Google под названием "Zip It" изучал распределение по времени пятизвездочных оценок пользователей, чтобы бороться с попытками манипулировать порядком в списках покупок. Отображение слишком большого количества восторженных отзывов о слишком большом количестве товаров было признаком злого умысла. Если кто-то писал двадцать различных пятизвездочных отзывов о товарах за один день, надлежащей реакцией было игнорирование всех этих отзывов.

Успех Google в поиске характерных признаков плохого поведения позволил создать сервисы и результаты поиска, превосходящие конкурентов. Такие проблемы, как спам и рекламное мошенничество, никогда не будут решены полностью - всегда найдутся плохие игроки и ошибки. Но до тех пор, пока Google не прекращал обучение своих моделей обнаружения, система в целом работала.

Facebook нанял Макнелли, чтобы тот использовал те же методы обнаружения и машинного обучения для участия в своей новой битве с дезинформацией. Изначально Макнелли получил команду из двадцати сотрудников, он был старше большинства руководителей Facebook и более утомлен. После того как почти два десятилетия занимался борьбой с мошенниками в недрах Интернета, он не был склонен "предполагать добрые намерения". Именно из-за этой несклонности он и был нужен компании.

"Технология имеет непредвиденные последствия, а благими намерениями вымощена дорога в ад", - сказал Макнелли в интервью много лет спустя. "Цукерберг, Крис Кокс и другие признавали, что что-то не так и что можно сделать лучше. Я пришел в Facebook не как поклонник, а чтобы попытаться быть полезным".

Помимо того, что Макнелли пришлось разубеждать других в том, что корпорация обязана мыслить благотворительно, он также должен был приспособиться к подходу Facebook к экспериментам. В Google любое значимое изменение алгоритма поиска требовало тщательного изучения последствий. Каким бы ни было предложение, сотрудники, выступающие за него, составляли для своего начальства из команды по качеству поиска диаграмму, демонстрирующую его последствия и объясняющую, почему они считают, что измененные результаты новой модели являются улучшением.

Иногда Facebook проводил подобную оценку, но она была слишком дорогой и трудоемкой, чтобы стать регулярной. Вместо этого о целесообразности изменения алгоритма судили по тому, как он изменял около десятка основных показателей, таких как продолжительность сеансов пользователей, объем создаваемого ими контента и степень взаимодействия с другими пользователями.

Как и в случае с коллегами из Google, у команды, предлагающей изменения, обычно была теория о том, почему эта мелочь улучшит платформу. Например, есть интуитивная логика в том, что новые пользователи должны найти своих друзей, чтобы сделать платформу интересной. Может ли приоритет свежих аккаунтов в рекомендациях Facebook "Люди, которых вы можете знать" ускорить этот процесс и помочь новым пользователям начать с лучшей ноги?

Имея на руках правдоподобную идею, команда, отвечающая за рост числа друзей, в течение нескольких недель тестировала ее варианты на крошечных долях пользовательской базы Facebook на незначительных рынках, пробуя версии до тех пор, пока не определила ту, которая, казалось бы, лучше всего увеличивает число друзей. До тех пор, пока команда не нанесет ущерб другим показателям, которые волнуют Facebook, перестройка рекомендаций People You May Know станет сильным кандидатом на запуск.