Новые темные века

Мы уже видели тревожные примеры того, что происходит в результате полной автоматизации: чехлы для телефонов на Amazon и футболки с надписями об изнасиловании. Никто не ставил цели создать странные чехлы с лекарствами и медицинским оборудованием – все это произошло случайно. А футболки с надписью «Сохраняй спокойствие и много насилуй» удручают, но ситуация с ними понятна – никакого злого умысла, просто список случайных глаголов и местоимений соединился с онлайн-генератором изображений. Вполне возможно, что ни одна из этих футболок никогда не существовала физически, никто ее не купил и не носил, то есть не случилось никакого вреда. Однако важно, что такую ошибку не заметили ни производители, ни продавцы. Они буквально понятия не имели, что творят.

Все яснее становится, что всему виной масштаб и логика системы, а нам нужно задуматься о возможных последствиях такой ситуации. Если смотреть шире, описанные примеры свидетельствуют о расовых и гендерных предрассудках в системах, основанных на больших данных и машинном интеллекте. И для этих проблем нет простых или даже предпочтительных решений.

Как насчет видео «Неправильные головы Disney Неправильные уши Неправильные ноги Дети Учим цвета Семья пальчиков 2017 Детские стихи»? Само название подтверждает его нечеловеческую природу. Происхождение выражения «Неправильные головы» пока остается загадкой. Но легко можно представить, что где-то существует совершенно безобидная первоначальная версия, которая рассмешила столько детей, что начала подниматься в алгоритмических рейтингах, пока не попала в списки словесной мешанины. Там «неправильные головы» дополнили «учим цвета», «семья пальчиков» и «детские стихи» и прочие ключевые слова – причем не просто слова, а образы, процессы и действия, – и в результате получился этот ролик.

Видео состоит из песни «Семья пальчиков», проигранной поверх анимации с вращающимися головами и телами персонажей из диснеевского «Аладдина». Хотя тела и головы перепутаны, поначалу все выглядит вполне невинно, но потом начинается необычное. Среди персонажей «Аладдина» появляется девочка Агнес из мультфильма «Гадкий Я». Когда тело и голова персонажа совпадают, Агнес радуется, если нет – заливается искусственными слезами. Простейший механизм и минимум усилий создают бессмысленную жвачку.

На канале авторов этого видео BABYFUN TV много похожих роликов. Персонаж Радость из диснеевского мультфильма «Головоломка» визжит, когда Смурфики или Тролли меняются головами. Чудо-женщина плачет, если не совпадают головы и тела героев из «Люди Икс». Перечислять можно долго. У BABYFUN TV всего 170 подписчиков и совсем мало просмотров, зато таких каналов тысячи и тысячи. Количество просмотров на YouTube и других платформах имеет значение не в абстрактном смысле, а в их накоплении. В основе «Неправильных голов» лежит ясный и понятный механизм, но постоянное наложение и смешение различных приемов вызывает беспокойство у взрослых: нарастает ощущение чего-то бесчеловечного, жуткой пропасти между нами и системой, производящей такой контент. Проблема кроется не в самих видео, а где-то глубже.

Во всех видеороликах BABYFUN с «неправильными головами» присутствует одна и та же звуковая вставка с детским плачем, сродни смеющемуся малышу-солнцу в «Телепузиках». Нам это может показаться тревожным, но, возможно, этот звук привлекает младенцев, напоминая о чем-то из их собственного опыта. Этот ход не был никем придуман; алгоритмическое повторение и создание многочисленных комбинаций привели к возникновению неожиданного для всех результата. И что произойдет, когда этот контент, претерпев бесконечные метаморфозы, снова вернется к людям?

Канал Toy Freaks с 8,4 миллиона подписчиков чрезвычайно популярен и занимает шестьдесят восьмую строчку на платформе YouTube. В выложенных видео отец и две его дочери разыгрывают многие из известных нам приемов, следуя тем же принципам, что и Bounce Patrol. Девочки открывают яйца-сюрпризы и поют сезонные вариации песни «Семья пальчиков». Помимо детских стишков и разучивания цветов, Toy Freaks специализируется на грубых или жестоких сценах, когда дети кидают друг в друга едой или наполняют ванну игрушечными насекомыми. Канал вызвал неоднозначную реакцию, поскольку многие сочли, что видео на нем демонстрируют примеры жестокого обращения и эксплуатации: в некоторых роликах детей тошнит, у них идет кровь или им больно(11). Канал Toy Freaks получил от YouTube значок подлинности, хотя это свидетельствует только о том, что он набрал 100 000 подписчиков(12).