Netflix. Инсайдерская история компании, завоевавшей мир

В 1999 году, когда главные разработчики программного обеспечения Netflix, включая Хастингса, размышляли над созданием механизма рекомендаций, их первый подход был примитивен и включал в себя объединение фильмов по следующим признакам: жанр, актеры, режиссер, время и место действия, счастливый или грустный финал. Когда библиотека фильмов выросла, оказалось, что этот метод неудобный и неточный, потому что не важно, как много атрибутов они выделили в каждом фильме, они не могли понять, почему фильм «Красотка» так сильно отличался, скажем, от «Американского жиголо». В обоих фильмах была показана тема проституции, оба были сняты в главном городе США, а главную роль исполнил Ричард Гир. Но вряд ли они понравились бы одной и той же аудитории.

Первые механизмы рекомендаций были непредсказуемы: одна из известных оплошностей состояла в том, что Walmart пришлось извиниться и отключить свои механизмы рекомендаций после того, как их веб-сайт предложил фильм «Планета обезьян» покупателям, которые искали фильмы, связанные с Месяцем афроамериканской истории[28].

Затем инженеры-программисты Netflix обратились к алгоритму «ближайшего соседа», в котором основное внимание уделялось группировке клиентов согласно их предпочтениям в фильмах, а не объединению фильмов друг с другом.

К моменту объявления соревнования Netflix Prize подписчики проставили миллиард рейтингов 60 000 фильмам и сериалам – богатый набор данных, но функция Cinematch не раскрыла его тонкостей.

BellKor и другие команды написали свои алгоритмы рекомендаций с нуля и в течение нескольких месяцев изучили кривую обучаемости, на что у Netflix ушли годы, и затем превзошли ее. Построенные ими алгоритмы обнаружили нюансы в огромном массиве данных, совершенно незнакомые Волынскому, Беллу и Корену. Алгоритмы проанализировали паттерны, созданные рейтингами подписчиков, и присвоили свои собственные описания фильмам, которые были обширнее и точнее, чем такие ярлыки, как «режиссер», «актер» и «жанр», но не имели никакого смысла для человеческого восприятия.

Например, Белл заметил, что алгоритм «определил», что подписчики, которым нравились фильмы Вуди Аллена, часто обращают внимание только на определенные типы фильмов Аллена – например, снятые в определенную эпоху его карьеры или в особой обстановке, где действие происходит в определенном месте, – и не рекомендуют другие работы режиссера.

На второй год конкурса прогресс замедлился, особенно после того, как BellKor раскрыла свои методы в документе, как требовали того правила Netflix Prize, и команда наблюдала за тем, как другие пытаются ее обогнать, используя их же собственные методы. Они застряли на показателе улучшения алгоритма Cinematch на 8,6 %.

Ближе к середине второго года конкурса Корен устроился на работу в исследовательский центр Yahoo! в Израиле и, будучи неуверенным в том, сможет ли он заниматься проектом дальше, прежде чем уйти, рьяно взялся за решение головоломки. Их динамика роста замедлилась до полпроцента здесь и десятой доли пункта там, поэтому Белл и Волынски решили обратиться к доске лидеров за «свежей кровью», чтобы вытащить себя из застоя.

Новая команда под названием Big Chaos – два молодых австрийских математика, которые писали алгоритмы на основе, заложенной BellKor в первый год конкурса, и взлетели в рейтинге, – привлекла внимание Белла и Волынски. Белл отправил электронное письмо Андреасу Тошеру и Майклу Джаре из Commendo Research, устроив нечто вроде научного свидания вслепую, чтобы выяснить, возможно ли объединение и подходят ли они по характеру и по подходу к проблеме. В своих письмах Тошер и Джара дали понять команде BellKor, что они не против, и согласились провести трансатлантическую телеконференцию, чтобы объединить силы, взяв название BellKor in Big Chaos.

Затем они принялись искать экологические и психологические факторы, которые влияли на то, как и почему люди оценивали фильмы так, а не иначе. Были ли подписчики более или менее лояльны, когда оценивали фильмы на выходных, а не в будние дни? Какой эффект имело оценивание одновременно большого количества фильмов? Оценивали ли люди фильмы по-разному в зависимости от их настроения, и если это так, то как это можно определить? Менялась ли со временем склонность человека быть строгим или добродушным критиком, и если да, то как и почему?

Каждый из этих вопросов стал сам по себе уравнением, которое нужно было проверить, и если результаты были последовательными и существенными, то они добавлялись к остальным уравнениям, которые представляли собой их победную формулу.

По мере того как улучшения Cinematch накапливались из выстраданных полпроцентов и десятых долей процента, небольшое подмножество фильмов ускользало от классификации и на второй год превратилось в главный барьер между конкурсантами Netflix Prize и их выигрышем в 1 млн долларов. Эти фильмы, как правило, носили иронический или полемический характер, и мнения аудитории и критиков по поводу того, были ли они шедеврами или полной ерундой, резко разделились.