Netflix. Инсайдерская история компании, завоевавшей мир

Главным среди этой группы был странный независимый фильм «Наполеон Динамит» (лента, на которую приходился наибольший процент ошибок во всех моделях BellKor), а также политические поляризационные фильмы, такие как «Фаренгейт 9/11» – документальная лента режиссера Майкла Мура о террористических атаках на Нью-Йорк и Вашингтон и о второй войне в Ираке.

Прогнозы, в какую крайность впадут подписчики, оценивая такие фильмы, как «Взломщики сердец», «Трудности перевода», «Водная жизнь» и «Страсти Христовы», были чистой лотереей. Невозможно было оценить по предыдущим рейтингам, как люди отнесутся к этим фильмам.

Белл рассудил, что решение проблемы «Наполеона Динамита» заключается не только в том, чтобы найти похожие фильмы, но и в обучении алгоритма, когда у него недостаточно информации о подписчике, чтобы он сделал хоть какой-нибудь прогноз. В результате было получено уравнение, в котором вообще не учитывался подписчик, который слишком редко оценивал фильмы, или который проставлял слишком много рейтингов однотипным фильмам, или же предоставлял малое количество стабильно высоких или низких оценок.

Несмотря на основополагающие идеи второго года, команды смогли добиться улучшения только на один процент по сравнению с предыдущим. Команда BellKor in Big Chaos забрала еще одно вознаграждение Progress Prize в размере 50 000 долларов, чтобы пополнить свою сокровищницу наград, которая включала китчевую копию звезды Аллеи славы Голливуда, которую они выиграли в прошлом году и разместили ее в вестибюле AT&T Shannon Laboratory.

Беннет из Netflix, который ушел на пенсию в 2009 году, задавался вопросом, достанется ли приз в 1 млн долларов хоть кому-нибудь. В январе на конкурсе разгорелась серьезная борьба; доска лидеров «вернулась к жизни», поскольку команды изо всех сил пытались сократить разрыв в менее чем 1 % в улучшении по сравнению с командой BellKor in Big Chaos. Все хотели забрать большой приз.

Команды начали объединяться во все более крупных масштабах, в надежде на то, что сочетание их методологий поможет им преодолеть последние несколько десятых процента и перейти порог в 10 %. Команда BellKor in Big Chaos также принялась искать свежие идеи. Они нашли двух программистов франко-канадского происхождения, Мартина Шаббера и Мартина Пьйотт, которые атаковали доску лидеров, объединив победную формулу, получившую Progress Prize, со своими нестандартными решениями.

Ни Шаббер, ни Пьйотт, которые называли себя Pragmatic Theory, не имели никакого официального образования в сфере интеллектуального анализа данных, и в течение первых двух лет они намеренно воздерживались от проведения научных исследований в рамках конкурса. Они говорили, что предпочитают подходить к решению проблемы, находя закономерности в данных или психологических аспектах подписчиков, и превращать их в рабочие модели ПО. Они отказались от внешней информации о фильмах и сосредоточились на прогнозировании рейтингов, а не на попытках объяснить их с помощью формул.

«Алгоритмы, которые находят фактические закономерности в данных, в бесчисленных оттенках серого, намного мощнее любого вида метаданных, которые отличают лишь черное и белое», – сказал Шаббер.

Их креативность продвинула их объединенную команду, которая теперь называлась BellKor’s Pragmatic Chaos, на критические 0,65 %, 26 июня 2009 года приведя их к 10 %-ному рубежу.

По правилам Netflix Prize конкурирующим командам предоставили последний 30-дневный шанс, чтобы догнать предполагаемого победителя, BellKor; период, который все сочли нервозным. Несколько лучших команд объединились в The Ensemble, и 25 июля 2009 года представили решение, которое превзошло решение BellKor на 0,04 %.

За 24 часа до окончания соревнования Корен и Big Chaos постоянно находились на связи, пытаясь извлечь еще одну-две десятых процента из их комбинации уравнений. Наконец они приняли свое последнее и лучшее решение и ждали завершения конкурса в четырех разных странах. Двадцать минут спустя оказалось, что результаты The Ensemble превзошли результаты BellKor на одну сотую процента.

Примерно через час после закрытия конкурса Netflix на какое-то время замолчала. Волынски, в то время находившийся на семейном отдыхе в Сиэтле, то и дело убегал проверить свою электронную почту. Ничего. Когда они дважды выигрывали премию Progress Prize, Netflix уведомляла их об этом спустя пару минут.

Подавленный Волынски посоветовался с Беллом и другими членами команды в Нью-Джерси и решил отключить свой мобильный телефон. Он не смог удержаться и снова нажал кнопку «обновить», и, когда загрузились входящие электронные письма, он увидел его: сообщение от Netflix.

Они выиграли.

Участники BellKor’s Pragmatic Chaos впервые встретились лично в отеле Four Seasons в Нью-Йорке, когда они забирали медали, врученные Хастингсом на пресс-конференции, которую посетил руководитель лаборатории AT&T, Хастингс, главный научный сотрудник Netflix Нил Хант, члены команды The Ensemble и целое войско журналистов.