Вторая эра машин

Подобно InnoCentive, онлайн-стартап Kaggle также мобилизует «толпу» (crowd) – группу людей с совершенно разным опытом со всего мира, – чтобы работать над сложными проблемами, с которыми сталкиваются различные организации. Kaggle специализируется не на решении научных задач, а на проблемах, требующих обработки огромных массивов данных. Цель здесь состоит в том, чтобы улучшить качество прогнозов относительно базового уровня, уже достигнутого организацией. И здесь результаты замечательны в двух отношениях. Во-первых, этой цели обычно удается достичь. В одном случае страховая компания Allstate выложила набор данных по характеристикам автомобилей и попросила «толпу» Kaggle спрогнозировать, против каких из этих автомобилей будет подано больше исков о возмещении личной ответственности.[140] Исследование продолжалось примерно три месяца и привлекло более 100 участников. Прогноз-победитель оказался на 270 процентов лучше, чем базовый прогноз страховой компании.

Во-вторых, большинство конкурсов в рамках Kaggle выигрывают люди, маргинальные с точки зрения области обсуждения, – к примеру, лучшие прогнозы по заполняемости больниц делают участники, не имеющие опыта в области здравоохранения. То есть с этими людьми вряд ли кто-то стал бы советоваться в рамках традиционного поиска решений. В большинстве случаев эти безусловно способные и успешные исследователи данных приобрели свой опыт новыми, определенно цифровыми способами.

С февраля по сентябрь 2012 года в рамках Kaggle при поддержке Hewlett Foundation было проведено два конкурса на тему компьютерной оценки студенческих эссе.[141]

В процессе подготовки конкурса Kaggle и Hewlett привлекли множество экспертов в области образования, и накануне запуска многие из чувствовали себя весьма неуверенно.

Дело в том, что конкурсы должны были состоять из двух раундов. В первом раунде между собой соревновались одиннадцать известных и уважаемых компаний в области образовательного тестирования, а во втором – участники «толпы» Kaggle, профессиональные data scientists – «ученые в области данных» (индивидуально или в составе команд). Эксперты беспокоились как раз о том, что, по результатам второго раунда команда Kaggle окажется совершенно неконкурентоспособной. Каждая из 11 уважаемых компаний работала над системами автоматической оценки уже много времени и выделяла на решение этой задачи значительные ресурсы. Сотни человеко-лет накопленного опыта казались весомым преимуществом профессионалов перед кучкой любителей.

Но беспокоиться было не о чем. Многие из новичков, привлеченных к участию в соревновании, показали значительно более высокие результаты, чем профессионалы в области тестирования. Сюрпризы продолжились, когда в Kaggle решили посмотреть, кто же показал самые высокие результаты. Выяснилось, что первые три места и в первом, и во втором раунде первого конкурса заняли участники, не имевшие в прошлом значительного опыта ни в оценке эссе, ни в обработке естественного языка. А во втором конкурсе ни один человек из тройки победителей не имел никакого формального образования в сфере искусственного интеллекта, если не считать бесплатного онлайн-курса в этой области, который предлагает стэнфордский факультет искусственного интеллекта и который доступен для всех желающих в мире. Желающих оказалось много, и они явно многому научились. Трое победителей оказались из США, Словении и Сингапура.