По словам Amazon, платформа Mechanical Turk представляет собой “рынок труда, который требует человеческого разума”. На платформе заказчики, то есть люди, у которых есть задача, не подходящая для компьютеров, находят работников, готовых за небольшую плату использовать свой разум для выполнения задачи заказчика (например, присваивать метки объектам на фотографиях, получая по десять центов за фотографию). Имея сотни тысяч зарегистрированных работников со всего мира, Mechanical Turk воплощает максиму Марвина Минского “простые вещи делать сложно”, ведь работников привлекают к выполнению “простых” задач, которые пока слишком сложны для компьютеров.
Названием Mechanical Turk (“Механический турок”) платформа обязана знаменитой ИИ-мистификации XVIII века: так называли шахматную “разумную машину”, в которой прятался человек, делавший ходы за куклу (“турка”, одетого на манер османского султана). По всей видимости, на розыгрыш купились многие видные люди того времени, включая Наполеона Бонапарта. Платформа Amazon не пытается никого обмануть, но, как и первый “механический турок”, по сути, представляет собой “искусственный искусственный интеллект”[112].
Фей-Фей Ли поняла, что если ее группа заплатит десяткам тысяч работников Mechanical Turk, чтобы они удалили несоответствующие изображения для каждого из существительных WordNet, то при относительно небольших затратах весь набор данных можно будет обработать за несколько лет. Всего за два года более трех миллионов изображений было связано с соответствующими существительными из WordNet – и появился набор данных ImageNet. Для проекта ImageNet платформа Mechanical Turk стала “спасением”[113]. Исследователи ИИ продолжают активно использовать ее для создания наборов данных, и сегодня заявки ученых на гранты в сфере ИИ, как правило, включают строку бюджета “услуги работников Mechanical Turk”.
Соревнования ImageNet
В 2010 году проект ImageNet провел первый конкурс ImageNet Large Scale Visual Recognition Challenge (Конкурс по широкомасштабному распознаванию образов в ImageNet) с целью подстегнуть развитие более общих алгоритмов распознавания объектов. В нем приняли участие тридцать пять программ, созданных исследователями компьютерного зрения из научных организаций и технологических компаний всего мира. Участникам соревнований выдали размеченные тренировочные изображения – 1,2 млн фотографий – и список возможных категорий. Натренированные программы должны были выдавать верную категорию для каждого входного изображения. Если в конкурсе PASCAL было всего двадцать возможных категорий, то в состязании ImageNet их количество возросло до тысячи.
Тысячу категорий сформировало выбранное организаторами подмножество терминов из WordNet. Категории представляют собой внешне случайный набор терминов в диапазоне от знакомых и непримечательных (“лимон”, “замок”, “рояль”) до менее распространенных (“виадук”, “рак-отшельник”, “метроном”) и совсем редких (“шотландский дирхаунд”, “камнешарка”, “мартышка-гусар”). На долю редких животных и растений – во всяком случае таких, которые я бы не опознала, – приходится около десятой части целевых категорий.
На одних фотографиях представлен лишь один объект, а на других – много объектов, включая “верный”. Из-за этой неоднозначности программа выдает для каждого изображения пять категорий, и если среди них оказывается верная, то считается, что программа справилась с задачей. Такая степень точности называется “топ-5”.
Победившая в 2010 году программа использовала так называемый метод опорных векторов, передовой в то время алгоритм распознавания изображений, который применял сложную математику, чтобы учиться присваивать категории входным изображениям. При точности топ-5 эта программа верно классифицировала 72 % из 150 000 тестовых изображений. Неплохо, но это значит, что, даже выдавая по пять категорий на изображение, программа ошиблась при классификации более 40 000 тестовых изображений, а следовательно, ей было куда расти. Стоит отметить, что среди лучших программ не оказалось нейронных сетей.
На следующий год лучшая программа – также использовавшая метод опорных векторов – показала достойное уважения, но скромное улучшение, верно классифицировав 74 % тестовых изображений. Большинство специалистов ожидали развития этой тенденции, полагая, что исследователи компьютерного зрения будут маленькими шажками продвигаться к цели, постепенно совершенствуя программы от конкурса к конкурсу.