Взрывной рост. Почему экспоненциальные организации в десятки раз продуктивнее вашей (и что с этим делать)

Существует даже специальная площадка под названием Algorithmia, где компании могут купить или заказать алгоритмы для анализа собираемых ими данных. Как и на GitHub (смотрите 7-ю главу), разработчики алгоритмов могут открыть код и предоставить другим возможность его улучшить.

Два типа алгоритмов находятся на переднем крае этого нового мира – алгоритмы машинного и глубинного обучения.

Под машинным обучением понимается способность машины выполнять новые, незнакомые задачи, опираясь на известные паттерны, идентифицированные в результате обучения или анализа прошлых данных, а также на основе прогнозирования. Hadoop и Cloudera – самые известные примеры алгоритмов машинного обучения с открытым кодом. Мы регулярно сталкиваемся с машинным обучением в нашей жизни, например, на популярном видеосервисе Netflix. В 2006 году компания Netflix решила улучшить точность системы рекомендации фильмов. Но вместо того, чтобы полагаться только на штатный персонал, она объявила открытый конкурс, предложив приз в размере 1 млн долларов тому, кто сможет улучшить ее алгоритм на 10 %. 51 тысяча конкурсантов из 186 стран мира получила набор данных, включающий 100 млн оценок фильмов, и пять лет на доработку алгоритма. Конкурс завершился досрочно в сентябре 2009 года, после того как в общей сложности было предложено 44 014 наборов предсказаний и одной из команд-участниц наконец-то удалось достичь поставленной цели.

Глубинное обучение – это новый захватывающий раздел машинного обучения, основанный на технологии искусственных нейронных сетей. Технология глубинного обучения позволяет машинам выявлять новые паттерны без опоры на исторические или обучающие данные. Ведущими стартапами в этой области являются DeepMind, приобретенный Google за 500 млн долларов в начале 2014 года, когда в нем насчитывалось всего 13 сотрудников, и Vicarious, финансируемый из кармана Илона Маска, Джеффа Безоса и Марка Цукерберга. Twitter, Baidu, Microsoft и Facebook также инвестировали значительные средства в эту область. Алгоритмы глубинного обучения опираются на «открытие знаний» и самоиндексацию и действуют во многом так же, как ребенок, который учится произносить первые звуки, затем слова, предложения и наконец овладевает речью. Например, в июне 2012 года команда Google X создала нейронную сеть, состоящую из 16 000 компьютерных процессоров и насчитывающую миллиард соединений. После того как эта система в течение трех дней «просмотрела» 10 млн случайно выбранных видеороликов на YouTube, она научилась самостоятельно распознавать кошек, фактически не зная, что такое «кошка». Важно отметить, что это произошло без какого-либо вмешательства со стороны человека.

За истекшие два года возможности глубинного обучения значительно возросли. Сегодня алгоритмы глубинного обучения не только используются для совершенствования систем распознавания речи, создания более эффективной поисковой системы (Рэй Курцвейл работает над этим в Google) и распознавания отдельных объектов; они также способны находить конкретные эпизоды на видео и составлять их текстовое описание, причем без вмешательства человека. Эти алгоритмы даже могут играть в видеоигры, обучаясь правилам игры, а затем оптимизируя свои игровые стратегии и тактики.

Подумайте о последствиях такого революционного прорыва. Технологии сделают большинство продуктов и услуг более эффективными, персонализированными и дешевыми. Но одновременно это приведет к кардинальному изменению множества профессий и даже к исчезновению многих из них.

Например, на сегодняшний день американская транспортно-логистическая компания UPS владеет флотом из 55 тысяч грузовых автомобилей, которые совершают 16 млн доставок в день. При таких объемах перевозок неэффективная маршрутизация может вести к весьма значительным издержкам. Благодаря применению телематики и алгоритмов компания помогает водителям экономить 85 млн миль в год, что уже сохранило ей 2,55 млрд долларов. Похожие технологии начинают широко использовать в сфере здравоохранения, энергетики и финансовых услуг, что означает, что мы вступаем в мир алгоритмов.

Еще в 2005 году предприниматель и издатель Тим О'Райли заявил, что «данные – это новый Intel Inside». И это когда в мире насчитывалось всего полмиллиарда подключенных к интернету устройств. Как уже говорилось в 1-й главе, с приходом интернета вещей их количество возрастет до триллиона устройств.

Перед лицом такого взрывного роста потребность в алгоритмах встает как нельзя более остро. Только задумайтесь на минуту: за последние два года было создано в девять раз больше данных, чем за всю предыдущую историю человечества. По прогнозам Computer Science Corporation, к 2020 году мы создадим 73,5 зеттабайт данных – выражаясь словами Стивена Хокинга, это семьдесят три с двадцатью одним нулем.