Наука о данных. Базовый курс

Наука о данных дает много преимуществ современным организациям, но вокруг нее крутится и масса слухов, поэтому важно понять, каковы реальные ограничения науки о данных. Одним из самых больших мифов является вера в то, что наука о данных — автономный процесс, который сам найдет решения наших проблем. Но на деле на всех этапах этого процесса требуется квалифицированный человеческий контроль. Люди нужны для того, чтобы сформулировать проблему, спроектировать и подготовить данные, выбрать, какие алгоритмы машинного обучения являются наиболее подходящими, критически интерпретировать результаты анализа и спланировать соответствующие действия, основанные на выявленных закономерностях. Без квалифицированного человеческого надзора проект по обработке данных не сможет достичь своих целей. Лучшие результаты мы видим, когда объединяются человеческий опыт и компьютерная мощь. Как выразились Линофф и Берри: «Глубинный анализ данных позволяет компьютерам делать то, что они умеют лучше всего, — копаться в куче информации. Это, в свою очередь, дает людям делать то, что лучше всего получается у них, — ставить задачу и осмыслять результаты»^{13}.

Широкое и все возрастающее использование науки о данных означает, что сегодня самая большая проблема для многих организаций заключается в найме аналитиков. Человеческий фактор в науке о данных имеет первостепенное значение, и ограниченный ресурс специалистов является основным узким местом в распространении самой науки. Чтобы лучше представить масштаб нехватки специалистов, заглянем в отчет McKinsey Global Institute (MGI) за 2011 г.: прогноз дефицита сотрудников с навыками обработки данных и аналитики в Соединенных Штатах в ближайшие годы — от 140 000 до 190 000 человек; еще больший дефицит — 1,5 млн человек — менеджеров, способных понимать науку о данных и аналитические процессы на уровне, который позволяет им надлежащим образом запрашивать и интерпретировать результаты^{14}. Спустя пять лет в своем отчете за 2016 г. MGI по-прежнему убежден, что наука о данных имеет огромный неиспользованный потенциал в расширяющемся диапазоне приложений, а дефицит специалистов сохраняется с прогнозируемой нехваткой 250 000 человек в ближайшей перспективе^{15}.

Второй большой миф заключается в том, что каждый проект непременно нуждается в больших данных и требует глубокого обучения. Как правило, наличие большого объема данных помогает, но гораздо важнее, чтобы данные были правильными. Подобные проекты часто ведутся в организациях, которые располагают значительно меньшими ресурсами с точки зрения данных и вычислительной мощности, чем Google, Baidu или Microsoft. Примеры проектов небольшого масштаба: прогнозирование требований возмещения ущерба в страховой компании, которая обрабатывает около 100 заявок в месяц; прогноз отсева студентов в университете, где обучаются менее 10 000 человек; ожидания ротации членов профсоюза с несколькими тысячами участников. Эти примеры показывают, что организации не нужно обрабатывать терабайты информации или иметь в своем распоряжении огромные вычислительные ресурсы, чтобы извлечь выгоду из науки о данных.

Третий миф заключается в том, что современное программное обеспечение для обработки данных легко в использовании и, следовательно, сама наука о данных тоже не представляет собой ничего сложного. Программное обеспечение для обработки данных действительно стало более удобным для пользователя. Однако такая простота может скрывать тот факт, что для получения правильных результатов требуются как соответствующие знания предметной области, так и знания в области науки о данных, касающиеся свойств данных и допущений, лежащих в основе глубинного анализа и алгоритмов машинного обучения. На самом деле никогда еще не было так легко стать плохим специалистом по данным. Как и в любой сфере жизни, если вы не понимаете, что делаете, то будете совершать ошибки. Опасность, связанная с наукой о данных, заключается в том, что людей может отпугивать сложность технологии, и тогда они готовы поверить любым результатам, которые выдает им программное обеспечение. Однако всегда высока вероятность неправильной постановки задачи, неверного ввода данных или ненадлежащего использования методов анализа. В этих случаях результаты, представленные программным обеспечением, скорее всего, будут ответом на неправильные вопросы или окажутся основанными на неверных данных или расчетах.