Наука о данных. Базовый курс

Люди. В успешных проектах науки о данных часто принимают участие люди, обладающие сочетанием разных компетенций и навыков. В большинстве организаций такие люди уже есть, они играют различные роли, но могут и должны внести свой вклад в проекты науки о данных. К ним относятся специалисты по базам данных, по процессу ETL, по интеграции данных, менеджеры проектов, бизнес-аналитики, отраслевые эксперты и т. д. Иногда организациям необходимо нанимать специалистов, обладающих навыками работы с большими данными, применения машинного обучения и точной постановки задач. Успешные специалисты по данным должны быть готовы и способны сотрудничать и общаться с командой менеджеров, конечными пользователями и всеми заинтересованными сторонами, чтобы показать и объяснить, как именно наука о данных может помочь в их работе. Трудно найти людей, которые обладают одновременно необходимыми техническими навыками и способностью общаться и работать с людьми на разных уровнях организации. Тем не менее эта комбинация компетенций имеет решающее значение для успеха проектов науки о данных.

Модели. Экспериментируйте с различными алгоритмами машинного обучения, чтобы выяснить, какой из них лучше работает с набором данных. В литературе часто встречаются примеры использования одного-единственного алгоритма. Возможно, авторы заранее выяснили, какой алгоритм предпочтительнее в их случае, или же просто применили особо любимый алгоритм. Наибольший интерес вызывают нейронные сети и глубокое обучение, однако, как правило, существуют и другие алгоритмы, которые следует рассмотреть и протестировать. Кроме того, на выбор алгоритмов и моделей в проектах науки о данных, ведущихся на территории ЕС, может повлиять Общий регламент по защите данных (GDPR), который вступил в силу с апреля 2018 г. Статьи, затрагивающие «право человека на объяснение» автоматизированных процессов принятия решений, могут ограничить использование в ряде областей сложных моделей, трудно поддающихся интерпретации и объяснению.

Интеграция с бизнесом. При определении цели проекта науки о данных важно определить, каким образом выходные данные и результаты проекта будут развернуты в ИТ-архитектуре и бизнес-процессах организации. Для этого нужно определить, где и как модель должна быть интегрирована в существующие приложения и как полученные результаты будут использоваться его конечными пользователями или передаваться в другой процесс. Чем более автоматизирован процесс, тем быстрее организация сможет реагировать на изменения профилей своих клиентов, снижая затраты и увеличивая потенциальную прибыль. К примеру, модель определения уровня риска клиента для выдачи банковских кредитов должна быть встроена во внешнее приложение, которое обрабатывает кредитные заявки от клиентов. Таким образом, когда сотрудник банка вводит заявку на кредит, он сразу получает обратную связь от модели. В дальнейшем эта обратная связь может использоваться в реальном времени для решения любых возникших вопросов с клиентом. Другой пример — обнаружение мошенничества. Может потребоваться от четырех до шести недель, чтобы выявить случай потенциального мошенничества, требующий расследования. Используя науку о данных и встраивая ее в системы мониторинга транзакций, компании могут выявлять потенциальные случаи мошенничества в реальном времени. Благодаря автоматизации и интегрированию моделей на основе данных уменьшается время отклика, и действия могут быть предприняты своевременно. Если выходные данные и модели, созданные проектом, не интегрированы в бизнес-процессы, то они просто не будут использоваться, и в итоге проект потерпит неудачу.