Big data простым языком

Выбор подхода к созданию внутренней экосистемы будет влиять на себестоимость хранения одного терабайта. Ценообразование Enterprise Grade решения (для корпоративных систем) стоили кратно дороже, чем стоимость решений на open-source.

Например, в 2012 году Fusion Alliance дал оценку в среднюю сумму по рынку с учетом дисконта в шестьдесят процентов (скидка от основной цены предоставляемой вендором), которая составила 26 тысяч долларов за один ТБ[43][44], против четырехсот долларов затрат на ТБ для решений на открытом коде. В эти затраты входили лицензии, установка и разработка, закупка и настройка необходимого оборудования.

Минимальная конфигурация шла в составе шестнадцати ТБ, таким образом, планирование происходило блоками. Позднее, в 2015 году, себестоимость начала снижаться с появлением программных комплексов (таких как HP Vertica) до пять тысяч долларов, без учета затрат на оборудование.

Сегодня создание и управление облачным хранилищем данных, например, с использованием сервисов Google или AmazonWebServices, будет обходиться существенно меньше – от десяти до сорока долларов за все.

Проект Apache сегодня насчитывает порядка 38 различных решений с открытым кодом по Big Data, ряд из них конкурируют, но большая часть решают индивидуальные задачи.

Так Нейт Кнапп[45],инженер компании Thumbstack, предлагает рассмотреть следующую экономичную инфраструктуру из компонент с открытым кодом:

Архитектура Big Data решения от Нейта Кнаппа с использованием бесплатных решений обработки данных

• Spark – фреймворк с открытым кодом для реализации распределенной обработки и загрузки неструктурированных данных.

• Scoop – фреймворк с открытым кодом, предназначенный для обработки и передачи данных между структурированными и неструктурированными источниками данных.

• Airflow – фреймворк-планировщик, который управляет сессиями задач для фреймворков загрузки данных. Разработан компанией AirB’n’B.

• AWS / Google Cloud Storage – облачный сервис по хранению данных.

• Mode, Periscope, Chartio – платформы и фреймворки по визуализации данных и подготовке отчетов.

Большая часть из них относительно бесплатны в использовании.

Люди

Ключевые затраты, связанные с персоналом, разделяются на ряд ключевых факторов:

• Обучение специалистов новым технологиям. Сегодня объем новых доступных технологий и распределение навыков в профессиональной среде слабо коррелирует, поэтому необходимо вкладываться в постоянное развитие и обучение специалистов.

• Поиск и найм талантливых кадров. Из-за высокой конкуренции за ресурс, в среднем по рынку срок работы на одном месте высококвалифицированного специалиста – менее трех лет, поэтому необходимо постоянно работать в направлении привлечения и удержания ключевых сотрудников, создающих ценность из данных.

• Новые профессии и структуры. Создание офиса CDO может столкнуться внутри организации с радикальными трансформациями. Не всегда существующие на рынке практики позволяют применить эти модели внутри организации. Вполне возможно, что потребуется создание новых профессий.

Выбор стратегии в части персонала будет зависеть от характера CDO.

Например, в части цифровых технологий, в одном из исследований специалисты компании PwC[46],сформулировали, что существует пять архетипов CDO (Cheif Digital Officer):

• Прогрессивный мыслитель (Progressive Thinker) – миссия этого исполнительного лица состоит в том, чтобы думать, как бизнес может быть преобразован посредством цифровизации и вдохновлять компанию на полноценную цифровую стратегию и операционную модель. Желательно работать непосредственно с генеральным директором. Прогрессивный мыслитель, как правило, сосредотачивается на разработке цифровой стратегии и инноваций в масштабах всей компании, одновременно преследуя новаторские идеи и методы как в мире в целом, так и в отрасли. Компании в более традиционных отраслях промышленности, таких как химикаты, нефть и газ, а также горнодобывающая промышленность, которые уже имеют стабильный и сильный набор дифференцирующих возможностей, но до сих пор не извлекли полной выгоды из оцифровки, должны рассмотреть вопрос о найме прогрессивного мыслителя. Это CDO, который может принести вдохновение и опыт, необходимые для дальнейшей оцифровки текущей стратегии компании.