О чем говорят цифры. Как понимать и использовать данные

Учетные данные, помогающие принимать решения по персоналу (мы уже говорили о них), являются структурированными (легко представляются в виде таблицы), количественными и относительно небольшими по объему (не более терабайта или двух даже в очень крупных компаниях). Такие данные традиционно использовались в аналитике, поэтому назовем их малыми данными. Долгое время аналитики ни с чем другим дела не имели.

Но сегодня крупные компании, некоммерческие организации и даже стартапы сталкиваются с так называемыми большими данными – неструктурированными массивами информации колоссальных объемов. Их источниками могут быть онлайновые дискуссии в интернете, видеоматериалы или данные анализа ДНК пациентов больницы. У данных такого рода объем намного больше – иногда тысячи петабайт[3]. Например, Google обрабатывает порядка 24 петабайт интернет-данных ежедневно, а AT&T[4] передает по телекоммуникационным сетям около 30 петабайт музыки и прочих данных в день. Благодаря новым прикладным компьютерным программам и техническим новшествам мы можем анализировать огромные массивы данных и извлекать из них полезную информацию.

Что такое большие данные

Термин большие данные применяется для обозначения данных уникально большого объема или неструктурированных данных. Приведем несколько примеров:

• За месяц 600 миллионов пользователей Facebook добавили в сеть 30 миллиардов единиц контента.

• Компания Zynga, занимающаяся сетевыми виртуальными играми, ежедневно обрабатывает более петабайта игровой информации.

• Пользователи YouTube просматривают более двух миллиардов видеоклипов в день.

• Пользователи Twitter выполняют 32 миллиарда поисковых запросов в месяц.

• Пользователи Google в 2011 году выполняли почти 5 миллиардов поисковых запросов в день.

• В 2009 году ежедневно отсылалось более 2,5 миллиарда текстовых сообщений.

• В 2010 году население планеты использовало 5 миллиардов мобильных телефонов.

• Объем файла с полной расшифровкой человеческого генома составляет около одного терабайта.

• Беспроводной датчик для контроля физических параметров одной коровы передает около 200 мегабайт данных в год.

• В 2008 году количество подключенных к интернету устройств превысило численность населения земного шара.

• По оценке компании Cisco Systems, к концу 2011 года двадцать типичных домохозяйств генерировали более интенсивный интернет-трафик, чем все пользователи интернета в 2008 году.

• McKinsey & Company считает, что почти в каждой отрасли американской экономики компании с численностью персонала более 1000 человек накапливают в среднем больший объем информации, чем Библиотека Конгресса США.

Большие данные и основанная на них аналитика способны существенно изменить практически каждую отрасль экономики и бизнес-процессы в течение следующих десяти лет. Любая организация (и любой ее сотрудник), если вовремя ознакомится с сутью и методами обработки больших данных, получит огромное конкурентное преимущество. Точно так же как компании, в свое время первыми освоившие методы обработки малых данных, опередили своих конкурентов, сейчас на позиции лидеров выйдут те, кто раньше других сумеет использовать возможности больших данных.