Big Data. Вся технология в одной книге

Вывоз или ввоз реальных предметов подразумевает их перемещение из одного места в другое. При переносе данных информация продолжает существовать там, где она создавалась. Возьмем типичный случай – выпускник бакалавриата хочет направить справку об успеваемости нескольким потенциальным работодателям или в несколько магистратур. Несомненно, что все сведения об оценках останутся в университете и после того, как справка об успеваемости будет разослана. Но даже этот элементарный пример дает представление о сложностях, присущих переносу данных для их дальнейшего использования в других местах. Прежде всего получатели должны будут иметь возможность проверки подлинности справки, выданной университетом. Далее выпускник может захотеть убедиться, что справку отправили только указанным им адресатам. Он может задуматься по поводу оценок и решить, есть ли смысл отправлять подробную ведомость успеваемости всем адресатам. Если это сделать, то плохие оценки можно будет объяснить в сопроводительном письме или на собеседовании, то есть дополнить информацию. Выставить справку об успеваемости на всеобщее обозрение или отправить ее копии будет означать, что влияние выпускника на процесс ознакомления с информацией уменьшится.

В течение многих лет все это делалось вручную: выпускник получал выписки в запечатанных конвертах и рассылал их по своему усмотрению. В этом случае ручная система работала, потому что масштаб данных был относительно невелик: ежегодно в магистратуру зачисляли примерно миллион студентов, и немногочисленные адресаты получали небольшой объем информации, созданный на протяжении достаточно долгого периода времени, то есть отчет об учебе выпускника в течение четырех лет, выраженный в виде академических оценок.

Для переноса данных, создающихся каждым новым кликом или свайпом миллиарда человек, требуются более изощренные технологии. Кроме того, поскольку одной из важных функций инфопереработчика является обобщение результатов репутационного анализа, ему приходится проявлять повышенное внимание к возможности появления информации неизвестного происхождения. Системы оценок и отзывов, наподобие разработанных в eBay или Amazon, могут быть уязвимыми для мошенников, размещающих сфабрикованную информацию о своих блистательных успехах у потребителей на других сайтах. Утрата доверия пользователей к репутационным данным чревата утратой доверия к инфопереработчику и экосистеме в целом. Чтобы оставаться функциональной, перенесенная информация должна быть аутентифицирована и верифицирована.

Верификация может осуществляться при помощи ключей шифрования, которые уже сейчас широко используются в электронных коммуникациях. У вас есть два ключа – известный только вам индивидуальный и общедоступный, открытый. Предположим, вы собираетесь отправить сообщение, а получателю нужно будет удостовериться, что оно действительно от вас. Вы шифруете информацию с помощью индивидуального ключа, а получатель сможет верифицировать ее, использовав ваш открытый ключ. Система двух ключей позволяет решить и другую проблему, возникающую в ситуации, когда вы хотите, чтобы отправляемое сообщение не смог прочитать никто, кроме его адресата. Вы шифруете свое послание с помощью открытого ключа адресата, после чего его сможет открыть и расшифровать только тот, кто знает и его индивидуальный ключ. Сочетание этих подходов позволяет верифицировать отправителя и ограничивать возможность несанкционированного чтения сообщений. Шифрование следует применять во всех случаях переноса информации.

Передавать информацию можно порциями, направляя ряд электронных писем подобно тому, как печатаются и рассылаются университетские справки об успеваемости. Но то, что вполне подходит для системы высшего образования, никак не соответствует масштабу многообразной информации, которую могут запрашивать миллиарды активных пользователей платформ социальных данных. Кроме того, верифицированная информация должна передаваться в формате, позволяющем адресату обрабатывать ее непосредственно по получении. К счастью, такой протокол информационного обмена уже существует: это интерфейс прикладных задач API. Интерфейсы API позволяют разработчикам получать данные от инфопереработчиков в автоматическом режиме, без необходимости отправки последовательных запросов с последующей интерпретацией поочередно получаемых результатов. С помощью API сайты путешествий вроде Hipmunk могут за считаные секунды получать информацию о тарифах и расписаниях полетов десятков авиакомпаний. API предоставляет разработчикам возможность создавать новые продукты и услуги на основе информации из различных источников.