Наука о данных. Базовый курс

Половине респондентов выпадет орел, и она ответит «Да», другая половина ответит правдиво. Таким образом, истинное число респондентов, ответивших «Нет» в общей численности населения приблизительно вдвое превысит количество данных ответов «Нет» (монета выпадает случайным образом, поэтому соотношение ответов «Да» и «Нет» среди респондентов, которым выпал орел, должно быть таким же, как и среди ответивших правдиво). Зная истинное число ответов «Нет», мы можем вычислить истинное число ответов «Да». Однако, несмотря на то что теперь мы относительно точно знаем долю ответивших «Да», невозможно определить, для кого конкретно из респондентов это условие выполняется. Существует компромисс между количеством шума, вводимого в данные, и полезностью данных для анализа. Дифференциальная приватность устраняет этот компромисс, оценивая необходимый уровень шума с учетом таких факторов, как распределение данных в базе, типы обрабатываемых запросов и их количество. Хорошим введением в дифференциальную приватность и знакомством с методами ее реализации может стать книга Синтии Дворк и Аарона Рота «Алгоритмические основы дифференциальной приватности»^{42}. В настоящее время техники дифференциальной приватности уже используются при создании потребительских продуктов. Например, Apple внедрила дифференциальную приватность в iOS 10, чтобы защитить конфиденциальность отдельных пользователей, но в то же время сохранить возможность выявлять закономерности в данных для совершенствования функции поиска и интеллектуального набора текста в мессенджерах.

В некоторых сценариях данные поступают в проект из нескольких разнородных источников. Например, несколько больниц участвуют в общем исследовательском проекте, или компания собирает данные от большого числа пользователей приложения для мобильного телефона. Вместо того чтобы централизовать данные в одном хранилище и проводить анализ в единой базе, альтернативный метод предлагает обучать различные модели подмножеств непосредственно в источниках данных (т. е. в отдельно взятых больницах или в телефонах пользователей), а затем объединить уже обученные модели. Google использует этот федеративный метод машинного обучения, чтобы улучшить советника запросов, сделанных с помощью клавиатуры Google на Android^{43}. Сперва мобильное устройство загружает в матрицу федеративного машинного обучения Google копию текущего приложения. Данные по его использованию собираются непосредственно на устройстве, и к ним применяется алгоритм обучения, который действует локально до обновления. В процессе обновления полученные модели загружаются в облако, где они усредняются с такими же моделями, загруженными с других телефонов пользователей. Затем базовая модель обновляется с использованием полученной усредненной модели. Используя этот процесс, компания улучшает базовую модель и в то же время сохраняет конфиденциальность пользователей.

Правовые рамки регулирования использования данных и защиты конфиденциальности

В разных юрисдикциях существуют разные правовые методы защиты конфиденциальности и допустимого использования данных. Тем не менее в большинстве демократических юрисдикций присутствуют два основных законодательства: антидискриминационное и о защите личных данных.

Антидискриминационное законодательство, как правило, запрещает дискриминацию на основании некоторого подмножества следующих признаков: инвалидность, возраст, пол, раса, этническая принадлежность, национальность, сексуальная ориентация и религиозные или политические убеждения. В США Закон о гражданских правах 1964 г.^{44} запрещает дискриминацию по расовым, половым, религиозным или национальным признакам. Позднее этот список был расширен: Закон об американцах-инвалидах 1990 г. защищает людей от дискриминации по признаку инвалидности^{45}. Подобная законодательная база существует и во многих других юрисдикциях. Например, Хартия основных прав Европейского союза запрещает дискриминацию по любым признакам, включая расу, цвет кожи, этническое или социальное происхождение, генетические особенности, пол, возраст, место рождения, инвалидность, сексуальную ориентацию, религию или убеждения, имущество, принадлежность к национальным меньшинствам, а также политическое или любое другое мнение^{46}.