Пособие по журналистике данных

В отличие от предыдущих релизов, тут, в случае с депешами, это был преимущественно текст, не выраженный в количественной форме и не содержавший идентичных данных. Вот что включали в себя депеши:

Источник

Посольство или орган, направивший депешу.

Список получателей

Обычно депеши отправлялись в ряд других посольств и организаций.

Поле «Тема»

Обычно краткое содержание депеши.

Тэги

Каждая депеша была снабжена рядом ключевых аббревиатур.

Основной текст

Собственно сама депеша. Мы решили не публиковать эту часть полностью по причинам безопасности объективного характера.

Один интересный нюанс этой истории заключается в том, как депеши смогли создать фактически утечки по заказу, в самый нужный момент. Они фигурировали в главных новостях в течение нескольких недель с момента публикации – а сейчас, когда бы ни возникал сюжет о том или ином коррумпированном режиме или международном скандале – доступ к депешам дает нам и доступ к новым новостным сюжетам и новым материалам.

Анализ депеш – огромная, масштабная задача, которая, возможно, никогда не будет завершена.

— Это неотредактированная версия главы, которая впервые была опубликована в проекте «Факты священны» (Facts are Sacred): данные – Саймон Роджерс, The Guardian

Хакатон Mapa76

Рис 41. Mapa76(Hacks/Hackers Buenos Aires)

Мы открыли буэнос–айресскую главу истории Hacks/Hackersв апреле 2011 года. Мы провели две первоначальных встречи для того, чтобы предать гласности идею более тесного сотрудничества между журналистами и разработчиками программного обеспечения, на каждом из мероприятий присутствовало от 120 до 150 человек. На третью встречу мы организовали 30–часовой хакатон в составе восьми человек на конференции по цифровой журналистике в городе Розарио в 300 километрах от Буэнос–Айреса.

Повторяющейся темой на этих встречах было желание выкопать огромные объемы данных из интернета, а потом представить их визуально. Чтобы содействовать решению этой задачи, родился проект Mapa76.info, который помогает пользователям извлекать данные, а потом отображать их, используя карты и графики. Непростая задача.

Почему Mapa76? 24 марта 1976 года в Аргентине произошел переворот, который длился до 1983 года. В этот период примерно 30 000 человек бесследно исчезли, тысячи погибли, и около пятисот детей родилось в неволе из–за действий военной диктатуры. Более тридцати лет спустя число людей в Аргентине, осужденных за преступления против человечности, совершенные в годы диктатуры, достигло 262 человек (по состоянию на сентябрь 2011 года). Сейчас идет 14 судебных процессов, и еще в отношении 7 определены даты начала рассмотрения дел. В различных открытых судебных делах фигурируют 802 человека.

Эти процессы генерируют огромное количество данных, которые весьма сложны в обработке и для исследователей, и для журналистов, и для правозащитных организаций, и даже для судей, прокуроров и всех остальных. Данные появляются совершенно разным образом, и следователи и исследователи зачастую не могут воспользоваться преимуществами обработки их программными средствами при их интерпретации. В конечном итоге, это означает, что факты зачастую упускаются из виду, а гипотезы часто получаются ограниченными. Mapa76 – это расследовательский инструмент, предоставляющий открытый доступ к этой информации в журналистских, юридических, судебных и исторических целях.

Чтобы подготовиться к хакатону, мы создали платформу, которую разработчики и журналисты могли использовать для общения и взаимодействия в день мероприятия. Мартин Сарсале разработал несколько базовых алгоритмов для извлечения структурированных данных из простых текстовых документов. Некоторые библиотеки также были взяты с DocumentCloud.org и использованы в проекте, но таковых было немного. Платформа позволяла автоматически анализировать и извлекать имена и фамилии, даты и места из текстов – и давала возможность пользователям изучать ключевые факты о различных случаях (даты рождения, места арестов, предполагаемые места исчезновения, и так далее).

Нашей целью было предоставить платформу для автоматического извлечения данных по приговорам и решениям судов времен военной диктатуры в Аргентине. Мы хотели найти способ автоматически (или, по крайней мере, полуавтоматически) показывать ключевые данные, связанные с делами 1976–1983 годов, основанными на письменных свидетельствах, аргументах и приговорах. Извлеченные данные (имена, фамилии, места и даты) собираются, хранятся и могут быть проанализированы, просеяны и улучшены исследователем. Также их можно использовать при помощи карт, графиков и инструментов сетевого анализа.