Читаем Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных полностью

Понятие «темные данные» возникло из аналогии с другим, физическим, термином – темной материей. Около 27 % Вселенной состоит из этого таинственного вещества, которое не взаимодействует со светом или каким-либо другим электромагнитным излучением и потому остается невидимым. Поскольку темная материя не видна, когда-то астрономы не подозревали о ее существовании. Но затем наблюдения за вращением галактик показали, что звезды более удаленные от центра движутся ничуть не медленнее звезд, расположенных ближе к центру галактики, что противоречит нашему пониманию гравитации. Эта аномалия вращения галактик на сегодняшний день объясняется предположением, что галактики имеют более значительную массу, чем та, о которой мы можем судить по звездам и другим видимым в телескопы объектам. Поскольку эта дополнительная масса не видна, ее назвали темной материей. И она может быть весьма значительной: согласно оценкам, наша галактика Млечный Путь содержит в 10 раз больше темной материи, чем обычной.

Темные данные ведут себя аналогично темной материи: мы не видим их, они не обнаруживаются, но все же способны оказывать существенное влияние на наши выводы, решения и действия. И, как я покажу на дальнейших примерах, если не осознать саму вероятность существования чего-то неизвестного, то последствия такой слепоты могут быть катастрофическими и даже фатальными.

Цель этой книги – исследовать, как и почему возникают темные данные. Мы рассмотрим различные виды темных данных, проследим, что приводит к их появлению, и выясним, как не допустить этого. Мы разберемся с тем, какие меры имеет смысл предпринимать, когда становится ясно, что темные данные все же имеются. А еще мы посмотрим, как этими данными, несмотря на их отсутствие, можно воспользоваться. Хотя это кажется странным, даже парадоксальным, но мы можем обернуть наше незнание себе во благо, учась принимать более правильные решения и повышая эффективность своих действий. На практике разумное использование неизвестности означает более крепкое здоровье, дополнительные деньги и меньшие риски. Я вовсе не имею в виду сокрытие информации от других (хотя, как мы увидим, намеренно скрытые сведения – это весьма распространенный вид темных данных). Речь идет о гораздо более тонких методах, которые могут стать выгодными для всех.

Темные данные принимают различные формы, возникают по разным причинам, и эта книга среди прочего содержит классификацию типов темных данных, обозначаемых как DD-тип x. Всего я насчитал 15 таких DD-типов, но не берусь утверждать, что эта классификация является исчерпывающей. Учитывая большое разнообразие причин, по которым возникают темные данные, не исключено, что полная классификация просто невозможна. Более того, многие образцы темных данных соединяют в себе несколько DD-типов – они могут действовать независимо друг от друга, а могут проявлять некое подобие синергии, усиливая негативный эффект. Но, несмотря на это, обладание информацией о DD-типах и изучение темных данных на конкретных примерах помогает вовремя выявить проблему и защититься от возможных угроз. Список DD-типов, упорядоченных по сходству, вы найдете в конце этой главы, а в главе 10 я опишу их более подробно. В книге есть указания на то, где можно встретить примеры того или иного типа, однако я намеренно не пытался перечислить все возможные места существования темных данных – в этой книге такой подход был бы излишним.

Давайте перейдем к одному из таких примеров. В медицине понятие «травма» означает повреждение с возможными долговременными последствиями. Травмы являются одной из наиболее серьезных причин сокращения продолжительности жизни и инвалидности, а также самой распространенной причиной гибели людей в возрасте до 40 лет. Компьютерная база данных TARN является самой большой медицинской базой данных о травмах в Европе. В нее стекаются данные о полученных травмах из более чем 200 больниц, в числе которых 93 % всех больниц Англии и Уэльса, а также больницы в Ирландии, Нидерландах и Швейцарии. Безусловно, это очень большой объем данных для прогнозирования и изучения эффективности медицинского вмешательства при травмах.

Доктор Евгений Миркес и его коллеги из Лестерского университета в Великобритании провели исследование этой базы данных и выяснили: из 165 559 зарегистрированных травм исход 19 289 случаев оказался неизвестным[4]. «Исход» в данном случае определяется тем, выживает пациент или нет в течение 30 дней после травмы. Иначе говоря, 30-дневная выживаемость неизвестна для более чем 11 % пациентов. Этот пример иллюстрирует распространенную форму темных данных – DD-тип 1: данные, о которых мы знаем, что они отсутствуют. Иначе говоря, нам известно, что травмы у этих пациентов чем-то закончились, – мы просто не знаем, чем именно.

Перейти на страницу:

Похожие книги

1С: Управление небольшой фирмой 8.2 с нуля. 100 уроков для начинающих
1С: Управление небольшой фирмой 8.2 с нуля. 100 уроков для начинающих

Книга предоставляет полное описание приемов и методов работы с программой "1С:Управление небольшой фирмой 8.2". Показано, как автоматизировать управленческий учет всех основных операций, а также автоматизировать процессы организационного характера (маркетинг, построение кадровой политики и др.). Описано, как вводить исходные данные, заполнять справочники и каталоги, работать с первичными документами, формировать разнообразные отчеты, выводить данные на печать. Материал подан в виде тематических уроков, в которых рассмотрены все основные аспекты деятельности современного предприятия. Каждый урок содержит подробное описание рассматриваемой темы с детальным разбором и иллюстрированием всех этапов. Все приведенные в книге примеры и рекомендации основаны на реальных фактах и имеют практическое подтверждение.

Алексей Анатольевич Гладкий

Экономика / Программное обеспечение / Прочая компьютерная литература / Прочая справочная литература / Книги по IT / Словари и Энциклопедии
Бюджетное право
Бюджетное право

В учебнике представлен комплекс академических знаний по бюджетному праву и современному государственному хозяйству, отражены новейшие тенденции в их развитии. В Общей части даются базовые понятия, рассматриваются функции и принципы бюджетного права, впервые подробно говорится о сроках в бюджетном праве и о его системе. В Особенную часть включены темы публичных расходов и доходов, государственного долга, бюджетного устройства, бюджетного процесса и финансового контроля. Особое внимание уделено вопросам, которые совсем недавно вошли в орбиту бюджетного права: стратегическому планированию, контрактной системе, суверенным фондам, бюджетной ответственности.Темы учебника изложены в соответствии с программой базового курса «Бюджетное право» НИУ ВШЭ. К каждой теме прилагаются контрольные вопросы, список рекомендуемой научной литературы для углубленного изучения, а также учебные схемы для лучшего усвоения материала.Для студентов правовых и экономических специальностей, аспирантов, преподавателей и всех, кто интересуется проблемами публичных финансов и публичного права.

Дмитрий Львович Комягин , Дмитрий Пашкевич

Экономика / Юриспруденция / Учебники и пособия ВУЗов / Образование и наука