Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Убедительные выводы Мила и его коллег неизбежно привлекли интерес других исследователей, которые стали искать подобные явления в других областях. В одном из недавних примеров, исследовании компании, занимающейся разведкой нефти, отмечалась тесная взаимосвязь между использованием количественных методов (в том числе симуляций по методу Монте-Карло) для оценки рисков и финансовой успешностью компании^{12, 13}. В НАСА симуляции Монте-Карло на основе ранее полученных данных применяются наряду с более мягкими методами (основанными на субъективных шкалах) для оценки рисков превышения стоимости, срыва сроков и провала миссии. При оценке затрат и срывов расписания, полученной с помощью количественных методов, ошибки в среднем случались вполовину реже, чем у ученых и инженеров, использующих неколичественные методы¹⁴.

Пожалуй, самым амбициозным исследованием такого рода является эксперимент, который в течение 20 лет проводил Филип Тетлок. Результаты Тетлок опубликовал в книге Expert Political Judgment: How Good Is It? («Экспертное политическое суждение: насколько оно хорошо?»). Название указывает на конкретную область, но автор трактовал проблему достаточно широко, включая в нее экономику, военные вопросы, технологии и многое другое. Он отслеживал вероятности мировых событий, которые предсказывали в общей сложности 284 эксперта в соответствующих областях. К концу исследования было собрано более 82 000 отдельных прогнозов¹⁵ (это означает, что по объему данные Тетлока равны или превосходят данные III фазы крупнейших клинических испытаний лекарств, опубликованных в научных журналах). Исходя из полученных данных, Тетлок был готов сделать еще более сильное заявление, чем Мил с коллегами:

Невозможно найти область, в которой люди явно превосходили бы примитивные алгоритмы экстраполяции, не говоря уже о сложных статистических алгоритмах.

Почему так происходит?

Робин Доус, один из упоминавшихся ранее коллег Мила, подчеркивал, что низкая эффективность людей в задачах прогнозирования и оценки возникает отчасти из-за неточной интерпретации вероятностной обратной связи¹⁶. Те исследователи стали рассматривать эксперта как своего рода несовершенного посредника между входными данными и результатом. Очень немногие эксперты действительно проверяют свою эффективность с течением времени. К тому же они склонны обобщать собственные воспоминания об отдельных несистематических наблюдениях. Затем эксперт делает приблизительные выводы из этих выборочных воспоминаний, и, согласно опубликованному Доусом исследованию, это может привести к «иллюзии обучения», т. е. эксперты могут интерпретировать опыт как свидетельство результативности. Они полагают, что многолетний опыт должен привести к повышению эффективности, и потому считают, что так и происходит на самом деле. Но, как выяснилось, нельзя считать, что обучение происходит само собой, и неважно, сколько лет опыта накоплено.

Тетлок в своей книге предположил, что «у людей эффективность ниже, поскольку в глубине души мы мыслим причинно-следственными категориями и испытываем отвращение к вероятностным стратегиям, допускающим неизбежность ошибок». Математика взаимодействия с ошибками и неопределенностью – это математика вероятностей. Если не осмыслить ее, то возникнут большие трудности с вероятностным прогнозированием проблем. Если человек не силен в простой арифметике, нас же не удивит, что он будет тогда плохо разбираться в оценке, скажем, стоимости и продолжительности крупного, сложного инженерного проекта со множеством взаимосвязанных элементов. И покажется естественным, что кому-то разбирающемуся в таких оценках будет известно, как перемножить количество людей, участвующих в работе, стоимость их труда и продолжительность выполнения проекта, чтобы оценить требуемые трудозатраты. А также этот человек будет знать, как суммировать затраты на решение отдельных задач с другими расходами по проекту (например, на материалы, лицензию, аренду оборудования и т. д.).