Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Армстронг и Мак-Грегор выяснили, что разложение не помогало, если в оценках первой группы и так было относительно мало ошибок, например при оценке окружности американской 50-центовой монеты в миллиметрах. Однако если первая группа допускала много ошибок, а так происходило в случае с оценкой количества мужских брюк, произведенных в США, или общим количеством автомобильных аварий в год, тогда разложение на составляющие оказывалось значительно полезнее. Было установлено, что с самыми неопределенными переменными простое разложение на составляющие – ни в одном случае число переменных при разложении не превышало пяти – сокращало количество ошибок в 10 или даже 100 раз. Представьте, если бы эти решения принимались в реальных условиях с высоким уровнем неопределенности. Безусловно, разложение на составляющие стоит потраченного на него времени.

Выполнение вычислений в явном виде, даже если в качестве исходных данных используются субъективные оценки, устраняет источник ошибок. Чтобы оценить финансовые потери в результате атаки типа «отказ в обслуживании» на конкретную систему, можно оценить продолжительность атаки, количество пострадавших людей и затраты на единицу времени для каждого пострадавшего. Однако, получив эти значения, нужно не просто оценить их произведение, а вычислить его. Поскольку, как уже говорилось, при таких подсчетах люди склонны совершать несколько ошибок, связанных с интуицией, то будет лучше проводить расчеты не в уме. Для многих исследователей это было очевидно, как писал Мил в одной из своих работ:

Безусловно, ни для кого не секрет, что человеческий мозг плохо умеет взвешивать и вычислять. Делая покупки в супермаркете, вы не оцениваете взглядом кучу покупок и не говорите продавцу: «Похоже, здесь где-то на 17 долларов, как думаете?» Продавец считает их стоимость³¹.

Но не все разложения на составляющие одинаково информативны. Можно чересчур увлечься раскладыванием проблемы на элементы³². Разложение на составляющие производится потому, что в одних вещах мы более уверены, чем в других, но можем вычислить вторые на основе первых. Если же переменные, на которые раскладывается задача, не являются более определенными, то можно не добиться успеха. На самом деле неудачное разложение способно ухудшить ситуацию. В главе 6 мы более подробно обсудим так называемое неинформативное разложение.

Даже если предположить, что разложение на составляющие оказывается вам полезно, существует несколько стратегий его выполнения, и мы не будем придерживаться какой-то определенной точки зрения относительно степени их информативности. Разные организации могут предпочитать разные методы разложения, поскольку информация, которой они располагают, также различна. Но, как станет ясно из главы 6, существуют жесткие математические правила относительно того, действительно ли разложение на составляющие уменьшает неопределенность. Следует применять эти правила наряду с эмпирически измеренной эффективностью для определения наилучшего метода разложения на составляющие для конкретной организации.

Резюме и дальнейшие шаги

«По моему опыту…» – если предложение начинается с этих слов, к нему стоит относиться с осторожностью, особенно когда речь идет об оценке самих экспертов. Существуют причины, почему наш опыт, даже накопленный за многие десятилетия, не может служить надежным источником информации в некоторых вопросах. Из-за аналитического плацебо невозможно определить качество своих оценок, опираясь лишь на собственные субъективные ощущения. Для оценки экспертов и применяемых ими методов следует обратиться к научным исследованиям, лежащим в ее основе. И эти исследования четко указывают на следующие выводы.

1. По возможности рекомендуется использовать понятные количественные модели, основанные на объективных ранее полученных данных. Роль экспертов в первую очередь будет заключаться в разработке и настройке этих моделей, а не в выполнении отдельных оценок.

2. Для оценки вероятностей и других количественных величин можно научить экспертов определять субъективные вероятности, которые будут сравниваться с наблюдаемой реальностью.

3. Несогласованность оценок экспертов можно снизить с помощью математических методов, а также путем сотрудничества с целью повышения точности оценок. При рассмотрении мнений нескольких экспертов, даже просто выведя среднее значение из их оценок, получится более точный результат, чем дадут мнения экспертов, взятые по отдельности.