Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Проблема, рассматриваемая в данной статье, серьезна. Простота использования методов балльных оценок в сочетании с трудностями отслеживания результатов в реальности, в том числе из-за их задержки во времени, означает, что распространение таких методов вполне может быть обусловлено исключительно их предполагаемыми преимуществами, а не наличием объективной ценности¹⁰.

Другое, более современное и (как Хаббард с удовольствием признаёт) более комплексное исследование, в ходе которого была изучена психологическая литература, теоретические вопросы и исходные данные, показало аналогичные результаты. В статье для журнала Economics & Management Общества инженеров-нефтяников (Society of Petroleum Engineers, SPE) авторы Филип Томас, Рейдар Брэтвольд и Дж. Эрик Бикель проанализировали 30 работ, в которых описывались различные матрицы рисков (в основном используемые в нефтяной и газовой промышленности). Они не только представили полноценный обзор всех источников литературы (включая Будеску, Кокса, Хаббарда, Эванса и многих других), но и изучили влияние изменения вида матрицы риска и способа ранжирования различных рисков, а затем измерили, как матрицы рисков искажают данные¹¹.

Опираясь на выводы Кокса, Томас с соавторами показали, что различные виды матриц рисков влияли на ранжирование рисков таким образом, как их разработчики, вероятно, не предполагали. Например, в пяти из 30 изученных ими видов матриц рисков порядок оценки был инвертирован, т. е. высокому воздействию или вероятности присваивалось значение «1», а не «5». Затем в таких матрицах оценки вероятности и воздействия перемножались, как и во многих других, но меньший результат указывал на высокую степень риска. Разработчики этих методов, возможно, думали, что вид матрицы – условность, никак не влияющая на ранжирование рисков. На самом же деле все с точностью до наоборот. Также Томас и соавторы изучили влияние различных способов распределения вероятности и воздействия по нескольким дискретным порядковым значениям (например, категория «маловероятно» определяется диапазоном от 1 до 25 %, а умеренное воздействие – от 100 000 до 1 млн долл.). И снова было установлено, что произвольный выбор вида сильно сказывается на ранжирование рисков.

Кроме того, они определили «фактор лжи» для нескольких типов матриц риска. Фактор лжи – величина, определенная Эдвардом Тафти и Питером Грейвсом-Моррисом в 1983 году на основании того, насколько сильно в диаграммах намеренно или непроизвольно искажаются данные из-за вводящих в заблуждение особенностей их отображения¹². По сути, это разновидность сжатия диапазона, подробно рассмотренному Коксом. С помощью специального метода вычисления фактора лжи Томас с соавторами обнаружили, что соотношение искажений данных, усредненных по различным видам матриц рисков, превышало 100. Чтобы понять, что означает фактор лжи, равный 100, нужно иметь в виду, что при объяснении действия метода Эдвард Тафти приводил пример, который называл «чудовищной ложью», и его фактор лжи составлял 14,8.

По мнению Томаса и его соавторов, в любой матрице рисков заложены «грубые несогласованность и произвол». Их вывод согласуется с выводами всех других исследователей, всерьез занимавшихся изучением матриц рисков:

Как можно утверждать, что метод, который неравномерно и неконтролируемо искажает информацию, лежащую в основе инженерных решений в отрасли, относится к лучшим практикам? Бремя доказательства лежит полностью на тех, кто рекомендует использовать такие методы: пусть попробуют доказать, что очевидные несоответствия не только не мешают процессу принятия решений, но и повышают его эффективность, как часто утверждается.

Выводы были озвучены на вебинаре в рамках курса лекций по принятию стратегических решений и управлению рисками в Стэнфорде. Чтобы донести до слушателей полученные результаты, они поместили на один из слайдов презентации большой прямоугольник с надписью «Теория тепловых карт и эмпирическое тестирование» (рис. 5.2). К серьезной теме авторы исследования подошли с юмором – прямоугольник был пуст.