Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Согласно научным исследованиям, на калибровку значительное влияние оказывает обучение. Выше уже упоминался тест равноценной ставки, создающий видимость связи личных последствий с результатами. Исследования доказывают, что еще одним ключевым методом калибровки способности оценивать неопределенности является повторение с обратной связью. В этом случае участникам задается несколько вопросов общей тематики вроде тех, которые были в только что пройденном вами тесте. Участники отвечают, затем им показывают правильные ответы и повторяют тест.

Однако отдельно взятый метод, похоже, не в силах полностью избавить большинство людей от природной самоуверенности. В попытке это исправить мы объединили несколько методов и выяснили, что большую часть людей можно почти идеально откалибровать.

В другом методе участникам предлагается назвать аргументы против каждой из своих оценок. Например, ваша оценка потерь из-за юридических обязательств может быть основана на другом подобном примере, произошедшем в вашей компании. Но, вспомнив, насколько разными были заявленные убытки в других компаниях, а может, и некоторые удивительные решения судов, возможно, вы пересмотрите первоначальный диапазон. Научные исследования выявили, что этот метод сам по себе значительно улучшает калибровку⁵.

Еще Хаббард просил экспертов, предоставляющих оценки в виде диапазона, рассматривать каждую границу диапазона как отдельный «бинарный» вопрос. Девяностопроцентный ДИ означает наличие вероятности 5 %, что истинное значение может быть выше верхнего предела, и вероятности 5 %, что оно окажется ниже нижнего предела. Значит, специалисты по оценке должны быть на 95 % уверены, что правильное значение меньше верхнего предела. Если такой уверенности нет, следует увеличивать верхний предел, пока они ее не достигнут. Аналогичный тест применяется к нижнему пределу. Выполнение этого теста, похоже, позволяет избежать якорного эффекта, упомянутого в главе 4. Напомним, что якорный эффект является своего рода зацикленностью: если у нас в голове засело какое-то число, то все остальные оценки, как правило, будут тяготеть к нему. Некоторые специалисты по оценке, составляя диапазоны, задумывают одно число, а затем складывают или вычитают «ошибку» для создания диапазона. Такой подход может казаться разумным, но на самом деле чаще приводит к тому, что у экспертов получаются «чрезмерно уверенные» диапазоны (т. е. слишком узкие). Рассмотрение же каждого предела в отдельности как самостоятельного бинарного вопроса «Вы на 95 % уверены, что предел больше/меньше этой суммы?» избавляет от склонности к якорному эффекту.

Кроме того, можно сделать так, чтобы естественная склонность к якорному эффекту работала наоборот. Вместо того чтобы начинать с точечной оценки и затем превращать ее в диапазон, начните с абсурдно широкого диапазона, а затем постепенно исключайте значения, которые считаете крайне маловероятными. Если вы понятия не имеете, насколько велики могут быть убытки от утечки данных об интеллектуальной собственности (ИС), начните с диапазона от 100 до 10 млрд долл. Затем вы поймете, что при краже ИС как минимум будут предприняты усилия по оценке убытков, и повысите нижний предел. Потом признаете, что стоимость ИС не может превышать все доходы от данного продукта, а новые технологии уменьшают срок жизни ИС, и, возможно, понизите верхний предел. И, продолжая в том же духе, вы сможете сузить диапазон, убрав все абсурдные значения.

Иногда мы называем это «тестом на абсурдность». В нем вопрос «Как я думаю, каким может быть это значение?» перефразируется на «О каких значениях я точно знаю, что они нелепы?» Ищутся и затем исключаются явно абсурдные ответы, пока не останутся варианты, которые все еще маловероятны, но уже не совсем неправдоподобны, что и будет пределом наших знаний о данной величине.

После нескольких калибровочных тестов и практики с остальными методами специалисты по оценке учатся корректировать свое «чутье вероятности». Большинство становится почти идеально калиброванными всего лишь за половину дня обучения. Главное здесь, что испытуемые хоть и тренируются на вопросах общих знаний, навык калибровки переносится на любую область оценки.

На сайте www.howtomeasureanything.com/cybersecurity представлены дополнительные калибровочные тесты каждого типа (с диапазоном и бинарные). Работая с ними, попробуйте для улучшения калибровки применить разобранные методы, которые кратко изложены в табл. 7.3.

Таблица 7.3. Методы улучшения калибровки навыка оценки вероятности

Концептуальные помехи калибровке