Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Мы согласны. Следует пристально проверять эксперта, как и любой другой инструмент измерений. По нашему мнению, специалист в области кибербезопасности – важнейший и в конечном счете незаменимый компонент любого анализа рисков. Даже с учетом появления новых источников данных, позволяющих проводить еще более эффективный количественный анализ рисков, кибербезопасность в обозримом будущем будет по-прежнему зависеть от специалистов в этой области. Именно из-за ключевой роли, отведенной квалифицированным экспертам, необходимо обратить особое внимание на качество выполнения ими различных критически важных задач. И точно так же, как точность измерений прибора не определяется с помощью него самого, не следует полагаться на самих экспертов в оценке их эффективности.

Как и раньше, начнем с изучения имеющихся исследований по теме. Мы хотим рассмотреть применяемые экспертами инструменты и выявить, действительно ли они повышают ценность их суждений или, наоборот, понижают ее.

Компонент субъективной вероятности

Важнейшим компонентом анализа рисков является оценка экспертами по кибербезопасности вероятности возникновения событий, связанных с нарушением кибербезопасности, и потенциальных убытков при их наступлении. Независимо от того, используются ли вероятности в явном виде или неколичественные вербальные шкалы, экспертам необходимо определить, является ли один вид угрозы более вероятным, чем другой. Поскольку в какой-то момент процесса придется полагаться на мнение эксперта, следует рассмотреть, как можно измерить его мастерство в решении задачи и что покажут такие измерения.

На эту тему опубликовано достаточно исследований в самых разных областях, проводившихся с участием экспертов и неспециалистов. Во всех исследованиях применялся схожий подход: собиралось большое количество оценок, сделанных различными людьми, а затем они сравнивались с наблюдаемыми результатами. Полученные выводы убедительны и повторяются в каждом новом исследовании, посвященном данному вопросу.

• Без обучения или других средств контроля почти все люди, определяя вероятности, получают значения, существенно отличающиеся от реально наблюдаемых результатов (например, когда кто-то говорит, что уверен на 90 %, предсказанный результат происходит гораздо реже, чем в 90 % случаев).

• Существуют методы, в том числе обучение, которые значительно повышают способность экспертов оценивать субъективные вероятности (т. е. когда они будут говорить, что уверены на 90 %, то окажутся правы примерно в 90 % случаев).

Приведем пример, связанный с другой профессией – финансовыми директорами, – иллюстрирующий типичные результаты подобных исследований. В 2010 году Национальным бюро экономических исследований был проведен эксперимент, в котором финансовых директоров ряда корпораций попросили оценить годовую доходность индекса S&P 500²¹. Оценки давались в виде диапазонов (значения нижнего и верхнего пределов), достаточно широких, чтобы финансовый директор посчитал, что правильный ответ с вероятностью 80 % будет содержаться в данном диапазоне. Назовем эти диапазоны 80 %-ными доверительными интервалами[4]. Просто подождав, в итоге можно было легко узнать фактическую доходность за указанный период времени. Несмотря на то что финансовые директора были очень опытными и образованными, как и требовала должность, их 80 %-ные ДИ на практике содержали правильные ответы только в 33 % случаев. То есть испытуемые считали, что предоставили диапазоны, не содержащие правильный ответ, лишь в 20 % случаев, а на самом деле правильные ответы выходили за пределы их диапазонов в 67 % случаев. Показатель «неожиданных отклонений» оказался гораздо выше, чем они ожидали.

Причина кроется в чрезмерной уверенности. Уверенность экспертов, в данном случае выражавшаяся в ширине 80 %-ного ДИ, позволяла получить правильный ответ гораздо реже, чем они ожидали. Другими словами, они были уверены в значении вероятности 80 %, что указанный интервал содержит наблюдаемое значение, но на самом деле такой вероятности не было. К сожалению, этим грешат не только финансовые директора. Несколько исследований, проведенных в последние десятилетия, подтверждают, что излишняя самоуверенность – распространенная черта почти всех нас. Откалиброванные оценки вероятности, судя по большому объему опубликованных результатов, являются предметом исследований с 1970-х годов, и начало этим исследованиям положили Даниэль Канеман и Амос Тверски²². Их работа показала, что почти все представители самых разных профессии так же излишне самоуверенны, как и упомянутые финансовые директора, причем независимо от рода деятельности.