Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Одним из исследуемых компонентов шкал риска является смысл слов, употребляемых для описания вероятности. Исследователями, среди которых психолог Дэвид Будеску, были опубликованы данные о том, насколько по-разному люди интерпретируют понятия вроде «маловероятно» или «крайне вероятно», предназначенные для передачи вероятности. Очевидно, что такая неоднозначность допускает ряд различных трактовок, но Будеску задался вопросом, насколько они при этом могут отличаться. В своем эксперименте он предлагал испытуемым читать фразы из доклада Межправительственной группы экспертов по изменению климата (МГЭИК), в каждой из которых фигурировала одна из семи категорий вероятности (например, «весьма вероятно, что экстремальные температуры, волны жары и сильные осадки будут повторяться все чаще»). Будеску обнаружил, что люди очень по-разному интерпретируют степень вероятности, подразумеваемую во фразе. Так, он выявил, что «весьма вероятно» может означать любую вероятность в диапазоне от 43 до 99 %, а «маловероятно» может означать как низкую вероятность (8 %), так и высокую (66 %), в зависимости от того, кого спрашивают³.

В исследовании Будеску участвовали 223 студента и преподавателя из Иллинойсского университета, а не профессионалы, занимающиеся интерпретацией такого рода исследований. Поэтому возникает закономерный вопрос, распространяются ли эти выводы на более подкованную аудиторию. К счастью, существует исследование, подкрепляющее результаты Будеску, но в области анализа разведданных, которая может показаться ближе аналитикам из сферы кибербезопасности. В книге Psychology of Intelligence Analysis, написанной на основе рассекреченных документов ЦРУ и выпущенной в 1999 году, бывший аналитик ЦРУ Ричардс Дж. Хойер – младший рассказывает об оценке схожих вероятностных утверждений 23 офицерами НАТО⁴. Аналогично результатам Будеску для выражения «весьма вероятно», Хойер обнаружил, что под фразой «очень вероятно» понимаются разные вероятности, начиная от 50 % и заканчивая почти 100 %. И точно так же согласуются с данными Будеску результаты Хойера для выражения «маловероятно», ответы для которого варьировались от 5 до 35 %. На рис. 5.1 показан диапазон ответов в исследовании Хойера.

В ходе проведения нами опроса 28 % специалистов по кибербезопасности сообщили, что пользуются вербальными или порядковыми шкалами, где вероятность, которую эти шкалы должны обозначать, даже не определена. Некоторые пользователи шкал пытаются уменьшить неоднозначность, предлагая конкретные определения для каждой фразы, например: «очень маловероятно» – вероятность менее 10 % (фактически, так и написано в стандарте NIST 800-30)⁵. В нашем опросе 63 % респондентов, использующих порядковые шкалы, указали, что они применяют вербальные или числовые порядковые шкалы, где вероятности определяются подобным образом. Однако Будеску обнаружил, что определения тоже не помогают.

Даже в ситуации, когда каждому уровню вербальной шкалы был присвоен свой диапазон вероятности (например, «весьма вероятно» означало «более 90 %», а «очень маловероятно» – «менее 10 %»), его не придерживались более чем в половине случаев. Другими словами, даже когда участникам четко объясняли значение терминов, они интерпретировали их в контексте утверждений, в которых термины были представлены. То есть фраза «весьма вероятно» имела для испытуемых разное значение, когда звучала применительно к экстремальным температурам, таянию ледников или повышению уровня моря.

Рис. 5.1. Варианты интерпретаций сотрудниками НАТО фраз, обозначающих степень вероятности

Источник: Хойер, Psychology of Intelligence Analysis, 1999

В табл. 5.2 показано, насколько широко испытуемые в исследовании Будеску интерпретировали вербальные шкалы, даже когда им были даны конкретные указания относительно значений. Оказалось, что около половины респондентов проигнорировали рекомендации (возможно, само понятие «рекомендации» предполагает слишком много толкований).

Отдельные крайние значения результатов требуют пояснений. При выборе варианта «очень маловероятно» наблюдается удивительный диапазон от 3 до 75 %. Значение 75 % было выбрано не единожды. Две трети респондентов не следовали рекомендациям, т. е. интерпретировали это выражение, как обозначающее более 10 %. Как такое может быть? Будеску обнаружил очень слабую взаимосвязь между интерпретацией степени вероятности испытуемыми и их взглядами на исследования климата, иначе говоря, они не наделяли события более высокой вероятностью только из-за большей озабоченности исследованиями климата. Однако, как отмечает Будеску, определенное влияние на ответы могла оказать двусмысленность некоторых утверждений. Если утверждение касалось вероятности экстремальных температур, то испытуемый мог добавить в оценку вероятности и неопределенность в понимании термина «экстремальная температура».

Таблица 5.2. Различия в понимании отдельных общепринятых терминов, используемых для выражения неопределенности в докладе МГЭИК