Как оценить риски в кибербезопасности. Лучшие инструменты и практики

• Поскольку 54 эксперта оценивали вероятность возникновения от одного до шести событий для каждой из ситуаций, которых было от 80 до 200 штук, один эксперт, как правило, давал от 300 до 1000 оценок. В итоге получилось более 30 000 индивидуальных оценок вероятностей.

Однако при оценивании экспертам не сообщалось, что в представленных списках имелось несколько дублирующих друг друга пар сценариев. Скажем, что данные, представленные для системы в девятой строке списка, могли быть идентичны данным, представленным в 95-й строке, что 11-я и 81-я строки одинаковые и т. д. У каждого эксперта в списке было несколько дубликатов, в общей сложности 2428 пар дублей.

Чтобы измерить несогласованность, было достаточно сравнить первую оценку, данную экспертом, со второй для идентичного сценария. Сравнение оценок показано на рис. 4.1. Для лучшего отображения концентрации большого количества точек в одних и тех же местах диаграммы вокруг каждой точки добавлено немного шума, чтобы они не накладывались друг на друга. Шум очень мал по сравнению с общим эффектом и предназначен только для отображения диаграммы, т. е. не учитывается при статистическом анализе результатов.

Как видно, в 26 % случаев разница между первой и второй оценками составила более 10 процентных пунктов, например первая оценка была 15 %, а вторая – 26 %. Некоторые различия оказались гораздо существеннее. В 2,7 % случаев разница превысила даже 50 процентных пунктов. Сводная информация несогласованности в ответах представлена на рис. 4.2.

Рис. 4.1. Согласованность оценок в дублирующихся сценариях: сравнение первой и второй оценок вероятностей одного и того же сценария, сделанных одним и тем же экспертом

Какими бы непоследовательными ни выглядели результаты, на самом деле все гораздо хуже, чем кажется. Здесь нужно сравнить эти несогласованности с «предвзятостью» эксперта, то есть насколько сильно различаются ответы экспертов при оценке событий конкретного типа. Вероятности существенно различались в зависимости от типа оцениваемого риска. Например, риску нарушения работоспособности (выхода системы из строя), как правило, присваивали более высокую вероятность, чем риску нарушения целостности, при котором кто-то мог фактически украсть денежные средства с помощью несанкционированных транзакций. Если все ответы эксперта для данного типа риска (например, вероятности крупной утечки данных) колебались между, скажем, 2 и 15 %, то в большинстве случаев исследователи определяли, что разброс его оценок составлял 5 или 10 процентных пунктов.

Рис. 4.2. Сводная информация о распределении несогласованных оценок

Согласованность оценок отчасти показывает, насколько тщательно эксперт изучает каждый сценарий. У некоторых экспертов несогласованность являлась основной причиной большинства предвзятых суждений. Обратите внимание, что если бы несогласованность и предвзятость являлись одним и тем же, то наблюдалась бы ситуация, когда эксперт просто подбирает вероятности случайным образом, независимо от предоставленной информации. В указанных же опросах большинство испытуемых как минимум пытались отвечать с учетом внимательного изучения предоставленной информации. Тем не менее мы видим, что несогласованность оценок являлась причиной по крайней мере в 21 % случаев предвзятости. Это значительный процент суждений эксперта, отражающий исключительно его личную несогласованность оценок.

Следует отметить, что участники обнаружили небольшой процент дубликатов. Некоторые отправляли электронные письма со словами: «Мне кажется, в вашем опросе допущена ошибка. Эти две строки содержат идентичные данные». Но никто не заметил больше двух дублирующихся пар, а большинство людей не нашли и одной. Что еще важнее, обнаружение ряда дубликатов оценщиками могло только уменьшать наблюдаемую несогласованность оценок. Тот факт, что они случайно заметили несколько дубликатов, означает, что их показатель согласованности оценок получился выше, чем в случае, если бы они не нашли дубликаты. Другими словами, несогласованность по крайней мере такова, как показано в результатах исследования, но не ниже.

К счастью, мы также можем показать, что степень несогласованности можно уменьшить, что приведет к повышению точности оценок. Можно статистически сгладить несогласованность оценок экспертов с помощью математических методов, уменьшающих ошибку оценивания у экспертов. Авторам доводилось применять эти методы на практике именно в сфере кибербезопасности (данные о степени несогласованности оценок с рис. 4.1 взяты как раз из таких реальных проектов). Более подробно о них мы расскажем далее.

Компонент сотрудничества