Как оценить риски в кибербезопасности. Лучшие инструменты и практики

В главе 4 уже упоминалось, что эксперты могут находиться под влиянием множества не относящихся к делу факторов, сохраняя при этом иллюзию обучения и компетентности. Линейная модель оценки эксперта, однако, дает совершенно последовательные результаты. Как и в методе ЛОШ, в модели линзы это достигается путем удаления из оценки ошибок, связанных с несогласованностью экспертов. В отличие от ЛОШ, здесь не требуется четко выяснять у экспертов правила оценки для каждой переменной. Вместо этого мы просто наблюдаем за суждениями экспертов, учитывая все переменные, и пытаемся вывести правила на основе статистики.

Предлагаемый процесс построения модели, состоящий из семи шагов, достаточно прост. Мы несколько изменили изначальную процедуру, чтобы учесть и другие методы, появившиеся с момента разработки Брунсвиком своего подхода (например, калибровку вероятностей). Напомним, что здесь предоставляется ровно столько информации, чтобы читатель, уже знакомый с различными методами регрессии, смог понять, как работает метод линзы.

1. Отберите экспертов и откалибруйте их.

2. Попросите экспертов определить список факторов, относящихся к конкретному объекту, который они будут оценивать (вроде тех, что указаны в приведенной нами ранее таблице узлов). Но список должен содержать не более 10 пунктов.

3. Создайте набор сценариев, используя комбинации значений для каждого из указанных факторов. Сценарии могут основываться на реальных примерах или быть чисто гипотетическими, для каждого опрашиваемого эксперта их потребуется от 30 до 50 штук. Каждый сценарий будет выборкой в вашей регрессионной модели.

4. Попросите экспертов дать соответствующую оценку каждому описанному сценарию.

5. Усредните оценки экспертов.

6. Проведите логистический регрессионный анализ, используя среднее значение экспертных оценок в качестве зависимой переменной, а вводные данные, предоставленные экспертам, – в качестве независимой переменной. В зависимости от используемых вводных переменных вам может потребоваться закодировать вводные данные или применить полиномиальные методы регрессии. Поскольку в данном случае вы оцениваете вероятность, можно применить методы логистической регрессии. Здесь сплошная специальная лексика, но если вы знакомы с методами регрессии, то поймете, о чем идет речь.

7. Наилучшим образом подходящая для логистической регрессии формула и станет моделью линзы.

По завершении описанной процедуры вы сможете построить график как на рис. 9.5. Он показывает оценку усредненного суждения экспертов в модели регрессии в сравнении со средним значением экспертных суждений для каждого из сценариев. Видно, что модель, конечно же, не полностью совпадает с суждениями экспертов, но близка к ним. На самом деле, если сравнивать эти данные с показателями несогласованности экспертов, то, как правило, выясняется, что большая часть отклонений модели от экспертных оценок связана с несогласованностью экспертов. Таким образом, модель линзы могла бы быть еще более эффективной, если бы эксперты были более согласованны в своих оценках. Эта несогласованность устраняется с помощью метода линзы.

Если вы решите применять метод линзы, то построенная выше модель действительно будет лучше единичного эксперта по нескольким параметрам. Она, по сути, является имитацией усредненных суждений ваших лучших калиброванных экспертов, если бы они были идеально согласованны.

Для оценки несогласованности можно применить метод «дублирующейся пары» из главы 4: в нескольких случаях, вместо того чтобы спрашивать экспертов о влиянии отдельных условий, можно дать в списке идентичные друг другу сценарии, скажем 7-й и 29-й. После просмотра пары десятков сценариев эксперты забывают, что они уже рассматривали такую же ситуацию, и часто дают немного отличающийся ответ. Вдумчивые же эксперты более согласованны в оценке сценариев. В любом случае, как было показано в главе 4, доля несогласованности составляет около 21 % от общего разброса в экспертных оценках (остальные 79 % обусловлены данными, предоставленными экспертам для вынесения суждения). И эта ошибка полностью устраняется с помощью метода линзы.

Рис. 9.5. Пример регрессионной модели, предсказывающей оценки экспертов

Сравнение методов линзы и ЛОШ

У каждого из рассмотренных двух методов есть свои плюсы и минусы.

1. ЛОШ занимает (ненамного) меньше времени. В методе линзы экспертам необходимо рассмотреть множество выборок, чтобы можно было построить модель регрессии.

2. Метод линзы способен выявлять более сложные взаимодействия между переменными. Ответы экспертов могут указывать на то, что некоторые переменные важны только при определенном значении других переменных.