Как оценить риски в кибербезопасности. Лучшие инструменты и практики

В целом проверка субъективных вероятностей для калибровки чрезмерной самоуверенности подразумевает, что придется ждать проявления наблюдаемых результатов. Однако есть и другой вид калибровки, действие которого можно легко наблюдать почти сразу, не дожидаясь, пока наступит предсказанный результат и наступит ли вообще, – измерение согласованности оценок эксперта. То есть, независимо от точности оценки, следует ожидать, что эксперт будет последовательно давать один и тот же ответ при возникновении похожих ситуаций. Конечно, единообразие ответов не означает, что они верны, но, как известно, два противоречащих друг другу ответа не могут одновременно быть правильными. Величина несогласованности должна хотя бы соответствовать нижнему пределу ошибки оценивания. Если же «эксперты» дают совершенно разные ответы каждый раз при решении сходных задач, то с тем же успехом они могли бы просто игнорировать предоставленную информацию и наугад выбирать оценки путем жеребьевки. Не нужно ждать наступления предсказываемых событий, чтобы оценить согласованность оценок таких экспертов.

Аналогичным образом, даже если специалисты отвечают в полном соответствии с собственными предыдущими суждениями, но ответы сильно отличаются от мнения других экспертов, то как минимум известно, что все они не могут быть правы (зато могут быть все неправы). К счастью, эти компоненты деятельности экспертов также измерялись в долгосрочной перспективе. Исследователи дали названия обеим мерам согласованности оценок²⁴:

• стабильность – согласие эксперта с собственным предыдущим суждением, сделанным в идентичной ситуации (тот же эксперт, те же данные, другое время);

• консенсус – согласие эксперта с другими экспертами (одинаковые данные, разные эксперты).

Пока во всех областях, в которых проводились исследования, была выявлена сильная степень несогласованности оценок экспертов (с точки зрения как стабильности, так и консенсуса) практически во всех суждениях. Такая несогласованность оценок проявляется и у менеджеров проектов, оценивающих затраты, и у врачей, диагностирующих пациентов, и у экспертов в сфере кибербезопасности, определяющих риски.

В качестве примера, демонстрирующего несогласованность оценок экспертов, можно привести одно исследование начала XX века, в котором нескольким врачам-радиологам была выдана пачка из 96 рентгеновских снимков язвы желудка²⁵.

Каждого радиолога просили оценить, может ли язва стать причиной злокачественной опухоли. Неделю спустя те же радиологи получили еще один набор из 96 рентгеновских снимков для оценки. Врачи не знали, что на самом деле получили те же самые снимки, но в другом порядке. Исследователи выявили, что радиологи меняли свои ответы в 23 % случаев.

Если спросить экспертов в такой ситуации, должно ли их суждение каким-то образом зависеть от порядка расположения элементов в списке, все они согласятся, что не должно. Тем не менее, согласно исследованиям, подобные изменения порядка элементов все же влияют на суждения.

Отдельный источник несогласованности оценок кроется в другой распространенной особенности суждений. При оценке цифр на эксперта может повлиять эффект, известный как «якорный»: если просто подумать о каком-либо числе, это повлияет на значение последующей оценки даже по совершенно не связанному вопросу. Исследователи показали, как при использовании произвольных значений, таких как номер социального страхования или случайное число, можно оказать влияние на последующие оценки, например количества врачей в районе или цены товаров на eBay^{26, 27}.

Где гарантия, что случайные, не относящиеся к делу факторы вроде якорного эффекта не влияют и на суждения экспертов по кибербезопасности? У нас было достаточно возможностей собрать информацию по этому вопросу, и ее краткое изложение приведено ниже.

• Во многих не связанных друг с другом проектах за последние пять лет Хаббард и его сотрудники опросили 54 экспертов по кибербезопасности на предмет вероятности возникновения различных видов нарушений кибербезопасности. Проекты выполнялись для клиентов из четырех областей: нефтегазовой, банковской, высшего образования и здравоохранения. Все упомянутые эксперты ранее прошли обучение по калибровке оценки вероятности.

• Каждому эксперту были предоставлены описательные данные по различному количеству систем или сценариев угроз в организации (от 80 до 200 штук). Типы сценариев и предоставляемые данные различались между клиентами, но они могли включать информацию о типе подверженных риску данных, об операционных системах, находящихся под угрозой, о существующих средствах контроля, типах и количестве пользователей и т. д.

• Всех экспертов просили оценить для каждой из этих систем или сценариев вероятности возникновения различных типов событий (до шести штук), включая нарушения конфиденциальности, несанкционированное редактирование данных, несанкционированные транзакции денежных средств, кражи интеллектуальной собственности, перебои с доступом и т. д.