Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Это исследование не является чисто академическим. Предмет изучения влияет на реальные суждения и на действия, предпринимаемые для решения реальных проблем. За последние 20 лет Хаббард сумел сформировать один из крупнейших наборов данных, касающихся этого явления. Он протестировал и обучил более 1000 человек из различных отраслей, занимающих разные должности и относящихся к разным уровням управления. Из них по меньшей мере 54 испытуемых специализировались именно в области кибербезопасности.

Чтобы измерить, насколько хорошо эксперты распределяют субъективные вероятности, Хаббард проводил с ними серию тестов, аналогичных тем, что использовались в большинстве других исследований. В контрольном тестировании (оно проводится перед обучением, направленным на совершенствование навыков оценки) он просил участников указать 90 %-ный ДИ количества верных ответов для вопросов на общую эрудицию (когда родился Исаак Ньютон, какова высота самого высокого здания в мире и т. д.). Большинство людей указали диапазоны, содержавшие 40–50 % правильных ответов, что соответствует результатам из упомянутых выше исследований[5].

Чрезмерная уверенность также наблюдается при определении вероятностей дискретных событий, например приведет ли кибератака к крупной утечке данных в этом году. Безусловно, результат единичного события, как правило, не является достоверным индикатором того, насколько реалистична ранее заявленная вероятность. Если говорится о существовании 25 %-ной вероятности наступления события к концу следующего года, то сам факт, что оно произошло или не произошло, еще не будет являться доказательством нереалистичности вероятности. Но если отследить работу ряда экспертов, делающих множество вероятностных оценок, то можно сравнить ожидания с наблюдениями и составить более достоверное представление о качестве оценки. Например, пусть группа экспертов дает 1000 оценок вероятности определенных событий. Это могут быть утечки данных какого-то минимального объема, возникающие в течение конкретного периода времени, вероятность убытков на сумму более 10 млн долл. и т. п. Предположим, по словам экспертов, в 100 из этих оценок они уверены на 90 %. Тогда заявленный результат должен происходить примерно в 90 случаях из 100. Можно ожидать некоторых расхождений в силу удачного стечения обстоятельств или же вычислить (о чем будет рассказано позже) допустимое количество случайных ошибок. С другой стороны, если они окажутся правы только в 65 из 100 случаев, когда заявляли, что уверены в результате на 90 %, такой показатель гораздо хуже, чем можно было бы ожидать при банальном невезении (если бы речь шла только о невезении, шанс, что они будут ошибаться так часто, составил бы всего 1 к 68,9 млрд). Поэтому гораздо правдоподобнее выглядит объяснение, что эксперты просто наделяли слишком высокой вероятностью события, в которых им следовало быть менее уверенными.

К счастью, другими исследователями были проведены эксперименты²³, показавшие, что экспертов можно научить лучше оценивать вероятности с помощью наборов оценочных тестов, обеспечения быстрой, постоянной и четкой обратной связи в достаточном объеме, а также техник повышения точности субъективных вероятностей. Иными словами, исследователи обнаружили, что оценка неопределенности – общий навык, которому можно обучить, добившись измеримого улучшения показателей. То есть, когда откалиброванные эксперты в области кибербезопасности говорят, что они на 85 % уверены в том, что в ближайшие 12 месяцев в их отрасли произойдет крупная утечка данных, значит, действительно вероятность утечки составляет 85 %.

И еще раз, выборка людей, проходивших тестирование по этому «компоненту», включала в себя не только финансовых директоров, но и врачей, студентов, ученых, менеджеров проектов и многих других. Поэтому можно вполне обоснованно утверждать, что эти наблюдения, вероятно, относятся ко всем. А если кто-то попытается доказать, что эксперты по кибербезопасности отличаются от представителей других профессий, участвовавших в исследованиях, помните, что в выборке Хаббарда было 54 эксперта в области кибербезопасности из нескольких компаний. В первом тесте они показали примерно такие же низкие результаты, как и представители любой другой профессии. В процессе же обучения их результаты существенно улучшились, как и у представителей остальных профессий, которых тестировал Хаббард, а успешность калибровки к концу обучения тоже оказалась у всех групп примерно одинаковой (85–90 % экспертов научились выверять свои оценки).

В главе 7 будут подробнее описаны процесс обучения и его результаты. Мы объясним, как научиться калибровать свои оценки с помощью несложного упражнения и как можно измерять собственную эффективность с течением времени. Этот навык станет отправной точкой для разработки более совершенных количественных моделей.

Компонент согласованности оценок экспертов