Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Этот старый (и всем надоевший) анекдот дал название особому заблуждению, возникающему при оценке любых моделей или методов принятия решений. Мы называем это заблуждение Exsupero Ursus или, если вам не нравится заумный псевдонаучный термин на латинском, который придуман нами с помощью Google Translate, можно называть его заблуждением «обогнать медведя». Суть заблуждения примерно следующая: если существует хоть один пример, что конкретный метод не сработал или имеет даже незначительные недостатки, то следует сразу переходить к другому методу, не выясняя, нет ли у альтернативного метода худших недостатков и каковы результаты его применения.

Нам часто встречаются менеджеры и руководители, которым трудно поверить, что количественные модели могут быть эффективнее профессионального чутья или качественных методов. Таким был и сотрудник отдела операционных рисков, который бросил вызов количественным методам, спросив: «Разве можно смоделировать все факторы?» Естественно, модели никогда не моделируют «все» факторы и даже не пытаются это делать. Сотрудник находился в заблуждении Exsupero Ursus. Верил ли он, что, опираясь на собственное суждение или применяя более мягкий метод балльной оценки, учитывает буквально все факторы? Конечно, нет. Он просто сравнивал количественный метод с неким идеалом, который, очевидно, охватывает все возможные факторы, вместо сравнения с реальными альтернативами: собственным суждением или другими предпочтительными методами.

Помните: упомянутые в данной книге количественные методы продвигаются нами потому, что мы можем сослаться на конкретные исследования, доказывающие, что они превосходят (в смысле измеримо превосходят) конкретные альтернативы вроде профессионального чутья. Согласно популярной цитате великого статистика Джорджа Бокса: «Все модели ошибочны, но некоторые полезны». И исследования ясно показывают, что одни модели измеримо полезнее других, они эффективнее прогнозируют наблюдаемые результаты и с большей вероятностью приведут к желаемому исходу. Если указывать на недостатки какой-либо модели, то такие же требования следует применять и к предлагаемому альтернативному варианту. В первой модели может быть ошибка, но если у альтернативы еще больше ошибок, стоит все же придерживаться первой.

Приведенное фундаментальное заблуждение, похоже, лежит в основе ряда аргументов против использования количественных вероятностных методов. Достаточно перечислить лишь некоторые из них, и станет понятно, что каждое возражение можно парировать одним и тем же ответом.

Мнения о целесообразности применения количественных методов: суровая правда

Некоторые эксперты по кибербезопасности, принимавшие участие в опросе (18 %), заявили, что согласны с утверждением «следует использовать порядковые шкалы потому, что вероятностные методы невозможно применить в сфере кибербезопасности». Оно опровергается тем фактом, что все обсуждаемые здесь методы уже много раз применялись в реальных организациях. Придерживаться мнения, что эти методы непрактичны, – все равно что говорить пилоту авиакомпании, будто коммерческие полеты нецелесообразны. Так откуда же на самом деле берется это неприятие?

Наш опрос выявил одну из возможных причин такой позиции: принятие количественных методов сильно зависит от уровня статистической грамотности. Один из наборов вопросов был нацелен на проверку базовых знаний в области статистики и вероятностных концепций. Оказалось, что те, кто считал количественные методы непрактичными или видел другие препятствия для их использования, гораздо чаще демонстрировали низкий уровень статистической грамотности.

Раздел, посвященный статистической грамотности, содержал 10 вопросов, касавшихся основ статистики. Многие из них сформулированы на основе вопросов, использовавшихся в других исследованиях уровня статистической грамотности, которые проводил Канеман с соавторами. Некоторые вопросы касались распространенных ложных представлений о корреляции, размере выборки, выводах на основе ограниченных данных, значении термина «статистически значимый» и базовом понятии вероятности (см. пример в табл. 5.4).

Для дальнейшего ознакомления полный отчет об исследовании можно скачать с сайта www.howtomeasureanything.com/cybersecurity.

Затем мы сравнили статистическую грамотность с отношением, выявленным с помощью семи вопросов с «антиколичественным» уклоном из раздела «Отношение к количественным методам». Выявленная в итоге взаимосвязь между статистической грамотностью и положительным отношением к использованию количественных методов представлена на рис. 5.3.

Таблица 5.4. Пример вопроса для определения уровня статистической грамотности