Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Однако даже добросовестные и квалифицированные аудиторы, сами того не желая, мешают внедрению более совершенных моделей при принятии решений. В некоторых случаях более сложная модель приходит на смену очень мягкой, ненаучной модели. Фактически так было со всеми моделями, разработанными и представленными авторами этой книги. Наши разработки пришли на смену моделям, основанным на методах, против которых здесь уже приводились аргументы: выполнении арифметических действий с порядковыми шкалами, использовании определений типа «средний» в качестве оценки риска, тепловых картах и т. д. Тем не менее все эти мягкие методы не подвергаются такой же тщательной проверке со стороны аудиторов. Если в сфере кибербезопасности появляется метод, в котором нужно лишь субъективно оценить вероятность и воздействие, а затем выразить их с помощью субъективных оценок с использованием неоднозначных шкал, аудиторы не требуют ссылки на исследования, показывающие измеренную эффективность некалиброванных субъективных оценок, обосновывающие метод математически или указывающие на проблемы при использовании вербальных шкал для обозначения риска.

Что же происходит, когда проверяются только методы, содержащие более сложные расчеты? Тех, кто использует простую систему подсчета баллов, которую они сами только что придумали, не будут проверять так же тщательно, как сторонников передовых методов, только благодаря тому, что их метод простой. Это лишает стимула совершенствовать работу с помощью применения количественных и научно обоснованных методов управления рисками и принятия решений.

Чтобы аудит не превратился (наверняка непреднамеренно) в такую дестимулирующую меру в сфере совершенствования процесса принятия управленческих решений, необходимо начать проводить аудит мягких методов так же тщательно, как он проводится в отношении методов, позволяющих аудиторам вспомнить свои знания статистики.

Аудит: как не убить лучшие методы

• Аудит проводится для ВСЕХ моделей. Все решения принимаются на основе модели, будь то интуиция руководителя, субъективная система баллов, детерминированный анализ экономической эффективности, стохастические модели или подбрасывание монетки. Аудитору не стоит проверять только то, что сама организация называет моделями. Если какие-то решения принимаются интуитивно, то надо изучить также обширные исследования ошибок интуиции и чрезмерной уверенности и затребовать доказательства того, что такие проблемы никак не касаются рассматриваемой ситуации.

• Модель не должна проверяться строго в своих рамках. Например, если применяется детерминированная модель экономической эффективности в виде электронной таблицы для оценки средств контроля кибербезопасности, недостаточно просто проверить правильность основных финансовых расчетов или спросить, откуда взялись исходные данные. Лучше аудитору начать с вопроса: можно ли вообще применять подобный подход моделирования в этом случае, почему детерминированные методы используются для принятия решений, которые явно опираются на неопределенные исходные данные?

• Тот факт, что вывод модели неоднозначен, не указывает на невозможность измерить ее эффективность. Если модель говорит, что риск «средний», следует задаться вопросом: действительно ли события средней степени риска происходят чаще, чем события низкой степени, и реже, чем события высокой степени риска? Количественные модели часто привлекают внимание, так как их выводы однозначны и могут отслеживаться для сравнения с фактическими результатами. Именно поэтому аудиторы предпочитают изучать статистические, а не мягкие модели. И это на самом деле говорит в пользу первых.

• Аудитору следует попросить предоставить исследования, подтверждающие относительную эффективность данного метода по сравнению с альтернативными вариантами. Если метод предполагает создание цветной тепловой карты, можно обратиться к работам Тони Кокса. Если опирается на вербальные шкалы – к работам Дэвида Будеску и Ричарда Хойера. И если утверждается, что предложенный более мягкий метод каким-то образом позволяет избежать выявленных этими исследователями проблем, то должны быть предоставлены соответствующие доказательства.

• Даже утверждения о том, какие уровни сложности допустимы в организации, не должны приниматься за чистую монету. Если более простой метод балльной оценки предлагается из соображения, что руководство не поймет более сложные методы, то стоит потребовать исследований, подтверждающих данное утверждение (совокупный опыт авторов свидетельствует об обратном).