Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Теперь, когда имеются значения неопределенности и риска, появляется более эффективный инструментарий для определения следующих терминов, таких как «безопасность» (или «сохранность», «надежность» и «качество», но об этом позже). Говоря, что безопасность улучшилась, обычно мы имеем в виду, что конкретные риски снизились. С учетом приведенного выше определения риска его снижение должно означать, что вероятность и/или тяжесть последствий (убытки) снижаются для конкретных событий. Вот это и есть упоминавшийся ранее подход, помогающий измерить некоторые очень крупные вложения в IT-безопасность, включая модернизацию системы информационной безопасности министерства по делам ветеранов, обошедшуюся в 100 млн долл.

В общем, как только вы поймете, что имеете в виду, будете на полпути к измерениям. В главе 6 будут подробнее рассмотрены подходы к определению доступных для наблюдения последствий кибербезопасности, узнаем, как ослабить последствия нарушений кибербезопасности и как выяснить, какое решение необходимо принять (тогда мы снова обратимся к работе Рона Ховарда по анализу решений).

Методы измерения

Нас ведет к беде не то, что мы чего-то не знаем… К беде ведет знание, которое мы считаем истинным, но оно на самом деле ошибочно.

Марк Твен[3]

В разговоре о методах измерения кто-то может представить довольно буквальный пример с измерением времени простоя системы или количества людей, прошедших обучение по безопасности. То есть когда нет больших «неявных» совокупностей, которые нужно оценить, а имеется прямой доступ ко всем объектам измерения. Если на этом понимание человека о методах измерения заканчивается, то, несомненно, многое будет казаться неизмеримым.

Статистика и наука в целом были бы намного проще, если бы можно было непосредственно видеть все, что когда-либо измерялось. Большинство «трудных» измерений, однако, предполагают косвенные умозаключения и выводы. Это, безусловно, относится и к сфере кибербезопасности, в которой часто приходится на основе увиденного делать выводы о чем-то невидимом. Изучение совокупностей, которые слишком велики или динамичны, чтобы их можно было рассмотреть целиком, – вот в чем на самом деле суть статистики.

Кибербезопасность не является какой-то исключительной областью, не относящейся к сфере статистики. Статистика была создана именно для решения подобных проблем. Специалистам по кибербезопасности, убежденным в обратном, стоит внимательно перечитать высказывание Марка Твена, приведенное выше. Люди вроде них могут считать, что все правильно помнят и понимают достаточно в области статистики и вероятности, чтобы без применения математики с уверенностью заявлять, какие выводы можно сделать из тех или иных данных. К сожалению, их умственные вычисления часто совсем не верны. Наличие ошибочных представлений о методах измерения мешает оценивать риск во многих областях, в том числе и в кибербезопасности.

Статистическая значимость. Что такое значимость?

Часто можно услышать утверждение, что выборка недостаточно велика, чтобы считаться «статистически значимой». Если слышите подобное, точно знайте одно: говорящий неправильно понимает идею статистической значимости. Недавний проведенный авторами опрос, в котором принял участие 171 специалист по кибербезопасности, показал, что такие заблуждения распространены в данной сфере так же, как и в любой другой (более подробно результаты исследования описаны в главе 5). Можно заметить, что некоторые представления о статистике противоречат следующим фактам.

• Не существует единого, универсального размера выборки, необходимого, чтобы считать ее статистически значимой.

• Чтобы правильно рассчитать статистическую значимость, нужно знать, что она зависит не только от размера выборки, но и от дисперсии внутри выборки, и от самой проверяемой гипотезы. Все эти факторы используются для расчета так называемого π-значения («пи-значения»), а затем результат сравнивается с заданным уровнем значимости. Если указанные шаги пропущены, то нельзя доверять заявлениям о том, что является статистически значимым.

• Выяснив, как вычислить статистическую значимость, и поняв, что она означает, вы обнаружите, что хотели узнать совсем не это. Статистическая значимость не означает, что вы узнали что-то новое, а ее отсутствие – что вы ничего не узнали.