Глава 4. Самое важное измерение в области кибербезопасности
Надеемся, что из главы 2 вы уяснили, как применяется термин «измерение» в науке о принятии решений и в эмпирических науках в целом. На наш взгляд, это наиболее подходящая трактовка измерения для сферы кибербезопасности. В главе 3 вы познакомились с простейшим уровнем количественного анализа рисков. Еще многое предстоит рассказать об особенностях методов измерения, но пока мы предлагаем выбрать первой целью измерений сам анализ рисков.
Авторы знакомы с самыми разными экспертами, которые активно защищают свои точки зрения на относительные достоинства различных методов оценки риска в сфере кибербезопасности. Мы вывели простое наблюдение, что обе стороны с полярно противоположными позициями часто получают аргументы в свою поддержку от высококвалифицированных специалистов с многолетним опытом работы в сфере кибербезопасности. Один компетентный эксперт, к примеру, будет утверждать, что конкретная система, основанная на качественной оценке, повышает эффективность принятия решений, позволяет добиться консенсуса и избежать проблем, возникающих при более количественных методах. Другой столь же квалифицированный эксперт будет настаивать, что это иллюзия и что такие методы просто «неправильно считают». Так как известно, что по крайней мере один из них (или оба) должен быть не прав, значит, квалификации и опыта в области кибербезопасности недостаточно, чтобы определить, является ли конкретное мнение на определенную тему верным.
Это подводит нас к нескольким сложным вопросам. Как решить, какие методы эффективнее? Могут ли методы анализа рисков, которыми специалисты по кибербезопасности пользовались десятилетиями и в которых они весьма уверены, на самом деле не работать? Возможно ли, что предполагаемые преимущества широко используемых инструментов – иллюзия? Что вообще подразумевается, когда говорят, что метод «работает», и как это можно измерить? Нам кажется, что самое важное измерение при оценке риска кибербезопасности, да и любой другой оценке риска – измерение того, насколько хорошо работают сами методы оценки рисков.
Если задуматься, то имеет ли вообще значение, работает анализ рисков или нет? И подразумевается ли под «работает», что он лишь внешне соответствует своему названию или же что он и правда улучшает процесс распознавания рисков и управления ими? Мы будем придерживаться позиции, которую считаем очевидной и которая не должна вызывать споров.
•
• Под «работает» мы имеем в виду, что он
• Регуляторы и организации по стандартизации должны сделать так, чтобы измеряемая производительность методов являлась ключевой характеристикой их соответствия предъявляемым требованиям. Если соблюдение стандартов и правил в действительности не способствует повышению эффективности управления рисками, то такие стандарты и правила нужно менять.
• Также нам кажется, что мы вправе сказать, что для урегулирования вопроса со множеством противоречивых мнений экспертов всех уровней необходимо начать измерять, насколько хорошо работают методы анализа рисков.
• Мы твердо убеждены, что использование компаниями методов анализа рисков кибербезопасности, которые не могут показать измеримое улучшение качества оценки рисков или, что еще хуже, снижают его, и есть самый большой риск в кибербезопасности, а повышение эффективности оценки рисков является наиболее важным приоритетом в управлении рисками.
Измерение самих методов лежит в основе всех рекомендаций в данной книге. Нами предлагаются либо методы анализа рисков на основе уже проведенных и опубликованных измерений, либо, если подобные измерения не проводились, способы, позволяющие определить действенный метод. И кстати, описывая, как измерить относительную эффективность методов, неплохо бы также объяснить, как ее измерять не следует.
К концу данной главы вы увидите, что в опубликованных исследованиях уже представлены измерения ключевых элементов количественных методов, предложенных в главе 3. В следующей же главе описано исследование, показывающее, что компоненты популярных в настоящее время методов оценки рисков могут принести больше вреда, чем пользы. А теперь давайте рассмотрим, почему методы должны прежде всего обосновываться исследованиями, а не мнениями экспертов.
Аналитическое плацебо: почему нельзя доверять только мнению