Как оценить риски в кибербезопасности. Лучшие инструменты и практики

4. Разложение на составляющие повышает точность оценки, особенно когда приходится иметь дело с очень высокой степенью неопределенности. Модели, требующие проведения конкретных вычислений, а не подсчетов в уме, позволяют избежать многих ошибок в выводах, как правило, свойственных экспертам.

В данной главе наши измерения различных методов оценки риска были сосредоточены на ранее опубликованных результатах научных исследований отдельных компонентов процесса оценки риска, включая альтернативные инструменты оценки вероятностей (с помощью экспертов или алгоритмов), способы контроля несогласованности оценки экспертов, их сотрудничество и разложение на составляющие. Внимание уделялось только тем компонентам, о которых у нас есть данные исследований, показывающие, что альтернативные методы способны измеримо улучшить результаты.

Все компоненты методов, представленных в главе 3, и всё, о чем пойдет речь далее, опираются на результаты исследований. Нами не будут разбираться компоненты методов, по которым не проводились исследования, и, что не менее важно, не будут применяться методы, которые, как было доказано, увеличивают вероятность ошибки. Учитывая важность оценки рисков кибербезопасности, следует продолжать искать пути совершенствования методов. Никогда не стоит забывать о скептицизме, вынуждающем нас задаваться вопросом: «Откуда я знаю, что это работает?»

Позже будет рассказано, как выйти за рамки существующих исследований и статистически грамотно отслеживать собственные данные, чтобы еще больше снизить неопределенность и иметь возможность постоянно совершенствовать методы оценки рисков. А в следующей главе мы продолжим анализ компонентов на основе существующих исследований, но сосредоточимся на методах, которые не приводят к улучшению результатов или даже ухудшают их. Это необходимо сделать, так как данные компоненты фактически являются частью наиболее широко используемых методов и стандартов в области кибербезопасности. Пришло время решить эти вопросы раз и навсегда, а также дать ответы на распространенные возражения против использования рекомендуемых нами методов количественной оценки.

Примечания

1. C. Tsai, J. Klayman, and R. Hastie, “Effects of Amount of Information on Judgment Accuracy and Confidence,” Organizational Behavior and Human Decision Processes 107, no. 2 (2008): 97–105.

2. Stuart Oskamp, “Overconfidence in Case-Study Judgments”, Journal of Consulting Psychology 29, no. 3 (1965): 261–265, doi:10.1037/h0022125. Reprinted in Judgment under Uncertainty: Heuristics and Biases, ed. Daniel Kahneman, Paul Slovic, and Amos Tversky (Cambridge, UK: Cambridge University Press, 1982).

3. P. Andreassen, “Judgmental Extrapolation and Market Overreaction: On the Use and Disuse of News,” Journal of Behavioral Decision Making 3, no. 3 (July – September 1990): 153–174.

4. C. Heath and R. Gonzalez, “Interaction with Others Increases Decision Confidence but Not Decision Quality: Evidence against Information Collection Views of Interactive Decision Making,” Organizational Behavior and Human Decision Processes 61, no. 3 (1995): 305–326.

5. D. A. Seaver, “Assessing Probability with Multiple Individuals: Group Interaction versus Mathematical Aggregation,” Report No. 78–73 (Los Angeles: Social Science Research Institute, University of Southern California, 1978).

6. S. Kassin and C. Fong, “I’m Innocent!: Effects of Training on Judgments of Truth and Deception in the Interrogation Room,” Law and Human Behavior 23 (1999): 499–516.

7. Paul E. Meehl, Clinical versus Statistical Prediction; A Theoretical Analysis and a Review of the Evidence (Minneapolis: University of Minnesota Press, 1954).

8. R. M. Dawes, D. Faust, and P. E. Meehl, “Clinical versus Actuarial Judgment,” Science (1989), doi:10.1126/science.2648573.

9. William M. Grove and Paul E. Meehl, “Comparative Efficiency of Informal (Subjective, Impressionistic) and Formal (Mechanical, Algorithmic) Prediction Procedures: The Clinical-Statistical Controversy,” Psychology, Public Policy, and Law 2 (1996): 293–323.

10. William M. Grove et al., “Clinical versus Mechanical Prediction: A Meta-Analysis,” Psychological Assessment 12, no. 1 (2000): 19–30.

11. Paul Meehl, “Causes and Effects of My Disturbing Little Book,” Journal of Personality Assessment 50 (1986): 370–375.

12. William Bailey et al., “Taking Calculated Risks,” Oilfield Review 12, no. 3 (Autumn 2000): 20–35.