Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Другими факторами могут быть мотивация и опыт оценки. Хаббард обычно обучает опытных менеджеров и аналитиков, большинство из которых знают, что им придется применять новые навыки для реальных оценок. Дейл Ренигк из Университета Северной Каролины в Чапел-Хилле провел подобный тренинг для своих студентов и отметил гораздо более низкий показатель калибровки (хоть и все равно со значительным улучшением). В отличие от менеджеров, студентам редко приходится оценивать что-либо, и возможно, это стало одним из факторов, повлиявших на результаты. Как было замечено на семинарах, проводимых самим Хаббардом, те, кто не ожидает, что полученные навыки понадобятся в будущем для оценки проблем в реальном мире, почти всегда демонстрируют незначительные или нулевые улучшения.

Есть еще один чрезвычайно важный эффект калибровки. Помимо улучшения способности субъективно оценивать шансы калибровка, похоже, избавляет от возражений против вероятностного анализа при принятии решений. До обучения калибровке людям может казаться, что любая субъективная оценка бесполезна, а единственный способ узнать ДИ – провести вычисления, которые они смутно припоминают из университетского курса статистики. Они могут не доверять вероятностному анализу в целом, поскольку все вероятности кажутся им произвольными. Однако после калибровки редко кто мыслит подобными категориями. Судя по всему, проблема решается за счет получаемого практического опыта указания вероятностей, благодаря чему постепенно приходит понимание, что это – измеримый навык, в котором можно добиться реальных улучшений. И хотя это не было целью Хаббарда в начале работы по калибровке специалистов, в итоге стало ясно, насколько данный процесс важен для формирования положительного отношения к концепции вероятностного анализа при принятии решений.

Теперь вам известно, как можно количественно оценить текущую неопределенность, научившись предоставлять калиброванные вероятности. Этот навык имеет решающее значение для следующего шага в измерениях.

Примечания

1. P. Laplace, Théorie analytique des probabilités (Paris: Courcier, 1812), переведена на английский Ф. У. Траскоттом и Ф. Л. Эмори под названием A Philosophical Essay on Probabilities (Mineola, NY: Dover, 1952), 16–17.

2. D. Kahneman and A. Tversky, “Subjective Probability: A Judgment of Representativeness,” Cognitive Psychology 4 (1972): 430–454; и D. Kahneman and A. Tversky, “On the Psychology of Prediction,” Psychological Review 80 (1973): 237–251.

3. Фишхофф Б., Филлипс Л. Д., Лихтенштейн С. Калибровка вероятностей: положение дел к 1980 г. // Принятие решений в неопределенности. Правила и предубеждения / Под ред. Д. Канемана, С. Пауля, А. Тверски. – Харьков: Гуманитарный центр, 2021. – 540 с.

4. Там же.

5. Там же.

6. L. J. Savage, The Foundations of Statistics (New York: John Wiley & Sons, 1954), 2.

7. Идье В., Драйард Д., Джеймс Ф. и др. Статистические методы в экспериментальной физике. – М.: Атомиздат 1976. – 335 с.; Byron P. Roe, Probability and Statistics in Experimental Physics, 2nd ed. (New York: Springer Verlag, 2001), 128.

8. C. C. Brown, “The Validity of Approximation Methods for the Interval Estimation of the Odds Ratio,” American Journal of Epidemiology 113 (1981): 474–480.

9. Steve C. Wang and Charles R. Marshal, “Improved Confidence Intervals for Estimating the Position of a Mass Extinction Boundary,” Paleobiology 30 (January 2004): 5–18.

Ответы на вопросы на общую эрудицию для упражнения по калибровке

Доверительные интервалы: 1. 203. 2. 1687. 3. 8,9. 4. 1969. 5. 1564. 6. 3,944. 7. 78,5 %. 8. 88. 9. 560. 10. 1964.

Верно/Неверно: 1. Неверно. 2. Верно. 3. Верно. 4. Неверно. 5. Верно. 6. Верно. 7. Неверно. 8. Верно. 9. Неверно. 10. Верно.

Глава 8. Уменьшение неопределенности с помощью байесовских методов

Теперь в нашем распоряжении имеются доказанные теоремы и масса наработанных числовых примеров. В итоге превосходство байесовских методов сегодня – факт, всесторонне продемонстрированный в сотне различных областей.

Эдвин Томпсон Джейнс (1922–1998), американский специалист по статистической физике и откровенный сторонник байесовских методов. Probability Theory: The Logic of Science, т. 1 Principles and Elementary Applications