Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Б. Вы вращаете барабан (рис. 7.1), разделенный на два неравных сектора, один из которых занимает 90 % поверхности, а другой – только 10 %. Если при остановке барабана стрелка окажется в большом секторе, вы выигрываете, если в маленьком – ничего не получаете (т. е. вероятность того, что вы выиграете 1000 долл., составляет 90 %).

Что предпочтете? На барабане уже определена вероятность 90 %, что вы выиграете 1000 долл., и 10 %, что ничего не выиграете. Если вы такие же, как большинство (около 80 %) людей, то предпочтете крутить барабан. Почему так? Единственное объяснение – вы считаете, что с барабаном больше шансов на выигрыш. Из чего придется сделать вывод, что 90 %-ный ДИ, указанный вами, на самом деле таковым не является. Возможно, это ваш 50 %-ный, 65 %-ный или 80 %-ный ДИ, но никак не равный 90 %. Таким образом, ваша первоначальная оценка, вероятно, была слишком самоуверенной. Стремясь показать, что вы более уверены, чем есть на самом деле, вы как раз и демонстрируете свою неуверенность.

Рис. 7.1. Вращайте и выигрывайте!

Столь же нежелательный исход – выбор варианта А, где вы выигрываете 1000 долл., если правильный ответ окажется в пределах названного вами диапазона. В этом случае вы явно уверены более чем на 90 %, что ваш диапазон содержит ответ, хотя и указываете, что уверены всего лишь на 90 %. Другими словами, такой выбор обычно характерен для недостаточно уверенного человека.

Единственный приемлемый ответ – задать диапазон так, чтобы для вас не было разницы между вариантами А и Б. Это означает, вы должны считать, что с шансом 90 % – не больше и не меньше – ответ находится в пределах вашего диапазона. Для человека с чрезмерной уверенностью (т. е. для большинства из нас) равнозначность вариантов А и Б достигается за счет увеличения ширины диапазона. А при недостаточной уверенности изначальный диапазон, наоборот, следует сужать.

Разумеется, такая же проверка применима и к бинарным вопросам. Скажем, вы на 80 % уверены в ответе на вопрос о месте рождения Наполеона. Опять же, можно выбрать между ставкой на правильность своего ответа или вращением барабана, только в этом случае выигрышный сектор барабана занимает 80 % поверхности. Если предпочтете крутить барабан, скорее всего, ваша уверенность в ответе меньше 80 %. Теперь предположим, что размер сектора на барабане изменен до 70 %. Если после этого вы решите, что шансы при вращении барабана такие же (не больше и не меньше), как и у вашего ответа, значит, можно говорить о том, что на самом деле вы уверены в правильности своего ответа на 70 %.

На занятиях по калибровке Хаббард называет это «тестом равноценной ставки» (иногда в примерах из литературы по психологии принятия решений его называют «равноценной урной», в этом случае ответы извлекаются из урны наугад). Как следует из названия, тест проверяет, действительно ли вы на 90 % уверены в диапазоне, сравнивая его со ставкой, которую вы должны посчитать равноценной. Согласно исследованиям, если притвориться, что на кону стоят деньги, то способность человека оценивать шансы значительно улучшается⁴. На самом деле настоящие ставки на деньги оказываются лишь немногим эффективнее, чем подобные притворные ставки.

Такие методы, как тест равноценной ставки, помогают экспертам давать более реалистичную оценку неопределенности. Людей, хорошо умеющих оценивать неопределенность (т. е. они правы в 80 % случаев, когда говорят, что уверены на 80 %, и т. д.), называют «калиброванными». Существует еще несколько простых способов совершенствования калибровки, но сначала посмотрим, как вы справились с тестом. Ответы приведены в конце главы после примечаний.

Чтобы узнать, насколько хорошо вы откалиброваны, нужно сравнить ожидаемые результаты с фактическими. Поскольку в вопросах с диапазоном требовался 90 %-ный ДИ, то, по сути, вы ожидали, что 9 из 10 правильных ответов окажутся в пределах указанных вами диапазонов. Остается только сравнить количество ответов, попавших в заявленные диапазоны, с ожидаемым количеством – 9. Если ожидания совпадут с результатами, возможно, вы хорошо откалиброваны. Выборка очень маленькая, и по ней, конечно, нельзя с полной уверенностью судить об одном человеке. Но поскольку подобные тесты прошли более 1000 человек, можно проследить закономерность даже при таком небольшом количестве вопросов.