Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Один из авторов, Хаббард, с 1995 года начал заниматься калибровкой и сбором данных о том, насколько хорошо люди справляются с тестами из вопросов общей тематики и насколько верно откалиброванные специалисты оценивают неопределенность в реальной жизни. Для этого их оценки сравнивались с фактическими результатами после наступления оцениваемых событий. Методы калибровки и тесты постепенно эволюционировали, но после 2001 года выработанный подход в целом не изменялся. С тех пор Хаббард и его команда в компании Hubbard Decision Research обучили более 1000 человек методам калибровки и задокументировали их успехи: ожидаемые и фактические результаты нескольких калибровочных тестов, проводимых один за другим во время семинаров.

Собранные таким образом сведения позволили лучше понять обобщенные данные, часто публикуемые в различных рецензируемых научных изданиях. Академические исследования обычно показывают агрегированные результаты всех участников исследования, поэтому можно видеть только среднее значение по группе. Объединив таким же образом показатели участников семинаров, Хаббард получил результаты, очень схожие с данными таких академических исследований. Однако, имея возможность отделить данные по каждому испытуемому, он выявил еще один интересный феномен. Хаббард заметил, что большинство людей к концу обучения добиваются превосходных результатов, а средний показатель снижается из-за нескольких человек, показывающих плохой результат.

Чтобы определить, кто из испытуемых откалиброван, следует допускать некоторое отклонение от идеала даже для полностью откалиброванного человека. Кроме того, некалиброванному участнику может повезти. С учетом этой статистической ошибки 80 % участников оказываются идеально откалиброваны уже после пятого упражнения. Они не склонны ни к недостаточной уверенности, ни к чрезмерной уверенности. Их 90 %-ные ДИ с вероятностью около 90 % содержат правильный ответ.

Еще 10 % участников демонстрируют значительное улучшение, но не достигают идеальной калибровки. А 10 % вообще не показывают каких-либо улучшений по сравнению с первым выполненным тестом[9]. Анализ выявил наличие среди испытуемых групп с различной результативностью, что не соответствует модели, согласно которой все участники изначально слегка неоткалиброваны. Последнюю группу нельзя объяснить случайным набором неудачливых участников, а те, кто был откалиброван, не могут быть просто удачливым, но неоткалиброванным большинством. Почему около 10 % людей, видимо, вообще не способны улучшить свои результаты в процессе обучения калибровке? Какова бы ни была причина, она не так уж и важна. Все, на кого мы когда-либо полагались в фактических оценках, относились к первым двум группам, и почти все они были в первой, идеально откалиброванной, группе. Среди тех, кто, казалось, сопротивлялся любым попыткам калибровки даже до тестирования, никогда не было компетентных экспертов или специалистов, принимающих решения по конкретным вопросам. Возможно, они были менее мотивированы, зная, что их мнение не будет иметь большого веса. А может, люди, не имеющие склонности к таким задачам, просто не стремятся совершенствоваться до уровня, необходимого для выполнения подобных оценок. В любом случае это ни на что не влияет.

Как видно, для большинства людей занятия оказываются очень эффективными. Но отражают ли успехи на занятиях способность оценивать вероятность неопределенности в реальной жизни? Ответ – однозначно да. Хаббард постоянно отслеживал, как хорошо откалиброванные специалисты действуют в реальных ситуациях, однако один контролируемый эксперимент, проведенный в сфере IT, до сих пор выделяется среди остальных. В 1997 году Хаббарда попросили научить аналитиков консалтинговой компании Giga Information Group (впоследствии была приобретена Forrester Research, Inc.) определять вероятность наступления неопределенных событий в будущем. Giga занималась исследованиями в области информационных технологий и предоставляла свои исследования другим компаниям по подписке. В компании был принят метод определения вероятности наступления событий, прогнозируемых для клиентов, и в ней хотели убедиться, что он будет успешно функционировать.