Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Хаббард обучил 16 аналитиков компании Giga с помощью описанных ранее методов. В конце обучения аналитики получили 20 конкретных прогнозов, касающихся IT-индустрии, которые необходимо было разделить на истинные или ложные и определить вероятность их наступления. Тест проводился в январе 1997 года, а все вопросы касались событий, которые могли бы произойти к 1 июня 1997 года (например, «верно или неверно, что компания Intel выпустит процессор Pentium с тактовой частотой 300 МГц к 1 июня» и т. п.). В качестве контрольной группы выступали 16 директоров по IT различных организаций из числа клиентов Giga, которым был предоставлен тот же список прогнозов. После 1 июня стало возможным определить фактические результаты. Хаббард представил свои выводы на Giga World 1997 – главном симпозиуме в IT-индустрии того года. Итоги эксперимента приведены на рис. 7.3. Обратите внимание, что некоторые участники не ответили на часть вопросов, поэтому сумма ответов в каждой группе меньше 320 (16 испытуемых по 20 вопросов на каждого).

Горизонтальная ось – указанная участниками вероятность того, что прогноз по конкретному вопросу окажется верным. Вертикальная ось показывает, сколько прогнозов оказались верными на самом деле.

Рис. 7.3. Результаты калибровочного эксперимента для 20 прогнозов развития IT-индустрии в 1997 году. Источник: Hubbard Decision Research

Ответы идеально откалиброванного человека должны быть расположены вдоль пунктирной линии, означающей, что человек был прав в 70 % случаев, когда был на 70 % уверен в своих прогнозах, прав в 80 % случаев, когда был уверен на 80 %, и т. д. Видно, что результаты аналитиков (где точки обозначены маленькими квадратами) очень близки к идеальной уверенности и легко укладываются в допустимую погрешность. Сильнее всего результаты отклоняются от идеальной калибровки в нижней части графика, но и тут они все еще находятся в допустимых пределах погрешности (диапазон допустимых ошибок шире в левой части графика и сужается до нуля в правой). Когда участники заявляли, что уверены на 50 %, они оказывались правы примерно в 65 % случаев. Это означает, что они, возможно, знали больше, чем говорили, и – только в этой части графика – были немного неуверенны. Такие результаты близки к 50 % и могут быть случайными. Существует 1 %-ная вероятность, что 44 или более из 68 человек окажутся правы, просто загадав ответ и подбросив монетку.

Чуть более значительное отклонение – имеется в виду статистически, а не визуально – наблюдается на другом конце шкалы. Там, где аналитики указывали высокую степень уверенности, случайность вызвала бы лишь незначительное отклонение от ожидаемого результата, а значит, на этом конце графика они были немного самоуверенны. Но в целом аналитики оказались очень хорошо откалиброваны.

Для сравнения, результаты клиентов компании, не проходивших обучение калибровке (обозначены маленькими треугольниками), свидетельствуют об очень большой самоуверенности. Цифры рядом с результатами калибровки показывают, что в 58 случаях конкретный клиент заявлял об уверенности на 90 % в определенном прогнозе. Из этих случаев верными оказались менее 60 % прогнозов. Клиенты, указавшие, что они на 100 % уверены в правильности прогноза, в 21 случае получили только 67 % правильных ответов. Все эти результаты соответствуют данным ряда других исследований калибровки за последние несколько десятилетий.

Не менее интересен тот факт, что аналитики Giga на самом деле не дали большее число правильных ответов (вопросы были общими для IT-индустрии и не касались специальностей аналитиков). Они просто проявляли немного больше осторожности в отношении прогнозов с высокой степенью уверенности. Однако до начала обучения по калибровке аналитики в ответах на вопросы из области общих знаний показывали такие же плохие результаты, как и клиенты при прогнозировании реальных событий. Вывод очевиден: разница в точности полностью обусловлена обучением калибровке, а обучение калибровке, даже если в процессе него используются вопросы на общие знания, работает для реальных прогнозов.

Многие из прежних читателей и клиентов Хаббарда проводили собственные семинары по калибровке и получали различные результаты в зависимости от того, насколько точно они следовали разобранным здесь рекомендациям. В каждом случае, когда у них не получалось откалибровать такой процент людей, как на семинарах Хаббарда, оказывалось, что они на самом деле обучали не всем стратегиям калибровки, указанным в табл. 7.3. В частности, не применялась равноценная ставка, которая, похоже, является одной из наиболее важных стратегий калибровки. Те, кто придерживался описанных стратегий и отрабатывал их в каждом упражнении, неизменно получали результаты, аналогичные тем, что наблюдал Хаббард.