Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Главный принцип – не дурачить самого себя. А себя как раз легче всего одурачить.

Ричард Филлипс Фейнман (1918–1988), лауреат Нобелевской премии по физике

Порой можно услышать, что тот или иной метод «проверен» и является «лучшей практикой». Метод могут расхваливать, называя «строгим» и «формальным», и подразумевается, будто этого достаточно, чтобы полагать, что он повышает качество оценки и решений. В конечном итоге метод получает звание «принятого стандарта», а некоторые довольные пользователи даже приводят свидетельства его эффективности.

Как часто эти утверждения основаны на реальных измерениях эффективности метода? Вряд ли кто-то проводил крупные клинические испытания с тестовыми и контрольными группами. Оценки редко сравниваются с фактическими результатами, а нарушения кибербезопасности, которые особенно дорого обходятся организациям, почти никогда не отслеживаются на большом количестве примеров, чтобы увидеть, действительно ли риск изменяется в зависимости от того, какие методы оценки риска и принятия решений используются. К сожалению, звание «лучшей практики» не означает, что метод был измерен и получил научное обоснование его превосходства над множеством других практик. Как говорил Фейнман, нас легко одурачить. Видимые улучшения могут оказаться всего лишь миражом. Даже если метод приносит больше вреда, чем пользы, люди все равно могут искренне считать, что видят его преимущества.

Как такое возможно? Виновато «аналитическое плацебо» – ощущение, что некоторые методы анализа повысили качество решений и оценок, даже если это не так. Аналогия с плацебо и его ролью в медицинских исследованиях на самом деле слишком мягкая. В медицине плацебо и правда может давать положительный физиологический эффект, а не просто дарить ощущение полезности. Однако, используя термин в данном контексте, мы имеем в виду, что в буквальном смысле нет никакой пользы, а только одно ее ощущение. В областях, не относящихся к кибербезопасности, проводились исследования, показавшие, что чем больше усилий тратилось на анализ, тем выше была уверенность в его эффективности, даже если фактически она не повышалась совсем. Вот несколько таких примеров, также упоминавшихся в других книгах Хаббарда.

• Спортивные прогнозы. В исследовании, проведенном в 2008 году в Чикагском университете, отслеживалась вероятность исходов спортивных событий, которые определяли участники испытания, исходя из получаемых объемов информации о командах, но при этом не сообщались названия команд или имена игроков. По мере того как участникам выдавалось больше информации о командах в конкретной игре, повышалась их уверенность в том, что они выбирают победителя, даже несмотря на то что реальная вероятность выбора победителя оставалась почти неизменной независимо от количества полученной информации¹.

• Психологическая диагностика. Другое исследование показало, что практикующие клинические психологи становятся увереннее в поставленном диагнозе и в прогнозах различных видов рискованного поведения, когда собирают больше информации о пациентах. И опять же процент соответствия прогнозов наблюдаемым результатам поведения на самом деле не повышался².

• Инвестиции. Пол Андреассен, психолог-исследователь из Массачусетского технологического института, в 1980-х годах провел несколько экспериментов, показавших, что сбор большего количества сведений об акциях в инвестиционных портфелях повышал уверенность испытуемого, но не способствовал повышению доходности портфеля. В одном из исследований он продемонстрировал, что люди склонны слишком остро реагировать на новости и считать дополнительные сведения информативными, даже если в среднем доходность в результате не повышается³.

• Сотрудничество в спортивных прогнозах. Еще одно исследование предполагало сотрудничество спортивных болельщиков друг с другом для повышения точности прогнозов. И снова после совместной работы повышалась уверенность, но не фактические показатели. Более того, участники редко вообще меняли мнение, сформировавшееся еще до совместного обсуждения. Прямым следствием сотрудничества было стремление получить подтверждение тому решению, которое участники уже приняли⁴.

• Сотрудничество при обсуждении интересных фактов. В другом исследовании, посвященном изучению пользы сотрудничества, испытуемых просили дать ответы на вопросы на общую эрудицию, подобные вопросам из «Своей игры» (Jeopardy). Исследователи рассматривали многочисленные формы взаимодействия, в том числе дельфийский метод, свободное обсуждение и прочие методы сотрудничества. Несмотря на то что взаимодействие не улучшило оценки по сравнению с простым усреднением индивидуальных оценок, испытуемые действительно чувствовали большее удовлетворение от его результатов⁵.