Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Ключевой компонент, который следует учитывать при анализе рисков кибербезопасности, – это эффективность способа синтезирования информации для составления оценок. В частности, лучше ли полагаться на экспертов при вынесении суждения или на статистическую модель? Одним из специфических вопросов, область изучения которого изобилует исследованиями, является сравнение статистических моделей и мнений экспертов при оценке неопределенных результатов будущих событий. Благодаря таким исследованиям был получен один из самых цитируемых и впечатляющих выводов в психологии: даже относительно наивные статистические модели, похоже, превосходят экспертов-людей, предоставляя на удивление большее разнообразие оценок и прогнозов.

Мы не утверждаем, что можно полностью заменить человека при оценке рисков, а лишь рассматриваем несколько ситуаций, в которых были созданы объективные количественные модели и проведено их сравнение с профессиональным чутьем. Нам интересно выяснить следующее: если бы можно было построить чисто количественную модель на основе ранее полученных данных, стоило бы вообще это делать?

Читая об исследовании, вы, скорее всего, также захотите узнать, а можно ли, собственно, применять исследования из других областей к кибербезопасности. Если останетесь с нами, думаем, вы в итоге согласитесь с тем, что применение возможно. На самом деле, как и упомянутый ранее эффект плацебо, исследования настолько многочисленны и разнообразны, что, кажется, бремя доказательства будет возложено на того, кто утверждает, что кибербезопасность каким-то образом не затрагивает эти фундаментальные вопросы.

Исследования, сравнивающие экспертов и алгоритмы

Некоторые из исследований начинались в совершенно другой области в те времена, когда концепции кибербезопасности еще не существовало. Так, в 1950-х годах американский психолог Пол Мил высказал идею, потрясшую область клинической психологии. Он утверждал, что основанные на экспертных оценках клинические суждения о пациентах с психическими расстройствами могут быть хуже простых статистических моделей. Мил собрал большую исследовательскую базу, демонстрирующую, что статистические модели, основанные на медицинских записях, поставленных диагнозах и прогнозах, как минимум совпадали с суждениями квалифицированных клиницистов, а обычно превосходили их. Мил смог показать, например, что тесты на определение черт характера лучше экспертов прогнозировали преступность среди несовершеннолетних, аддиктивное поведение и некоторые виды поведения, связанные с неврологическими расстройствами.

В 1954 году им был написан фундаментальный труд под названием Clinical versus Statistical Prediction («Клинический прогноз против статистического»). И уже в этом первоначальном исследовании Мил смог процитировать более 90 работ, оспаривавших предполагаемый авторитет экспертов⁷. Исследователи, к примеру Робин Доус (1936–2010) из Мичиганского университета, с воодушевлением продолжили работу в этом направлении. И каждые новые результаты, полученные ими, только подтверждали выводы Мила, несмотря на то что они расширили охват, включив также специалистов, не занимающихся клинической диагностикой^{8, 9, 10}. Собранная в итоге библиотека исследований включала сведения, предсказывающие средний балл успеваемости первокурсников и студентов-медиков, рецидив преступлений, медицинские прогнозы и результаты спортивных событий. После того как число исследований значительно возросло, Мил был вынужден констатировать следующее:

В социальной науке нет ни одного противоречия, которое показало бы такое большое количество качественно разнородных исследований, приводящих к столь схожим результатам, как в данном исследовании. Когда вы проводите 90 экспериментов [теперь уже ближе к 150], предсказывая всё – от исхода футбольных матчей до заболеваний печени, – и при этом с трудом можете найти полдюжины исследований, показывающих хотя бы слабую тенденцию в пользу [экспертов-людей], самое время сделать практический вывод¹¹.

В указанном исследовании применялись довольно простые методы. Экспертов просили предсказать какие-либо объективно проверяемые результаты, например потерпит ли новый бизнес неудачу или какова будет эффективность химиотерапии для больного раком. Затем составляли прогноз для того же явления, используя алгоритм, основанный только на данных за прошлые периоды. И, наконец, тестировали оба метода на большом количестве прогнозов и определяли, какой из них работает лучше.