Как оценить риски в кибербезопасности. Лучшие инструменты и практики

Оба метода – линзы и ЛОШ – ставят перед экспертами примечательные концептуальные препятствия. В процессе оценки экспертам может не хватать уверенности, потому что они неправильно понимают сам принцип работы метода. Большинство экспертов, с которыми нам довелось работать, принимали методы без возражений вроде тех, что приводятся ниже, но у некоторых они все же возникали. Если знать, как развеять подобные заблуждения, можно помочь экспертам лучше понять, почему их вводные данные необходимы.

Рассмотрим следующую реакцию: «Когда я применяю метод линзы, кажется, будто я выбираю ответы наугад». Если бы большинство людей, применяющих метод линзы для оценки вероятностей, действительно выбирали значения наугад, то у нас имелась бы совершенно иная картина. Например, не выявлялись бы такие же сильные корреляции, какие обычно бывают в этих моделях. И оставалось бы загадкой, почему эксперты при всех своих разногласиях на самом деле так часто соглашаются в оценках. Ведь очевидно, что, если бы разные эксперты, работающие независимо друг от друга, выбирали оценки наугад, они не демонстрировали бы схожие суждения о том, насколько сильно то или иное условие меняет вероятность события. Однако же налицо определенный уровень совпадения, и он намного выше того, который можно было бы списать на случайность.

Возможно, эксперты, высказывающие такую озабоченность, имеют в виду, что при разных обстоятельствах одна и та же вероятность могла бы быть оценена в 5, в 2 или 8 %. И это, несомненно, так. При индивидуальном выборе создается впечатление, что можно дать слегка другую оценку, и все равно она останется удовлетворительной. Но метод линзы, естественно, не зависит от одной оценки или даже от одного эксперта. А при объединении большого количества точек данных неизбежно возникают закономерности, даже когда эксперты считают, что в своих оценках отдельных случаев действовали наугад.

Можно столкнуться и с другим заблуждением: «Эти переменные сами по себе ничего мне не говорят. Мне нужно гораздо больше информации для оценки». Отвечая на вопрос, как одно условие может изменить вероятность в методе ЛОШ или как поменяются оценки на основе множественных условий (которых было всего лишь несколько), некоторые эксперты возразят, что, не зная больше (а кто-то скажет, что не зная всего), они не могут дать оценку.

Иными словами: «Сведения о том, как часто вносятся исправления, сообщат мне кое-что о вероятности, если я также буду знать и ряд других [обычно неустановленных и бесчисленных] данных». Подобные заявления неверны, и их можно опровергнуть математически. Формальную версию доказательства можно найти в книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе», а пока просто знайте, что такая точка зрения математически нелогична.

Другая проблема этого возражения заключается в том, что, как мы знаем, относительно простые модели вполне достойно будут предсказывать суждения экспертов. И часто в итоге из модели даже исключаются одна или несколько переменных как бесполезные для прогнозирования суждений экспертов. То есть переменная, которую эксперты, как им казалось, в какой-то момент учитывали в своих суждениях, вообще не оказывала никакого влияния на их выводы. Они просто занимались тем, что в предыдущих главах мы называли неинформативным разложением.

Мы все склонны верить, что наши субъективные суждения являются результатом достаточно тщательного и продуманного анализа вариантов. Если давать более реалистичное описание, то наше суждение является скорее весьма скромным набором переменных с очень простыми правилами и большим количеством шума и ошибок.

Дальнейшее снижение неопределенности и когда к нему следует прибегать

Не обязательно полагаться только на калиброванные оценки и субъективные разложения. В конечном итоге оценки нужно обосновать эмпирическими данными. Например, условные вероятности могут быть вычислены на основе сведений за прошлые периоды. Бета-распределение и другие методы вычисления условных вероятностей можно комбинировать необычным образом. Можно даже принимать рациональные решения о необходимости более глубокого анализа, исходя из экономической ценности информации.

Оценка стоимости информации для сферы кибербезопасности: очень простая инструкция

В первой книге Хаббарда «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе» гораздо подробнее описан процесс определения стоимости информации. Здесь же в основном будут рассмотрены простые правила и процедуры, которые актуальны для сферы кибербезопасности.