Данный вопрос более детально рассматривается с математической точки зрения в первой книге «Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе». А пока, полагаем, вам лучше избегать употребления фразы «статистическая значимость». Что же действительно нужно знать, так это уменьшится ли неопределенность после изучения источника данных и оправдывает ли ее уменьшение определенные изменения в действиях. Статистики знают, что статистическая значимость не дает ответа на этот вопрос, и они сами постоянно поправляют тех, кто считает иначе. Для вопросов о степени снижения неопределенности существуют математические расчеты, и, отвечая на подобные вопросы, можно не ссылаться на статистическую значимость или на то, что под ней подразумевают аналитики из сферы кибербезопасности.
Экспертам по кибербезопасности, как и многим другим специалистам практически во всех областях управления, необходимо избавиться от ошибочных представлений о статистике и изучить новые концепции в ней. Позже мы обсудим, как можно использовать некоторые проверенные методы измерения для решения различных проблем при измерении того, что изначально, возможно, казалось неизмеримым. Здесь же представим несколько примеров, в которых выводы о неявных аспектах могут быть сделаны из вполне очевидных.
•
•
•
•
Большинство из этих подходов к измерениям являются лишь вариациями основных методов, к которым относятся различные виды выборки и экспериментального контроля, а иногда и разнообразные типы вопросов, являющиеся косвенными показателями того, что мы пытаемся измерить. К подобным базовым методам наблюдения часто не прибегают в бизнесе при принятии определенных решений, вероятно, потому, что считают такие измерительные процедуры сложными и чрезмерно формализованными. Бытует мнение, что при необходимости эти методы не удастся оперативно применить без особых затрат и подготовки. Однако мы продемонстрируем методы, которые, используя популярное понятие в системной инженерии, можно даже назвать гибкими (agile).
Когда специалисты в сфере кибербезопасности или любой другой области говорят: «У нас недостаточно данных, чтобы это измерить», – они, вероятно, не понимают, что произносят вполне конкретное математическое утверждение, не подкрепленное никакими фактическими математическими выкладками. Действительно ли они вычисляли снижение уровня неопределенности, используя имеющийся объем данных? Рассчитывали ли они на самом деле экономическую ценность такого снижения неопределенности? Скорее всего, нет.
Когда дело доходит до вероятностных выводов о данных, наша интуиция превращается в проблему. Однако намного большей проблемой может стать то, что, как кажется, нам известно (ошибочно) о статистике. Поскольку на практике статистика позволяет делать информативные выводы из удивительно маленьких выборок.