Во-вторых, в качестве аргумента приводятся лишь избранные истории. Сколько можно привести примеров неудач, связанных с методами, построенными исключительно на интуиции, или мягкими методами? Даже если бы все указанные случаи являлись справедливыми примерами фактического провала количественных методов (авторы признают, что таких немало), мы все равно вернулись бы к тому, как избежать основного обсуждаемого здесь заблуждения, а именно необходимости сопоставить частоту неудач количественных и неколичественных методов. Дело в том, что провалов, когда при принятии решений использовались неколичественные методы, тоже много. В самом деле, насколько эффективны суждения и профессиональное чутье были в условиях финансового кризиса, при проектировании АЭС «Фукусима» или управлении буровой платформой Deepwater Horizon?
В качестве примера можно привести масштабную утечку данных в розничной сети Target в 2013 году. Этот инцидент хорошо известен в сообществе кибербезопасности, но, возможно, методы, неудачно примененные компанией Target для оценки рисков, не столь известны. Хаббард и Сирсен взяли интервью у человека, работавшего в компании Target примерно за год до события. Согласно источнику, компания была максимально далека от применения количественных методов для решения проблемы киберрисков. Несмотря на попытки внедрения количественных методов, несколько человек упорно пользовались методом, основанным на вербальной оценке рисков с распределением по категориям «высокий, средний, низкий». Это были руководители, считавшие, что количественные методы слишком сложные и требуют слишком много времени. Они даже потрудились составить список причин, почему не стоит применять количественные методы. Среди известных нам пунктов списка были те самые возражения, что опровергаются выше (по нашей информации, после утечки данных в руководстве отдела кибербезопасности произошли значительные изменения).
В конце концов, компания признала утечку данных о кредитных картах 70 млн человек. Суммарные компромиссные выплаты компаниям Mastercard и Visa превысили 100 млн долл.14
Если бы мы считали такие истории достаточным основанием для сравнения методов, то, конечно, могли бы потратить время и найти еще примеры. Раз уж на то пошло, применяли ли компании Anthem, Sony, Home Depot, федеральное правительство США и прочие организации, подвергшиеся крупным кибератакам, вероятностные методы вместо шкал и матриц рисков? Вряд ли.Отдельные примеры, безусловно, не могут служить подтверждением в споре, какой метод лучше. Единственный способ не впасть в заблуждение Exsupero Ursus – рассматривать большие совокупности, выбранные непредвзято, и систематически сравнивать неудачи
Даже если в одном методе есть ошибки, его следует предпочесть тому, в котором ошибок еще больше. Результаты описанных нами исследований (см. примечания к этой главе и главу 4) подтверждают эффективность количественных методов по сравнению с профессиональным чутьем и экспертами, использующими шкалы или матрицы рисков. С другой стороны, в единственном доступном исследовании матриц риска утверждается, что матрицы бесполезны и даже могут навредить.
Наконец, есть возражения, которые не являются заблуждениями Exsupero Ursus и не основаны на ошибочных представлениях о количественных методах вроде убежденности, что необходимы исключительно точные данные. Эти возражения сводятся к подчеркиванию достоинств неколичественных методов. Например, что они лучше, так как их легче объяснить, следовательно, с ними проще согласиться и принять их в работу. В ходе нашего опроса 31 % респондентов согласились с утверждением «порядковые шкалы, используемые в большинстве оценок информационного риска, лучше количественных методов, поскольку их легко понять и объяснить». Также большинство (64 %) согласились с тем, что «широко используемые порядковые шкалы помогают выработать консенсус для определения дальнейших действий».
Однако, как видно из исследования Будеску, кажущаяся понятность и простота объяснения, возможно, вызваны лишь сокрытием важных данных за неоднозначной терминологией. Мы согласны, что «иллюзия коммуникации» Будеску может заставить одного человека думать, что он что-то объяснил, а другого, что он понял объяснение, и всех их – что в итоге они пришли к единому мнению. Авторам многократно приходилось в самых разных компаниях объяснять различные количественные методы руководителям высшего звена, в том числе в ситуациях, когда нам говорили, что руководители ничего не поймут. На самом же деле ситуации, когда люди не понимали, возникали гораздо реже, чем нас пытались убедить. Похоже, чаще одна группа предупреждает нас о том, что другая группа не поймет количественную информацию (редко кто признается, что сам ее не понимает).