Кокс видит потенциал в объединении вычисляемых рисков и рискоустойчивости: «Отношение к риску, принятое при оценке неопределенных последствий, никогда не раскрывается в сочетании с матрицей рисков. Однако, не зная его, невозможно расшифровать, что должны означать эти рейтинги или как они могут измениться, если оценку будет делать человек с иным отношением к риску. Оценки, показанные в матрице, отражают неизвестную смесь фактических и субъективных компонентов». И задает, похоже, самый главный вопрос: «Проблема возникает, когда, глядя на шкалу или матрицу, вы спрашиваете: „На что я смотрю?“»
Можно заявить, что это всего лишь особенность конкретной матрицы рисков, а с другой матрицей и другими категориями не возникнет такой проблемы. На самом же деле подобные примеры несоответствий все равно останутся, независимо от того, как определяются диапазоны воздействия и вероятности. Кокс даже работал над поиском способа избежать хотя бы некоторых из этих проблем. Его «теорема о матрице рисков» показывает, как соблюдение ряда правил и условий распределения категорий может привести к построению по крайней мере слабо согласованной матрицы. Он вполне четко определяет понятие «слабо согласованная» и никогда не признаёт, что матрица может являться таковой полностью. В трех словах – матрицы усиливают неоднозначность. Кокс резюмирует свою позицию, говоря: «Даже теоретически не существует однозначного способа составления таких рейтингов в виде матрицы рисков, когда лежащие в ее основе степени серьезности неопределенны».
Не все методы балльных оценок задействуют матрицы риска. Выше уже говорилось, к примеру, что в методах, рекомендуемых OWASP для получения общей оценки риска, просто суммируются несколько порядковых шкал. И тогда же мы упомянули, что этот и другие подобные методы в настоящее время являются приоритетными в сфере безопасности в различных системах оценки, включая общую систему оценки уязвимостей (Common Vulnerability Scoring System, CVSS), общую систему оценки слабых мест (Common Weakness Scoring System, CWSS), общую систему оценки конфигураций (Common Configuration Scoring System, CCSS) и т. п. Все эти системы измерений применяют неподходящие математические вычисления к нематематическим объектам с целью обобщения некоего понятия риска. У них нет тех проблем, что у матрицы рисков, но есть другие, например невозможность с точки зрения математики применять операции сложения и умножения к порядковым шкалам. Как отмечается нами в презентациях на данную тему, это все равно что сказать «птицы, умноженные на оранжевый, плюс рыбы, умноженные на зеленый, равно высокий». И, конечно же, методы, подобные применяемым в CVSS, столкнутся с теми же проблемами психологии восприятия шкал (обсуждались выше), что и любая матрица рисков.
Упоминавшиеся выше эффекты накладываются друг на друга, т. е. вместе они сильнее затрудняют управление рисками, чем по отдельности. Данные, полученные из множества источников, показывают, что объединять шкалы и матрицы риска вредно.
В 2008 и 2009 годах Хаббард собрал данные о рисках кибербезопасности от пяти разных организаций. Они предоставляли ответы нескольких сотрудников, каждый из которых давал десятки оценок различных рисков. В общей сложности было получено чуть более 2000 отдельных ответов. Хаббард обнаружил, что ответы можно было четко поделить на группы – примерно 76 % ответов соответствовали одному из двух значений шкалы («3» или «4» по пятибалльной шкале). Иначе говоря, большинство ответов сводилось к выбору между двумя конкретными значениями шкалы из пяти. Матрица, которая должна была быть 5 × 5, чаще всего оказывалась матрицей 2 × 2. Прямым результатом группировки стало снижение разрешающей способности, т. е. увеличение ошибки округления и уменьшение объема информации. Объединив результаты с данными другого исследования, Хаббард предположил, что группировка может только усугубить проблемы, обнаруженные в предыдущих экспериментах.
Совместно с психологом Диланом Эвансом Хаббард опубликовал в 2010 году полученные результаты в журнале