Как измерить все, что угодно

Совсем иное поведение наблюдается, когда задача состоит в том, чтобы на этапе обоснования проекта определить точные значения, особенно когда эксперт участвует в нем и заинтересован в результате. Оно отличается от действий калиброванного эксперта, указывающего первоначальный 90-процентный доверительный интервал. Один или несколько собравшихся для анализа проекта специалистов рассматривают со всех точек зрения каждую оценку. Вынуждаемые обстоятельствами выбрать точные значения, несмотря на всю имеющуюся неопределенность и условность ситуации, они задаются вопросом: «Каким должно оказаться это значение, чтобы оно стало приемлемым для других и в то же время подтверждало правоту моей прежней точки зрения?» Это почти то же самое, как если бы мы использовали термины «консенсус» и «факт». Обсуждавшийся ранее эксперимент Эша со стадным эффектом — лишь один из недостатков подобного подхода.

Еще одна настораживающая тенденция в принятии решений менеджерами компаний — использование взвешенных показателей такого типа, когда и сами показатели, и присвоенные им веса — субъективные, произвольные величины, а не использовавшиеся Доузом z-значения. Как и обсуждавшиеся ранее простые линейные модели, такие методы могут поставить перед менеджером портфеля проектов задачу ранжировать их по категориям типа «организационный риск» или «стратегическое соответствие» и т. д.

Подобные методы в большинстве своем предполагают использование от 4 до 12 категорий оценки, а некоторые — больше 100. Обсуждаемому проекту обычно присваивают балл, например по пятибалльной шкале, для каждой категории. Сумму баллов затем умножают на весовой коэффициент (иногда тоже составляющий от 1 до 5), отражающий относительное значение данной категории. Обычно в компаниях используемые весовые коэффициенты стандартизируют, чтобы можно было оценивать проекты по сопоставимым критериям. Скорректированные на весовые коэффициенты баллы затем суммируют и получают общий показатель обсуждаемой программы.

Присваивание баллов — способ выражения сравнительного значения, предпочтительности и т. д. без помощи реальных единиц измерения. Хотя подсчет баллов справедливо считают разновидностью порядкового измерения, обсуждавшегося в главе 3, я всегда считал, что он в определенном смысле предполагает подмену действительного желаемым, что вносит дополнительные ошибки по следующим четырем причинам.

1. Нередко баллы используют в ситуациях, где вполне оправдано использование обычных количественных показателей, которые были бы намного информативнее (например, иногда в баллы пересчитывают доходность инвестиций или риск вместо того, чтобы использовать эти параметры, как это сделал бы актуарий или финансовый аналитик).

2. Баллы привносят свой собственный тип ошибки в процесс оценки, так как зачастую показатели, определенные по разным шкалам, несопоставимы и неоднозначны. Рассмотрим, например, число звезд, которое кинокритик может присвоить кинофильму или ресторанный обозреватель — ресторану (в первом случае обычно используют шкалу четыре звезды, а во втором — пять звезд). В данной ситуации две звезды не означают, что продукт или услуга в два раза лучше, чем то же, но с одной звездой, а посещение четырех однозвездочных кинофильмов совсем не равнозначно просмотру одного четырехзвездочного.

3. Баллы бывают информативными, если являются элементами опроса большой группы людей (например, при проведении исследования по определению степени удовлетворенности потребителей). Однако они существенно теряют информативность, если используются индивидуумами для оценки возможностей, стратегий, инвестиций и т. п.: людей редко удивляют те баллы, которые они присваивают сами.

4. Баллы лишь отражают порядковый номер, но многие пользователи увеличивают ошибку тем, что расценивают их как реальные величины. Как уже говорилось, более высокое порядковое число означает «больше», но не показывает, насколько больше. Умножение и суммирование порядковых чисел иногда дает результаты, о которых пользователь и не догадывается. Вот почему этот метод может привести к непредвиденным последствиям.

Стоит подробнее остановиться на том, чем такие баллы отличаются от z-показателей, использованных Робином Доузом, а веса — от весов, получаемых с помощью модели линзы. Во-первых, в «неправильных» линейных моделях Доуза и оптимизированных моделях линзы Брунсвика применяются исходные данные, выраженные в реальных единицах измерения (например, продолжительность реализации ИТ-проекта в месяцах или средний балл поступающего в аспирантуру), а вовсе не баллы, присвоенные экспертами по некоей произвольно выбранной шкале. Во-вторых, такими баллами не были и веса, использовавшиеся Доузом и Брунсвиком. Психология применения произвольных шкал гораздо сложнее, чем кажется. Когда эксперты выбирают веса по пятибалльной шкале, они вовсе не имеют в виду, что балл 4 вдвое важнее балла 2. Из-за этой неоднозначности пятибалльная (семибалльная или какая угодно другая) шкала только добавляет ошибку к процессу оценки.