Как измерить все, что угодно

Расскажем для сравнения о еще одном подходе, как будто более эффективном, чем все перечисленные методы, — объективной оптимизированной линейной модели. В отличие от других обсуждавшихся в этой главе способов, он никак не зависит от человеческих суждений и поэтому обычно дает намного лучшие результаты. Обычно мы предпочитаем его, но во многих случаях, когда приходится количественно оценивать то, что «не поддается измерению», необходимые для этого подробные, объективные данные за прошлые периоды получить невозможно. Отсюда возникает потребность в таких методах, как модели линзы, Раша и т. д.

В главе 9 мы обсуждали способы проведения регрессионного анализа, нужные, чтобы выделить и оценить эффекты от многочисленных переменных. Имей мы больше данных за прошедшие периоды по некоей периодически возникающей проблеме, полную документацию по каждому фактору, выраженному в реальных единицах измерения (а не в баллах условной шкалы), и возможность зарегистрировать фактические результаты, можно было бы построить «объективную» линейную модель.

Если модель линзы выявляет корреляцию между исходными переменными и экспертными оценками, то объективная модель находит связь между этими переменными и фактическими результатами прошлых периодов. Во всех случаях применения модели линзы, перечисленных в рисунке 12.2, на основе прошлой информации была построена регрессионная модель. Например, врачам были предоставлены медицинские данные о больных раком, а затем на основе оценок их ожидаемой продолжительности жизни была построена модель линзы. Но помимо этого за пациентами продолжали наблюдать и определять их фактическую продолжительность жизни. И если погрешность результата, полученного с помощью модели линзы, оказалась всего на 2 % меньше человеческого суждения, то ошибка оценки на базе объективной модели была меньше уже на 12 %. Средняя погрешность оценок, полученных во всех случаях применения модели линзы (см. рис. 12.2), была на 5 % меньше ошибки мнений экспертов, а средняя ошибка объективной модели — на 30 %. Конечно, даже объективные линейные модели не являются панацеей от всех бед. Как мы говорили в предыдущих главах, обычно дальнейшее разложение задачи на составляющие позволяет снизить неопределенность еще больше. Если бы мы расположили все эти методы в определенном порядке, так, чтобы на одном конце спектра оказались простые экспертные оценки, а на другом — объективная линейная модель, то получили бы следующую картину (см. рис. 12.5).

Несмотря на свои недостатки, описанные ранее методы оценки всегда эффективнее простых экспертных мнений. Такие методы, как модели Раша и линзы, устраняют основные погрешности человеческих суждений и превращают эксперта в гибкий, калиброванный и очень мощный инструмент измерения. По мнению многих специалистов по психологии принятия решений, оспаривать эффективность этих методов все равно, что стегать мертвую лошадь. Лучше всего это сформулировал Пол Мил, профессор психологии Университета штата Миннесота:

Нет ничего странного в том, что в социологии постоянно появляется столько качественно разных исследований, которые ведут к одному заключению. Когда вы проводите 90 исследований [теперь их уже около 150][51] с целью предсказания всего, что угодно, начиная от результатов футбольных матчей до диагноза заболевания печени, и когда вы вряд ли можете назвать хотя бы полдюжины работ, доказывающих, что экспертные оценки лучше, то уже пора сделать практические выводы[52].

Глава 13. Новые инструменты измерения для менеджмента

Интересно, что удалось бы измерить таким светлым головам, как Эратосфен, Энрико и Эмили, имей они в своем распоряжении обсуждавшиеся в данной книге методы. Не сомневаюсь, что много всего. Но, к сожалению, эти инструменты используются совсем не так часто, как могли бы, что, конечно, сказывается на качестве многих принимаемых важных и рискованных решений.

Говоря об инструментах измерения, я опять имею в виду не просто приборы, используемые для научных наблюдений. Я говорю о вещах, существование которых вам давно известно, но которые вы наверняка не считаете инструментами измерения. Сюда входят в том числе новые беспроводные устройства и даже Интернет.

Маркеры XXI века: в ногу с техническим прогрессом