Как измерить все, что угодно

На мой взгляд, единственное наблюдаемое достоинство систем условных взвешенных коэффициентов то, что менеджерам обычно хватает здравого смысла игнорировать полученные таким образом результаты. Я обнаружил, что лица, принимающие решения, отвергают итоги подобных расчетов очень часто, и мне не удалось найти ни одного доказательства того, что эти баллы когда-либо способствовали принятию совершенно иного или даже просто более удачного решения. И это притом что менеджеры нередко тратят массу времени и сил на разработку и применение своих условных шкал.

Один из таких методов иногда используется в информационных технологиях под ошибочным названием прикладной информационной экономики[47]. Его представляют как объективный, систематизированный и формализованный подход, однако, фактически, он не основан ни на одной общепризнанной экономической модели и на самом деле не может считаться относящимся к экономике. При ближайшем рассмотрении его название оказывается совершенно неправильным. Гораздо точнее выглядит термин «метод расчета субъективных нескорректированных взвешенных коэффициентов для области ИТ».

Полученный этим методом итоговый показатель для оцениваемого ИТ-проекта не имеет смысла и с точки зрения финансов. Описательное определение баллов в каждой категории и весовые коэффициенты, приписываемые этим категорям, никак не привязаны к научным подходам — ни к теоретическим, ни к эмпирическим. На самом деле это всего лишь еще один метод исключительно субъективной оценки, не предполагающий, в отличие от метода Раша или модели линзы, корректировку ошибки. Многие из тех, кто рассчитывает взвешенные коэффициенты для информационных технологий, утверждают, что метод имеет свои преимущества, но доказательств этому пока нет.

Любопытно, что прикладная информационная экономика предполагает преобразование полезных и имеющих экономический смысл величин (например, ROI) в баллы. Этот процесс происходит следующим образом: отрицательной или нулевой ROI присваивается балл 0, ROI, составляющей от 0,1 до 299 % — балл 1, ROI от 300 до 499 % — 2 и т. д. Иными словами, скромная 5-процентная ROI обозначается таким же баллом, как 200-процентная. В более количественных методах определения приоритетности инвестиционных проектов подобная разница в доходности означала бы, что один проект намного предпочтительнее другого. А здесь два проекта, существенно и очевидно различающихся по доходности инвестиций, попадают в одну категорию. «Чистый эффект» от такой процедуры — «уничтожение» информации.

Того же мнения придерживается специалист по управлению информационными технологиями Барбара Макнарлин. Она проанализировала 25 разных способов оценки преимуществ, в том числе несколько методов взвешенных коэффициентов[48]. Макнарлин охарактеризовала эти методы как бесполезные, причем ни в одном из них не нашла научно-теоретической основы.

Пожалуй, лучше всего это сформулировал Пол Грей, книжный обозреватель «Journal of Information Systems Management». В своей рецензии на книгу «Information Economics: Linking Business Performance to Information Technology» («Информационная экономика: влияние информационной технологии на эффективность компании»), одну из важнейших работ по методу прикладной информационной экономики, Грей написал: «Не обращайте внимания на слово „экономика“ в названии. Все, что в этой книге есть экономического, — это приложение о графиках затрат»[49]. Желая похвалить, Грей на самом деле указал на основной недостаток данного подхода: он не имеет никакого отношения к экономике.

Еще один распространенный вариант метода расчета условных взвешенных коэффициентов называется методом анализа иерархий (analytical hierarchy process, АНР). От других аналогичных методов он отличается в двух отношениях. Во-первых, АНР основан на ряде попарных сравнений, а не на прямом присваивании баллов каким-либо характеристикам. При этом экспертов спрашивают, является ли один критерий «намного более предпочтительным», «чуть более предпочтительным» и т. д. по сравнению с другим, и таким же образом разные варианты выбора сравниваются между собой по одному критерию. Например, возникает вопрос: что предпочтительнее — «стратегические преимущества» нового товара А или «стратегические преимущества» нового товара В? Следом идет другой: что предпочтительнее — «риск, связанный с разработкой» товара А или «риск, связанный с разработкой» товара В? Наконец, требуется найти ответ, что важнее — «стратегические преимущества» или «риск, связанный с разработкой нового товара». Таким образом, сначала эксперты сравнивают проекты по одному критерию, а затем сопоставляются сами критерии. Попарные сравнения не требуют разработки условных шкал, что можно считать преимуществом данного метода. Однако, как ни странно, при использовании АНР результаты сравнений конвертируются в условные баллы.