Как измерить все, что угодно

Первые три вопроса помогают понять, что представляет собой объект оценки в рамках решений, которые планируется принимать по результатам измерения. Если эти результаты вообще имеют значение, то только потому, что они понятным образом влияют на решения и линию поведения. Когда не удается установить, какие решения будут затронуты итогами задуманного измерения и способ их воздействия, значит, это измерение просто не имеет никакой ценности.

Например, вы захотели оценить качество продукта. Тогда придется выяснить, на какие факторы повлияет результат оценки, и ответить на более общий вопрос о том, что вообще подразумевается под качеством продукта. Вы хотите использовать полученную информацию для решения об изменении действующего производственного процесса? Если да, то насколько низким должно оказаться качество продукта, чтобы это решение было принято? Вам нужны данные о качестве, чтобы рассчитать премии менеджеров по программе качества? Если да, то по какой формуле будут рассчитываться эти премии? И конечно, прежде всего ответы на вопросы зависят от того, какой смысл вы вкладываете в понятие «качество продукта».

Когда в конце 1980-х годов я работал в компании Coopers & Ly-brand, мы консультировали небольшой региональный банк, решивший упростить свои процессы отчетности. Банк использовал систему микрофильмирования для хранения отчетов из филиалов (их поступает более 60 еженедельно). Большинство отчетов были необязательными и составлялись не по требованию регулирующих органов, а потому, что кто-то из руководства считал эту информацию необходимой. В наши дни любой хороший программист на Oracle может сказать, что готовить и хранить такие справки очень легко, но в то время на составление отчетов уходила масса времени. Когда я спросил менеджеров банка, какие решения принимаются на основе этих документов, они смогли вспомнить лишь несколько случаев, когда необязательная отчетность изменила или только могла изменить сложившееся мнение. Неудивительно, что отчеты, не использовавшиеся непосредственно для принятия реальных управленческих решений, редко даже просматривали. Кто-то когда-то попросил составлять их, но первоначальная цель была, по всей видимости, забыта. Осознав, что многие отчеты совершенно не нужны для принятия решений, менеджеры поняли и то, что эти отчеты не имеют никакой ценности.

Годы спустя аналогичный вопрос возник у сотрудников аппарата министра обороны (Office of the Secretary of Defense, OSD). Они решили выяснить, какую ценность имеют многочисленные отчеты, составляемые еженедельно и ежемесячно. Когда я попросил их назвать хотя бы одно решение, принимаемое на основе каждого отчета, они обнаружили, что многие из них вообще не используются. Информационная ценность этих отчетов тоже оказалась нулевой.

Прежде чем выбрать конкретный способ измерения, вы должны задать себе еще два вопроса: что известно об объекте измерения сейчас, и какова стоимость информации, которую предполагается получить? Знать объем затрат, безусловно, следует заранее, ведь выбор метода оценки качества зависит от того, стоят эти сведения 10 тыс. или 10 млн дол. Но определить стоимость информации можно только тогда, когда станет ясно, что мы знаем в настоящий момент и как результаты оценки повлияют на конкретные решения.

В следующих главах мы обсудим несколько примеров, связанных с поиском ответов на вопросы, перечисленные выше. Рассказывая о проблемах этапа, предшествующего измерению, мы покажем, что ответы на эти вопросы, в частности о неопределенности, риске и стоимости информации, сами по себе являются полезными оценками.

Уточним терминологию: что на самом деле означают понятия «неопределенность» и «риск»

Как уже говорилось, прежде чем приступить к измерению, целесообразно определить, о чем, собственно, идет речь и почему это нас интересует. Хороший пример задачи по измерению, с которой может столкнуться любая компания и которая требует существенных предварительных уточнений, — это оценка надежности информационных технологий. Приступая к решению этой задачи, мы должны задать следующие вопросы: «Что мы понимаем под безопасностью?» и «Какие решения зависят от этой оценки?»

Для большинства людей повышение безопасности означает не только рост числа работников, прошедших соответствующее обучение, или число компьютеров, на которых установлено новое защитное программное обеспечение. Когда безопасность повышается, какие-то риски должны снижаться. Раз это так, нам нужно также знать, что подразумевается под словом «риск». Вообще-то, именно поэтому я и начинаю с примера, связанного с надежностью информационных технологий. Уточнение этой задачи требует того, чтобы мы вместе выяснили смысл понятий «неопределенность» и «риск». И то и другое не только поддается измерению, но и служит ключом к пониманию измерения в целом.