Шум. Несовершенство человеческих суждений

Каковы бы ни были недостатки методики, отметим, что ранжирование содержит меньше изъянов, нежели индивидуальные рейтинги. В примере с компенсацией морального ущерба мы наблюдали, что суждения относительные содержат меньше шума, чем абсолютные, и данная закономерность также прослеживается в оценке деловых качеств работников³⁶².

Рис. 17³⁶³. Примеры абсолютной и относительной шкалы оценки

Причины подобной разницы мы поймем, посмотрев на рисунок 17, представляющий нашему вниманию два примера шкалы оценки работников. В секции А служащий оценивается по шкале оценок в абсолютном выражении. Здесь от оценивающего требуется выполнить процедуру, которую мы называем «совмещением»: необходимо найти то значение, которое наиболее полно соответствует вашим впечатлениям от качества работы подчиненного. В секции Б, напротив, требуется сравнить вашего сотрудника с группой его коллег по одному параметру (в данном случае по надежности). Руководителя просят определить ранг сотрудника (или дать оценку в процентном выражении) в коллективе, используя процентильную шкалу. Мы видим, что начальник оценил по данной шкале трех подчиненных.

Подход, представленный в секции Б, имеет два преимущества. Во-первых, одновременное ранжирование всех сотрудников по одному критерию служит примером стратегии снижения шума, которую мы более подробно обсудим в следующей главе. Мы говорим о делении комплексного суждения на несколько элементов. Подобное структурирование представляет собой попытку ограничить влияние эффекта ореола, за счет которого баллы, присвоенные работнику по разным параметрам, колеблются в пределах узкой зоны значений. Разумеется, подобное структурирование работает лишь в случаях выполнения ранжирования отдельно по каждому критерию, как и указано в нашем примере. В случаях, когда ранжирование производят на основе неверно определенного общего суждения «о качестве работы», снизить влияние эффекта ореола не получится.

Во-вторых, как мы уже говорили в главе 15, ранжирование снижает воздействие и внутриэкспертного, и межэкспертного шума. Вероятность ошибки сильно уменьшится, если вы сравните эффективность двух членов вашей команды, и возрастет, если вы попытаетесь оценить каждого по отдельности. В данном случае важно отметить, что ранжирование механически устраняет межэкспертный шум. Если Линн и Мэри оценивают одну и ту же группу из двадцати работников (учитывая, что Линн снисходительнее своей коллеги), то средний индивидуальный рейтинг, определенный нашими дамами, будет отличаться, а вот средний результат ранжирования – нет. Что снисходительный, что строгий эксперт – в данном случае оба используют один и тот же подход.

Снижение шума является главной заявленной целью принудительного ранжирования, которое гарантирует, что каждый оценивающий эксперт в итоге приходит к одному и тому же среднему значению и идентичному распределению оценок. Ранжирование носит принудительный характер в случаях, когда распределение оценок строится на обязательном условии. Например, стандарты компании предусматривают, что не более 20 % работников может попасть в высшую категорию и не менее 15 % – в низшую.

Ранжируем без принуждения

В принципе принудительное ранжирование должно привнести долгожданные улучшения в систему оценки, и все же нередко подобная стратегия терпит крах. Мы не ставим перед собой задачу провести анализ всех возможных нежелательных эффектов (которые частенько больше связаны со слабым качеством исполнения, чем с самой концепцией). И все же выделим два нюанса, которые послужат нам уроком.

Первый из них – смешение оценки эффективности в абсолютном и относительном выражении. Разумеется, 98 % всех менеджеров компании не могут попасть в группу лучших работников, если она по условиям задачи составляет не более 20 % от общей численности (или 50 %, или даже 80 %). С другой стороны, каждый из них вполне может «соответствовать ожиданиям», если подобные ожидания определены предварительно, причем в абсолютном выражении.

Многие руководители не согласятся с утверждением, что практически все сотрудники соответствуют ожиданиям. Если подобное происходит, говорят они, значит, ожидания занижены – вероятно, по причине царящей в компании самоуспокоенности. Призна́ем, что подобная трактовка имеет право на жизнь, однако возможно и другое: большинство работников действительно удовлетворяют высоким требованиям. В самом деле, именно такого результата мы и ожидаем от действительно эффективной компании. Вряд ли вы с усмешкой заметите, что руководство NASA снисходительно подходит к процедурам оценки эффективности, если вам скажут, что все космонавты, вернувшиеся из успешного полета в космос, полностью соответствовали ожиданиям.