Шум. Несовершенство человеческих суждений

Одна доля реальных сигналов на три доли шума

По результатам опыта служебных аттестаций опубликованы тысячи аналитических статей, и большинство авторов приходит к выводу³⁵¹ об огромной доле шума в оценках. В основном тревожные сигналы касаются метода «360 градусов», когда одного и того же работника по самым разным параметрам оценивают многочисленные эксперты. Не станем утверждать, что итоги подобных аттестаций обнадеживают. Исследования нередко говорят о том, что истинная дисперсия (то есть диапазон реальных оценок деловых качеств конкретного человека) составляет лишь от 20 до 30 % разброса оценок. Остальные 70–80 %³⁵² являются системным шумом.

Откуда берется шум? Благодаря различным исследованиям³⁵³, посвященным дисперсии в оценках эффективности работы персонала, мы знаем, что в данном случае представлены все компоненты системного шума.

В контексте оценки деловых качеств каждый из них выделить несложно. Допустим, у нас два представителя аттестационной комиссии: Линн и Мэри. Линн снисходительная, а Мэри строгая (то есть Линн в среднем присваивает каждому аттестуемому более высокий балл); соответственно, здесь мы сталкиваемся с межэкспертным шумом. Как уже отмечалось при обсуждении судей, подобного рода шум может означать, что у Линн и Мэри действительно разное восприятие либо восприятие идентично, однако каждый из участников аттестационной комиссии по-своему использует шкалу оценки.

Итак, допустим, вас аттестует Линн. Она изначально невысокого мнения о вас, равно как и о вашем вкладе в работу компании. В таком случае ее обычная снисходительность компенсируется невольной негативной реакцией. Назовем подобную реакцию эксперта на конкретного работника стабильной моделью восприятия. Данная модель четко ассоциируется у Линн с вашей личностью и влияет на ее суждение, в чем мы и видим источник внутриэкспертного шума.

Допустим, что в течение рабочего дня Мэри сообщают: кто-то задел ее машину на служебной парковке. Заметим, что к этому моменту она еще не успела заполнить итоговый протокол оценки. Или предположим, Линн только что начислили весьма щедрую премию и она приступила к вашей аттестации в отличном расположении духа. Безусловно, каждое из этих событий генерирует ситуативный шум.

Сколько исследований – столько и мнений о разбивке системного шума на три указанных нами компонента (межэкспертный, внутриэкспертный и ситуативный). Пропорции варьируют в зависимости от того, за какой компанией мы наблюдаем, и мы вполне способны определить причины подобных вариаций. Так или иначе, каждая из разновидностей шума – явление нежелательное. Основная идея представляется довольно простой: оценка деловых качеств куда меньше отражает реальную эффективность работника, чем нам хотелось бы. В одном из аналитических обзоров мы прочтем следующее заключение: «Связь между реальной эффективностью профессиональной деятельности³⁵⁴ и ее оценкой чаще всего слаба или, по крайней мере, отличается неопределенностью».

Добавим, что существует множество причин, по которым итоговая оценка в конкретной организации не соответствует фактической эффективности аттестуемого работника³⁵⁵. Например, организация изначально не ставит перед собой задачи определения точных рейтингов, поскольку аттестация проводится исключительно для поддержания рабочего тонуса сотрудников³⁵⁶. Могут присутствовать и другие мотивы: эксперт намеренно завышает оценку, чтобы избежать последующего неприятного разговора с аттестуемым, либо стремится добавить баллов человеку, давно рассчитывающему на повышение по службе. Парадоксально, что высокая оценка может даже объясняться желанием оценивающего избавиться от неэффективного члена команды, способствуя его переводу в иное подразделение.

Приведенные в пример расчеты, безусловно, искажают итоговый рейтинг, однако не являются единственной причиной возникновения шумового фона. Об этом говорит и эксперимент, проведенный в естественных условиях: некоторые системы обратной связи, относящиеся к модели «360 градусов», используются исключительно в качестве стимулов развития. Респондентам сообщают, что оценка не будет использована для их аттестации. Если оценивающий верит подобному утверждению, то не станет ни завышать, ни занижать оценку. Выясняется, что в результате подобного подхода значительно меняется качество отзыва, и все же уровень системного шума остается высоким, обеспечивая больший разброс оценок, нежели предполагается реальной эффективностью оцениваемого работника. Даже в случаях отзывов сугубо в целях саморазвития³⁵⁷ в оценках по-прежнему присутствует много шума.

Старая проблема: в поисках решения