Шум. Несовершенство человеческих суждений

Время для уверенных прогнозов пока не настало. Понятно одно: если говорить о медицине в глобальном смысле, то методические рекомендации доказали свою эффективность в деле устранения смещения и шума. Подобного рода документы помогают и врачам, и медицинским сестрам, и пациентам, способствуют улучшению здоровья общества, и медики решительно в них нуждаются³⁴⁸.

К разговору о методических рекомендациях в медицине

«Шум в медицинской среде куда выше, чем мы думаем. Специалисты порой расходятся во мнениях по поводу диагностики рака и сердечно-сосудистых заболеваний – даже при оценке рентгенограмм. Это означает, что лечение, назначенное пациенту, сродни результату лотереи».

«Доктора уверены, что поставят один и тот же диагноз независимо от дня недели или времени дня. Однако выясняется: слова врачей расходятся с их делами – все зависит от того, насколько они устали».

«Методические рекомендации в медицине помогут врачам снизить вероятность ошибок, которые дорого обходятся пациентам. Подобные документы полезны всему медицинскому сообществу – ведь они уменьшают вариативность суждений».

Глава 23 Определение шкалы оценки профессиональной эффективности

Начнем с упражнения. Выберите трех знакомых вам людей – коллег или приятелей. Оцените каждого из них по шкале от 1 до 5. Примем балл 1 за самый низкий, балл 5 – за наивысший. Рассматривать будем три характеристики: доброту, интеллект и трудолюбие. Теперь попросите человека, который также хорошо знает ваших кандидатов, – супругу, коллегу, лучшего друга – проделать ту же процедуру с теми же людьми.

Высока вероятность, что ваш помощник в некоторых случаях выставит иной балл. Если есть желание – обсудите причины подобных расхождений. Скорее всего, выяснится, что вы использовали шкалу по-разному. Это и есть межэкспертный (в данном случае межличностный) шум. Возможно, вы считаете, что наивысшую оценку получит лишь человек, обладающий действительно выдающимися качествами. С другой стороны, ваш напарник уверен, что для выставления отличной оценки качества просто должны быть развиты выше среднего. Не исключено, что у вас с помощником разное мировоззрение: например, каждый из вас по-своему представляет себе доброту.

Теперь вообразите, что результатом вашего теста станет продвижение человека по службе или иные бонусы. Допустим, вы с напарником участвуете в оценке эффективности профессиональной деятельности работников какой-либо компании, где в шкалу ценностей включены доброта, интеллект и трудолюбие. Изменится ли выставленный вами балл? Будет ли он так же высок? А может, станет еще выше? Как бы вы ни ответили на наш вопрос, разница в целях исследования и особенностях использования измерительного инструмента наверняка создаст шумовой эффект. И в самом деле, обсуждаемые нами расхождения регулярно наблюдаются при оценке деловых качеств в зависимости от установок, принятых в той или иной компании.

Требуется суждение…

Оценка эффективности работника регулярно производится почти в каждой крупной компании, и сотрудники совсем не в восторге от подобного испытания. Вспоминается заголовок в одной из газет³⁴⁹: «Исследование показало, что практически каждый человек ненавидит аттестации». Добавим, что любой работник знает (во всяком случае, так нам представляется), что процесс аттестации подвержен как шуму, так и смещению. Кстати, почти никто из нас не подозревает, сколько шума производит сам.

В идеальном мире оценка эффективности не потребовала бы вынесения суждения; достаточной основой для оценки деловых качеств стали бы объективные факты. Однако большинство современных организаций разительно отличается от булавочной фабрики Адама Смита, где вклад каждого работника можно было точно измерить. Как сегодня оценить вклад в общее дело финансового директора или главы исследовательского отдела? Современные работники умственного труда работают в условиях многозадачности, и порой цели, на которые направлена их деятельность, противоречивы. Сосредоточиться лишь на одной из них – значит исказить оценку и нанести ущерб системе стимулирования. Например, количество пациентов, которых доктор принимает за день, безусловно, является важным фактором эффективности работы лечебного заведения. Тем не менее вы не захотите, чтобы врач сосредоточился исключительно на объеме, не станете оценивать его труд и поощрять лишь по количественному признаку. Каждый количественный индикатор работы – объем продаж или число строк программного кода – следует рассматривать в контексте. Клиент бывает простым, а бывает и сложным; не все проекты по разработке программного обеспечения идентичны по значимости. Подобные дилеммы говорят о том, что многих работников нельзя оценить комплексно лишь на основании объективных показателей производительности труда. Именно поэтому сегодня широко распространены аттестации с применением методов суждения³⁵⁰.