Шум. Несовершенство человеческих суждений

Многие заинтересованы в прогнозировании будущей результативности сотрудников при приеме на работу – как в своей фирме, так и в других. Именно потому этот процесс широко используется специалистами в качестве примеров. Возьмем двух сотрудниц крупной компании. При приеме на работу Моника и Натали были протестированы специализированной консалтинговой фирмой, которая оценила по шкале от 1 до 10 баллов их лидерские качества, коммуникативные навыки, навыки межличностного общения, профессионально-технические компетенции и мотивацию карьерного роста (таблица 2). Ваша задача – спрогнозировать эффективность их работы два года спустя по шкале от 1 до 10.

Таблица 2. Два кандидата на руководящую должность

Большинство людей, столкнувшись с подобным типом проблем, пробегают глазами каждую строку и выдают немедленный ответ, зачастую после подсчета в уме среднего количества баллов. Если вы поступите так, то, вероятно, сделаете вывод, что Натали является более сильным кандидатом: она получила на 1–2 балла больше Моники.

Суждение или формула?

Ваш неформальный подход к данной проблеме известен как клиническое суждение. Вы обдумываете информацию, возможно, производите быстрые вычисления, сверяетесь со своей интуицией и выносите вердикт. По сути, в данной книге мы называем просто суждением именно клиническое суждение.

Теперь предположим, вы решали задачу по прогнозированию как участник эксперимента. Моника и Натали были выбраны из базы данных, включающей сотни менеджеров, принятых на работу несколько лет назад, которым присвоили рейтинги по пяти независимым параметрам. На базе этих рейтингов вы спрогнозировали эффективность их работы. Показатели трудовой деятельности менеджеров в новой должности в настоящее время доступны. Насколько близки эти показатели к вашей клинической оценке?

Данный пример представлен на основе реальных исследований прогнозирования эффективности⁹⁵ работы персонала. И будь вы участником исследования, вас, вероятно, не удовлетворил бы результат. Дипломированные психологи, привлеченные международной консалтинговой фирмой для этой работы, получили корреляцию 0,15 с реальной производительностью (ПС=55 %). Другими словами, когда они аттестовали одного из кандидатов как более сильного – как и мы на примере Моники и Натали, – то вероятность того, что выбранный кандидат показал бо́льшую эффективность, оказалась 55 %, что практически не точнее, чем при случайном выборе. Результат, мягко говоря, не впечатляет.

Возможно, вы объясните столь низкую точность тем, что данные рейтинги не подходят для прогнозирования. Тогда мы должны задаться вопросом: а много ли полезной для прогнозирования информации действительно содержат рейтинги кандидатов? Как они могут обусловить индекс предсказания, который будет иметь максимально возможную корреляцию с фактическим результатом?

На эти вопросы можно ответить стандартными статистическими методами. В представленном исследовании они добиваются оптимальной корреляции 0,32 (ПС=60 %) – что также не впечатляет, однако существенно выше, чем клиническая оценка.

Такая техника, называемая множественной регрессией, определяет показатель, являющийся взвешенным средним⁹⁶ прогностических факторов. С ее помощью вычисляется оптимальный набор весовых коэффициентов, призванный максимизировать корреляцию между общим прогнозом и целевой переменной. Оптимальные коэффициенты минимизируют MSE (среднеквадратическую ошибку) прогнозов – отличный пример доминирующей роли метода наименьших квадратов в статистике. Как можно ожидать, прогностический фактор, наиболее сильно коррелирующий со значением целевой переменной, получает больший коэффициент⁹⁷, а наиболее бесполезный получает коэффициент, равный нулю. Коэффициент может быть и отрицательным: количество неоплаченных штрафов за нарушение правил дорожного движения как фактор управленческого успеха, по всей вероятности, получит отрицательный коэффициент.

Использование множественной регрессии – один из примеров механического прогнозирования. Есть много видов механического прогнозирования, в диапазоне от простых правил («нанять любого, кто окончил среднюю школу») до сложнейших моделей с привлечением искусственного интеллекта. Однако линейные регрессивные модели (их еще называют «рабочими лошадками⁹⁸ исследований в области оценок и принятия решений») получили наибольшее распространение. Чтобы сократить количество профессионального жаргона в книге, мы будем называть линейные модели простыми моделями.

Исследование, которое мы проиллюстрировали на примере Моники и Натали, было одним из многих сопоставлений клинического и механического прогнозирования. Все они отличаются простой структурой⁹⁹:

▣ для прогнозирования конечного результата (эффективность работы одних и тех же людей) используется набор переменных (в нашем случае рейтинг кандидатов);