Шум. Несовершенство человеческих суждений

Смещение в некотором множестве поддающихся проверке суждений определяется разницей между средним значением суждений и соответствующим истинным значением. Подобная арифметика невозможна, если не существует способа проверить истинность суждений. Например, мы никогда не вычислим справедливый размер страховой премии, определенной андеррайтером по какому-либо риску. Точно так же мы далеко не всегда сумеем понять, насколько на самом деле справедлив приговор. Не располагая подобными возможностями, мы чаще всего допускаем, что смещение отсутствует, а среднее мнение нескольких судей максимально приближается к абсолютной истине. Удобнее всего (хотя и не всегда правильно) считать именно так.

Определить степень шума в системе позволяет ревизия шумовых помех – своеобразный эксперимент, в ходе которого несколько профессионалов выносят независимые суждения по одному и тому же вопросу (реальному или вымышленному). Для измерения уровня шума не требуются знания об истинных значениях. Примерно так же мы сможем оценить разброс точности стрелков, посмотрев на мишень с обратной стороны. Ревизия шумовых помех способна измерить степень вариативности суждений в самых разных системах – от рентгенологии до уголовного правосудия. Порой подобная ревизия обратит наше внимание на недостаточность специфических навыков и неэффективность обучения. Возможна и количественная оценка – например, в случае, когда андеррайтеры, работающие в команде, расходятся в прогнозе уровня риска.

Какая из проблем важнее – шум или смещение? Все зависит от конкретной ситуации. И все же, скорее всего, верным ответом станет «шум». Смещение и шумовые помехи вносят равный вклад в итоговую ошибку (MSE), когда среднее значение ошибки (смещение) равно стандартному отклонению (шуму). При нормальном распределении суждений (колоколообразная кривая) влияние шума и смещения будет тождественно, если 84 % суждений находятся выше (или ниже) точки истинного значения. Смещение в данном случае будет существенным, и в профессиональных областях это нередко бросается в глаза. Если же смещение будет меньше величины одного стандартного отклонения, основным источником итоговой ошибки следует признать шум.

Шум – серьезная проблема

Вариативность как таковая не является проблемой при вынесении некоторых видов суждений; более того, она даже приветствуется. Разнообразие мнений дает импульс для появления новых идей и вариантов, нестандартное мышление – важнейший ресурс для инновационных идей. Разброс мнений в среде кинокритиков говорит лишь о присущей этой сфере особенности, но никак не об ошибке. Противоположные точки зрения трейдеров двигают рынки. Различные подходы к стратегиям в группе конкурирующих молодых предприятий позволяют рынкам выбрать наиболее достойное из них. Что же касается вопросов суждения – в данном контексте системный шум всегда проблематичен. Если два доктора ставят вам разные диагнозы, как минимум один из них не прав.

К написанию данной книги нас побудили удивительно широкое распространение системного шума и причиняемый им вред. Все куда серьезнее, чем принято думать. Мы приводили примеры из многих областей профессиональной деятельности – из бизнеса и медицины, криминалистики и прогнозирования, оценки эффективности персонала и политики. Отсюда наш вывод: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете.

Огромная роль шума в совершаемых нами ошибках противоречит общему убеждению в том, что несистемные ошибки не имеют большого значения, если они взаимно уравновешивают друг друга. Это заблуждение! Бессмысленно заявлять, что пули, попавшие в разные сектора мишени, в среднем легли близко к «яблочку». Если один кандидат получил по итогам интервью завышенную оценку, а рейтинг другого, напротив, занизили – вы можете нанять не того человека, который вам требуется. Если завышен размер страховой премии по одному полису, а по другому, наоборот, занижен, обе ошибки дорого обойдутся страховой компании: одна заставит страховщика потерять свою долю рынка, вторая приведет к убыткам.

Подводя итог, скажем: если мнения разнятся без серьезных на то оснований, будьте уверены – в ваши рассуждения вкралась ошибка. Шум, безусловно, наносит вред и в тех случаях, когда истинность суждений не поддается проверке и ошибку невозможно вычислить. Несправедливо, когда к людям в одной и той же ситуации относятся по-разному. Система, внутри которой профессионалы не могут прийти к согласию, теряет доверие.

Разновидности шума