Шум. Несовершенство человеческих суждений

Магическое число не является абсолютным. Тренированный человек способен на более точное распределение по иерархическим группам. Например, мы можем отчетливо выделить несколько категорий среди мультимиллионеров по стоимости их активов, а судьи могут классифицировать преступления по степени тяжести в каждой из множества категорий, в свою очередь упорядоченных по серьезности. Тем не менее, чтобы этот процесс работал, категории должны заведомо существовать в четко определенных границах. В процессе присвоения линиям номеров в зависимости от длины вам не придет в голову разделить более длинные и более короткие на две различные категории. В режиме быстрого мышления процесс классификации сознательно не контролируется.

Есть способ преодолеть ограниченность разрешающей способности шкал: вместо абсолютных значений использовать сравнения. Мы намного лучше умеем сравнивать оценки, чем размещать их на шкале.

Как вы поступите, если вам потребуется дать оценку большому количеству ресторанов или певцов по двадцатибалльной шкале? Конечно, с пятибалльной шкалой работать проще, а обеспечить идеальную достоверность с двадцатибалльной невозможно. (Легко присвоить «Пиццерии Джо» три звезды, но как сделать выбор между одиннадцатью или двенадцатью?) Есть простое, хотя и отнимающее много времени решение. Для начала распределяем рестораны или певцов по пяти категориям, оценивая их по пятибалльной шкале. Затем ранжируем их внутри каждой категории, что обычно не должно составлять труда: вы прекрасно знаете, кого предпочтете: «Пиццерию Джо» или «Бургеры Фреда», Тейлор Свифт или Боба Дилана, хотя и определили их в одну категорию. Чтобы облегчить задачу, проще выделить четыре уровня внутри каждой категории. Теперь можно отсортировать по степени неприязни даже тех исполнителей, которых вы не любите.

Психология данного упражнения очевидна. Банальное сравнение между подлежащими оценке объектами способствует более точной классификации, чем присвоение рейтинга каждому объекту по отдельности. То же самое и с оценкой длины линий: ваша способность последовательно сравнивать их длины намного лучше, чем способность распределять по категориям; а если вам покажут две линии одновременно, точность будет еще выше.

Преимущество сравнительных оценок распространяется на многие области применения. Если у вас есть грубое представление о состоятельности разных людей, лучше сравнивать их в пределах одной категории, чем оценивать каждого в отдельности. Если вы проверяете школьные сочинения, более целесообразно разложить их по порядку от лучшего к худшему, чем читать и оценивать каждое. Сравнительные оценки более точны, чем категорические или абсолютные. Как показали вышеприведенные примеры, они также более трудоемки и требуют бо́льших затрат времени.

Оценка каждого объекта в отдельности по шкалам, однозначно принадлежащим к сравнительным, сохраняет некоторые преимущества сравнительных оценок. В некоторых ситуациях, особенно в образовании, в рекомендациях для кандидатов на зачисление или повышение в должности часто требуется поместить кандидата в «топ 5 процентов» или «топ 20 процентов» определенной группы, например «студентов вашего курса» или «программистов с одинаковым опытом работы». Эти рейтинги редко заслуживают того, чтобы принимать их всерьез, потому что бессмысленно ожидать корректного применения шкалы от того, кто дает характеристику. А вот в других ситуациях это небесполезно: когда менеджеры оценивают сотрудников или когда аналитики просчитывают инвестиции, кандидат, которого 90 % экспертов поместили в «топ 20 процентов», заслуживает особого внимания. Использование сравнительных оценок является одним из средств сокращения шумовых помех, которые мы обсудим в пятой части книги.

Многие задачи по вынесению оценок требуют сопоставления отдельных случаев с какой-либо категорией на шкале (например, семибалльной шкале согласия) или присвоения одной из расположенных по порядку характеристик (например, «маловероятно» или «крайне маловероятно» при оценке шансов наступления события). Этот тип сравнения изобилует шумом, поскольку является слишком грубым. Люди могут колебаться в выборе отметок на шкале, даже если они в принципе согласны с оценкой. Методика, которая вынуждает применять исключительно сравнительные оценки¹⁷⁰, вероятнее всего, должна сократить шум. В следующей главе мы проанализируем более подробно, каким образом использование неподходящей шкалы может увеличить шум.

К разговору о сравнениях

«Мы оба оценили фильм как очень хороший, хотя вы, как мне кажется, получили от просмотра намного меньше удовольствия, чем я. Мы использовали одни и те же слова, а вот шкалы у нас, похоже, разные».

«Мы предполагали, что второй сезон сериала станет не менее захватывающим, чем первый. Вот вам и сравнительный прогноз! Он подвел нас!»

«Трудно оценить каждое сочинение само по себе. Не попробовать ли вам разложить сочинения по порядку от лучшего к худшему?»

Глава 15 Шкалы