Думай медленно… Решай быстро

Когда я только начинал преподавать, я оценивал письменные экзамены студентов обычным способом: брал работы по одной и читал все ответы данного студента сразу, выставляя оценки по ходу. Затем я вычислял средний балл и переходил к следующей работе. Однажды я заметил, что мои оценки в пределах одной работы были удивительно однородны. Я начал подозревать, что дело в эффекте ореола и что оценка ответа на первый вопрос непропорционально сильно влияла на общую. Механизм был прост: если я ставил за первый ответ высокий балл, то в дальнейшем, при появлении неопределенности в ответах на следующие вопросы, я толковал ее в пользу студента. Это выглядело разумно: студент, хорошо ответивший на первый вопрос, вряд ли мог допустить во втором глупую ошибку. Однако в моем способе обнаружилась серьезная проблема. Если студент на один вопрос отвечал хорошо, а на другой плохо, то – в зависимости от порядка проверки – он получал разные оценки. Я говорил студентам, что при оценке работы все вопросы равнозначны, но в действительности ответ на первый вопрос влиял на итоговую оценку намного больше, чем второй. Это было недопустимо.

Я изменил процедуру: вместо того чтобы читать каждую работу по отдельности, я проверял ответ на первый вопрос у всех студентов и выставлял оценки, а затем переходил к следующему. Результаты я записывал на предпоследней странице работы, чтобы во время чтения второго ответа меня подсознательно не сбивали уже выставленные оценки. Вскоре после перехода на новый метод я с тревогой отметил, что стал выставлять оценки с меньшей уверенностью, чем раньше, – из-за того, что часто испытывал непривычный дискомфорт. Разочаровавшись во втором ответе, я заглядывал на предпоследнюю страницу, чтобы записать плохую оценку, и временами обнаруживал там высокую оценку за первый вопрос. Также выяснилось, что мне хотелось уменьшить разницу между оценками, изменив еще не записанный результат, и с большим трудом удавалось придерживаться простого правила не поддаваться этому искушению. В моих оценках ответов одного и того же студента часто наблюдался значительный разброс. Отсутствие когерентности раздражало и вызывало во мне неуверенность.

Я стал менее доволен и менее уверен в своих оценках, однако понимал, что это служило хорошим знаком, свидетельствовало о том, что новый метод лучше. Радовавшее меня прежде сходство оценок оказалось ложным и давало ощущение когнитивной легкости; моя Система 2 с безмятежной радостью принимала окончательную оценку. Позволив оценке первого ответа влиять на оценку всех остальных, я не замечал несоответствия, проявлявшегося в отличных ответах студента на одни вопросы и плохих – на другие. Раздражающая несообразность, обнаружившаяся при переходе на новую процедуру выставления оценок, как выяснилось, существует в действительности: она отражала и то, что единичный ответ не может служить адекватной мерой знаний студента, и то, что мои оценки ненадежны.

Мой метод уменьшения эффекта ореола сводится к общему принципу: избавляйтесь от корреляции ошибок! Чтобы понять, как работает этот принцип, представьте, что множеству испытуемых показывают стеклянные банки, заполненные монетками, и просят оценить количество мелочи в каждой банке. Как объяснил Джеймс Шуровьески (James Surowiecki) в своей замечательной книге «Мудрость толпы», с такими заданиями участники, как правило, справляются плохо, но если объединить все единичные суждения, то результат будет неожиданно хорошим. Кто-то переоценивает настоящее количество, кто-то – недооценивает, но если все оценки усреднить, то результат выходит довольно точным. Механизм прост: все смотрят на одну и ту же банку, у всех оценок – одна основа, и все же ошибки каждого испытуемого не зависят от ошибок других и (в отсутствие систематических искажений) усредняются до нуля. Вдобавок магия уменьшения ошибки срабатывает только в том случае, когда наблюдения взаимно независимы, а ошибки не коррелируют. Если испытуемые находятся под влиянием общего для них предубеждения, то агрегация оценок его не уменьшит. По сути, если позволить наблюдателям влиять друг на друга, то размер выборки уменьшится, а с ним уменьшится и точность групповой оценки.

Для получения полезной информации из множественных источников следует обеспечить их независимость друг от друга. Это правило широко используют в полицейских расследованиях: многочисленным свидетелям происшествия не разрешают обсуждать его до дачи показаний. Цель не только в том, чтобы предотвратить сговор между злоумышленниками, но и в том, чтобы непредубежденные свидетели не повлияли друг на друга. Те, кто обмениваются впечатлениями, впоследствии будут склонны делать одинаковые ошибки в показаниях, уменьшая общую ценность предоставляемых ими сведений. Избавляйтесь от избыточности в ваших источниках.