Здесь возникает важный вопрос. Как мы выявляем лучших из лучших в такой конкурентной среде? Как мы принимаем решения, когда измерить результативность не получается?
Судьи винодельческих конкурсов не справляются со своей задачей не потому, что им не хватает опыта, подготовки или основательности. Они не справляются в основном потому, что все выставляемые на конкурс вина превосходны. Скорее всего, даже я пойму, насколько кулинарное вино, налитое в бокал из канистры, проигрывает изготовленному на прекрасной маленькой винодельне пино-нуар по 200 долларов за бутылку, если попробую их друг за другом. Однако вынужден признаться, что при выборе хорошего игристого для встречи Нового года я, вероятно, буду ориентироваться лишь на цены. Мне не уловить тончайших отличий превосходного вина от исключительного. Но, если верить Ходжсону, их не улавливают и
Хотя результативность ведет к успеху, проблема заключается в том, что различия между лучшими в своей сфере так незначительны, что часто их невозможно измерить. Это усложняет смысл избитой, но верной фразы «повторенье — мать ученья», которую нам часто приходилось слышать в школе. Повторение, несомненно, важно, и посредством него многие приближаются к совершенству. И все же большинство людей не получают никакой награды за свои успехи. У верхней границы результативность перестает быть решающим фактором.
Со стороны кажется, что у судей винодельческих конкурсов самая простая работа в мире: что и говорить, порой они пробуют по 150 великолепных вин[44]
за день. Но на самом деле их задача невероятно сложна. Винодельни представляют на конкурсе лишь лучшие бутылки, а потому судьи дегустируют вина, которые почти невозможно отличить друг от друга. И у них нет «секундомера» — нет простого инструмента, чтобы определить, какой из анонимных бокалов мальбека на вкус и запах явно лучше всех остальных. Нам не хватает секундомеров в большинстве сфер человеческой деятельности: в конкурсах скрипки, в музыкальных состязаниях, в присуждении литературных премий, в выборе врача года, а также, как мы видели в прошлой главе, в определении, какая из работ в галерее «лучшая».Если результативность ограничена, значит ли это, что все винодельческие конкурсы несовершенны? Данные Ходжсона указывают именно на это[45]
. Повторив эксперимент четыре раза на протяжении четырех лет, он пришел к поразительному выводу, что любой судья последователен в оценке одного и того же винаПолученные результаты озаботили и поразили Ходжсона. Он не собирался компрометировать сообщество, в котором занимался любимым делом. Он лишь хотел понять и улучшить систему, а потому принялся анализировать свои данные с другого ракурса, надеясь отличить хороших судей от плохих. Может, были «идеальные судьи», которые неизменно определяли золотых медалистов, даже если их коллеги испытывали затруднения? Вернувшись к данным, Ходжсон изучил их, чтобы найти надежных судей. И он нашел их: каждый год около 10 процентов судей были последовательны в своих оценках. Если при первой дегустации они признавали вино достойным золотой медали, при второй и третьей дегустации они также присуждали ему первенство. Если им не нравилось вино, они отвергали его снова и снова. Такие результаты окрыляли! Год за годом выявляя этих надежных судей и привлекая их в жюри все новых конкурсов, Ходжсон мог превратить оценку вин в довольно точную науку. Но затем он провел последнюю проверку и сравнил результативность «идеальных судей» в разные годы. Новости были неутешительными. Он не обнаружил соответствия между прошлыми заслугами судей и их текущей надежностью. Судья мог быть исключительно последовательным в один год, но совершенно ненадежным на следующий. Очевидно, не существовало конкретного набора навыков, которыми можно было овладеть. Не было ни одного выдающегося судьи, на оценки которого можно было полагаться год за годом.
«Я не хочу опускать руки и признавать, что все происходит по воле случая, ведь я считаю, что это не так, — сказал Ходжсон. — Но результаты говорят именно об этом». Некоторое время Ходжсон и сам был судьей, а потому, возможно, не захотел признавать очевидное, но я сделаю это за него: данные не оставляют сомнений. Распределение золотых медалей в виноделии основано на лженауке. Я не хочу сказать, что вина-победители плохи. Как раз наоборот — они