Чёрный лебедь. Под знаком непредсказуемости

Поскольку я занимался неформальными разысканиями для личной пользы и развлечения, а не для того, чтобы что-то публиковать, я воспользуюсь уже обработанными материалами других исследователей, которые героически перетерпели занудство издательского процесса. Удивительно, как мало сами специалисты задумываются о полезности своих профессий. Существует несколько — всего несколько — формальных исследований в трех областях: анализ надежности ценных бумаг, политология и экономика. В ближайшие годы, несомненно, их станет больше. А может быть, и не станет — вполне вероятно, что коллеги затравят авторов этих работ. Из почти миллиона изданных трудов по экономике, политике и финансам лишь в единицах делается попытка проверить эти знания на их прогностическую пригодность.

Стадный инстинкт

Несколько исследователей, изучив работу и самооценку аналитиков ценных бумаг, получили удивительные результаты, особенно в отношении эпистемической самонадеянности этих деятелей. Сравнивая их с метеорологами, прогнозирующими погоду, Тадеуш Тышка и Петр Зелонка констатируют, что аналитики предсказывают хуже, но при этом больше верят в собственное умение. Во всяком случае, им хватает апломба не снижать предела погрешности после откровенных провалов.

В июне прошлого года я жаловался Жан-Филиппу Булю, которого навещал в Париже, на дефицит подобных публикаций. Этот человек с мальчишеской внешностью выглядит вдвое моложе меня, хотя на самом деле почти мой ровесник, каковой феномен я полушутя объясняю красотой физики. Собственно, он не совсем физик, а один из тех ученых, которые вслед за Бенуа Мандельбротом (положившим начало этому направлению в конце 1950-х годов) применяют методы статистической физики к экономическим переменным. Это сообщество не использует среднестанскую математику, так что их, похоже, интересует правда. Не вхожие в экономическую и финансовую элиту, они кормятся на физфаках и физматах и — довольно часто — в трейдерских фирмах (трейдеры редко нанимают экономистов для себя — чаще для того, чтобы они вешали лапшу на уши не столь продвинутым клиентам). Некоторые из них работают в социологии, снося враждебность «коренных». В отличие от экономистов, которые носят костюмы и громоздят теорию на теорию, они используют эмпирические методы наблюдения, а не кривую нормального распределения.

Булю показал мне удивительную исследовательскую работу, только что законченную его практикантом и уже принятую к публикации; в ней подробно рассматривались две тысячи предсказаний, сделанных аналитиками ценных бумаг. В работе наглядно показывалось, что эти брокер-аналитики не предсказывали ничего: наивный прогноз человека, просто переносящего цифры из истекшего периода в следующий, был бы немногим хуже. А ведь аналитики владеют информацией о заказах, грядущих контрактах и планируемых расходах и благодаря этим ценным знаниям вроде должны прогнозировать значительно лучше, чем наш наивный предсказатель, не располагающий никакой информацией, кроме прошлых данных. Хуже того, разрыв между предсказанными и реальными величинами был гораздо существенней, чем между разными прогнозами, а значит, аналитиками руководил стадный инстинкт. Иначе прогнозы отстояли бы друг от друга настолько же, насколько они отстоят от реальности. Чтобы понять, как аналитикам удается оставаться в бизнесе и избегать серьезных нервных срывов (с потерей веса, неадекватным поведением или острым алкоголизмом), нам придется обратиться к работе психолога Филиппа Тетлока.

Я был «почти» прав

Тетлок изучал проблему «экспертов» в политике и экономике. Он просил специалистов из разных областей оценить вероятность того, что в течение заданного временного периода (около пяти лет) произойдут определенные политические, экономические и военные события. На выходе он получил около двадцати семи тысяч предсказаний почти от трех сотен специалистов. Экономисты составляли около четверти выборки. Исследование показало, что эксперты далеко вышли за пределы своих допусков на ошибку. Обнаружилась и экспертная проблема: между результатами докторов наук и студентов не было разницы. Профессора, имеющие большой список публикаций, справлялись не лучше журналистов. Единственной закономерностью, которую обнаружил Тетлок, была обратная зависимость прогноза от репутации: обладатели громкого имени предсказывали хуже, чем те, кто им не обзавелся.

Но Тетлок ставил перед собой задачу не столько показать, чего реально стоят эксперты (хотя у него это замечательно получилось), сколько выяснить, почему до них никак не доходит, что они плохо справляются со своей работой, иными словами, как им удается «втирать себе очки». Ведь такая некомпетентность, судя по всему, как-то ими обосновывается, прежде всего в форме защиты своей позиции или своего реноме. Поэтому Тетлок занялся изучением механизмов, посредством которых участники выборки генерировали объяснения post factum.