Одураченные случайностью

Почему статистики не обнаруживают редкие события?

Обывателю статистика может казаться довольно сложной, но концепция, лежащая в ее основе, настолько проста, что мои французские друзья-математики называют это «кухней». Статистика основана на одном простом понятии: чем большее количество информации Вы имеете, тем большую уверенность в результате получите. Проблема ― сколько? Обычный статистический метод основан на устойчивом увеличении уровня доверия в нелинейной пропорции к числу наблюдений. То есть, если увеличить размер выборки в n раз, наши знания увеличаится на квадратный корень из n. Предположим, я тяну из урны, содержащей красные и черные шары. Мой уровень доверия к относительной пропорции красных и черных шаров после 20 вытаскиваний превышает тот, который у меня был после 10 вытаскиваний не вдвое, а просто умножается на квадратный корень из 2 (на 1,41).

Статистика становится сложной и подводит нас в случаях, когда мы имеем распределения, которые несимметричны, в отличие от примера с урной. Если есть очень маленькая вероятность обнаружения красного шара в урне, заполненной в основном черными шарами, то наше знание об отсутствии красных шаров будет увеличиваться очень медленно ― медленнее, чем ожидаемая скорость, равная квадратному корню из n . С другой стороны, наше уверенность в наличии красных шаров значительно окрепнет, как только один из них будет найден. Эта асимметрия в знании не тривиальна и проходит красной нитью через всю книгу ― это центральная философская проблема таких людей, как Юм [19] и Карл Поппер (об этом далее).

Чтобы оценивать результативность инвестора, мы нуждаемся либо в более проницательном и менее интуитивном методе, либо нам, вероятно, придется ограничивать наши оценки ситуациями, где наше суждение независит от частоты этих событий.

Вредный ребенок заменяет черные шары

Но есть даже худшие ситуации. В некоторых случаях, когда положение красных шаров само по себе беспорядочно распределено, мы никогда не узнаем состав урны. Это называется проблемой стационарности. Представьте урну, полую в основании. Я произвожу из нее выборку и не знаю о таком ее свойстве, как возможность добавлять шары то одного цвета, то другого. Мои выводы, таким образом, становятся незначащими. Я могу решить, что красные шары составляют 50 % содержимого урны, в то время как вредный ребенок, слушая меня, стремительно заменил бы все красные шары черными. Это делает многое из нашего знания, полученного через статистику, весьма шатким.

Тот же самый эффект имеет место на рынке. Мы рассматриваем прошлую историю в качестве единственного гомогенного образца и полагаем, что значительно увеличили наше знание будущего за счет наблюдения выборки прошлого. Что будет, если вредные дети изменяли состав урны? Другими словами, что, если вещи изменились?

Я изучал и занимался эконометрикой больше половины своей жизни (с 19 лет), и когда учился, и будучи трейдером количественных производных. Наука «эконометрика» состоит в применении статистики к выборкам, взятым в различные периоды времени, которые мы называем временным рядом. Она основана на изучении временных рядов экономических переменных, информационных данных и других вопросов. В начале моих занятий статистикой, я задавался вопросом, могут ли временные ряды, отражающие активность людей, ныне мертвых или ставших пенсионерами, иметь значение для предсказания будущего. Эконометристы, которые знали намного больше меня, не задавали такого вопроса, считая, по всей вероятности, его глупым. Один видный эконометрист, Хашем Песаран, ответил на подобную реплику, рекомендуя делать «больше и лучше эконометрию». Теперь я убежден, что, возможно, работа большинства эконометристов бесполезна ― многим из того, что знают финансовые статистики, не стоило бы забивать голову. Ведь сумма нолей, даже повторенная миллиард раз, остается нулем. Аналогично, накопление исследований и увеличение их сложности будет вести к ничему, если нет никакого устойчивого основания. Изучение европейских рынков 1990-ых, конечно, окажет большую помощь историку, но какой вывод мы можем сделать теперь, когда структура институтов и рынков так сильно изменилась?

Обратите внимание, что экономист Роберт Лукас нанес удар эконометрике, споря о том, что, если бы люди были рациональными, то это качество заставило бы их вычислять предсказуемые модели из прошлого и приспосабливаться к ним, для того чтобы прошлая информация была бы полностью бесполезна для предсказания будущего (этот аргумент, выраженный в математической форме, принес ему Нобелевскую премию по экономике). Мы ― люди и действуем согласно нашему знанию, которое объединяет прошлые данные. Я могу привести следующую аналогию. Если рациональные трейдеры обнаруживают модель повышения акций по понедельникам, то такая модель немедленно обнаруживается и сглаживается покупками в пятницу в ожидании эффекта. Нет никакого смысла искать модели, которые доступны каждому, кто имеет брокерский счет: после обнаружения они были бы сглажены.