Одураченные случайностью

Некоторые люди переносят свою деятельность по выкапыванию данных в богословие - в конце концов, древнее Средиземноморье имело обыкновение читать потенциальные сообщения по внутренностям птиц. Интересное расширение выкапывания данных на библейские толкования представлено в Коде Библии неким Майклом Дроснином. Дроснин, бывший журналист (по-видимому, не замешанный в любом обучении статистике), при содействии "математика", помог "предсказать" убийство премьер-министра Израиля Рабина, расшифровывая код Библии. Он информировал Рабина, который, очевидно, не принял это слишком серьезно. Код Библии находит статистические нерегулярности в Библии, что помогает предсказывать некоторые такие события. Само собой разумеется, что книга имела хороший сбыт.

Лучшая книга, какую я когда-либо читал!

Мое любимое времяпрепровождение проходит в книжных магазинах, где я бесцельно двигаюсь от книги к книге, в попытке принять решение относительно того, стоит ли тратить время на ее чтение. Мои покупки часто основаны на импульсах, базирующихся на поверхностных, но наводящих на размышления, ключах. Часто, лишь только суперобложка помогает мне принять решение. Они, обычно, содержат похвалу кого-то, известного или не очень, или выдержки из книжного обзора. Хорошая похвала известного и уважаемого человека или известного журнала, могла бы подвигнуть меня на покупку книги.

В чем проблема? Я имею тенденцию путать книжный обзор, который, как предполагается, является оценкой качества книги, с обзорами лучших книг, испорченными теми же самыми пристрастиями выживания. Я путаю распределение максимума переменной с распределением самой переменной. Издатель никогда не будет печатать на суперобложке что-либо, кроме лучших похвал. Некоторые авторы идут даже на шаг дальше, публикуя прохладный или даже неблагоприятный книжный обзор, но выбирая слова в нем, которые кажутся хвалебными для книги. Один такой пример - некий Пауль Вилмотт (английский финансовый математик редкого блеска и непочтительности), который сумел объявить, что я дал ему его "первый плохой обзор", и все же использовал выдержки из этого обзора, в качестве похвалы на суперобложке (позже мы стали друзьями, что позволило мне получить подтверждение от него).

Первый раз меня одурачило такое пристрастие при покупках в 16 лет. Это была книга Джона Дос Пассеса, американского автора, Манхэттэнское перемещение. И я основывался на похвале на суперобложке философа Жан-Поля Сартра, которая гласила в том смысле, что Дос Пассес был самый большой писатель нашего времени. Эта простая ремарка, которую выпаливают возможно в состоянии опьянения или чрезвычайного энтузиазма, вызвала потребность чтения Дос Пассеса в европейских интеллектуальных кругах, поскольку ремарка Сартра была ошибочно принята за согласную оценку качества Дос Пассеса, вместо того, чем она являлась на самом деле - просто лучшей ремаркой. (Несмотря на получение Нобелевской премии по литературе, Дос Пассес вернулся во мрак.)

Тестер исторических данных

Программист помог мне построить тестировщик исторических данных или бэктестер. Это программа, связанная с базой данных исторических цен, которая позволяет мне проверять гипотетическую прошлую результативность любого правила для торговли средней сложности. Я могу просто применять механическое правило торговли, подобное покупке акции, если она закрывается более, чем на 1.83% выше её средней цены предыдущей недели и немедленно получаю идею относительно прошлой результативности такого правила. Экран высветит мой гипотетический отчет о сделках, связанных с этим правилом торговли. Если мне не нравятся результаты, я могу изменять процент, скажем, 1.2%. Я могу также сделать правило более сложным. Я буду продолжать пробовать, пока я не найду хорошо работающий набор правил.

Что я делаю? Точно та же самая задача поиска оставшихся в живых в пределах набора правил, которые, возможно, могут работать. Я приспосабливаю правило к данным. Такая деятельность называется выискиванием данных. Чем больше я пробую, тем больше вероятность простой удачной находки правила, которое работало на прошлых данных. Случайный ряд будет всегда представлять некоторую обнаружимую модель. Я убежден, что существует торгуемая ценная бумага в Западном мире, которая на 100% коррелированна с изменениями температуры в Улан-Баторе, столице Монголии. Говоря технически, есть даже худшие расширения. Не давняя! выдающаяся статья Салливана, Тиммермана и Уайта идет дальше и полагает, что правила, которые могут успешно использоваться сегодня, могут быть результатом пристрастия выживания.