Путь Черепах. Из дилетантов в легендарные трейдеры

Статистические исследования являются устойчивыми, если изменение небольшого набора данных не приводит к существенным изменениям результатов. Существующие показатели измерения слишком чувствительны к изменениям данных. Это одна из причин того, что при проведении исторического моделирования при анализе торговых систем небольшие изменения значения параметра существенно изменяют значения результирующих показателей. Сами по себе показатели не являются устойчивыми, иначе говоря, они чувствительны к небольшим информационным массивам. Соответственно, все, что влияет на эти информационные массивы, способно также существенно повлиять на результаты. В итоге дело может закончиться подгонкой, и вы будете дурачить себя результатами, недостижимыми в реальной жизни. Первый шаг в тестировании согласно Пути Черепах состоит в том, чтобы найти показатели измерения результативности, которые являются устойчивыми и независимыми от небольших изменений в исходных данных.

Во время собеседования перед началом программы Черепах Билл Экхардт спросил меня: «Знаешь ли ты, что такое устойчивый статистический показатель?» Я помолчал немного, а затем сказал: «Не имею никакого представления». Теперь я могу ответить на этот вопрос. Речь идет о разделе математики, занимающемся проблематикой несовершенной информации и неправильными предположениями, называемом статистикой надежности или робастной статистикой.

Из самого вопроса было ясно, что Билл осознавал несовершенную природу тестирования и исследования на базе исторической информации, а также понимал суть непознаваемого, – редкое качество для тех времен (да и теперь). Я думаю, что в этом и заключалась причина отличных результатов трейдинга Билла на протяжении многих лет.

Это – еще один пример того, насколько далеко по сравнению с другими игроками в отрасли продвинулись в своих исследованиях и размышлениях Рич и Билл. Чем больше я учусь, тем большее уважение испытываю к их вкладу в нас. И меня крайне удивляет, как недалеко продвинулась отрасль относительно того, что Рич и Билл знали в еще 1983 году.

Устойчивые показатели измерения результативности

Ранее мы говорили о таких показателях измерения сравнительной результативности, как коэффициент MAR, CAGR% и коэффициент Шарпа. Эти показатели не очень устойчивы, так как существенно зависят от дат начала и окончания периода тестирования. Это особенно справедливо для тестов менее чем 10-летних периодов. Представьте себе, что случится, если мы скорректируем сроки начала и окончания теста на несколько месяцев. Для этого проведем тест не с начала января 1996 года, а с начала февраля того же года. В качестве срока окончания возьмем не 30 июня 2006 года, а 30 апреля – то есть уберем всего один месяц с начала и два месяца с конца тестируемого периода.

Тест тройной скользящей средней с первоначальными данными дал нам 43,2 процента отдачи с коэффициентом MAR, равным 1,39, и коэффициентом Шарпа, равным 1,25. Если изменить даты начала и окончания, отдача подскочит до 46,2 процента, коэффициент MAR вырастет до 1,39, а коэффициент Шарпа – до 1,37. Тест системы прорыва канала ATR с первоначальным периодом демонстрирует отдачу на уровне 51,7 процента, коэффициент MAR, равный 1,31, и коэффициент Шарпа, равный 1,39. Меняем период – меняются показатели. Отдача подскакивает до 54,9 процента, коэффициент MAR вырастает до 1,49, а коэффициент Шарпа – до 1,47.

Такая чувствительность по всем трем измерениям объясняется тем, что MAR и коэффициент Шарпа содержат отдачу в качестве части числителя, а отдача, выраженная в процентах CAGR при расчете MAR или в среднемесячном показателе отдачи при расчете коэффициента Шарпа, существенно зависит от срока начала или окончания теста. MAR особо чувствителен к изменению сроков теста, так как в нем содержатся два компонента, зависимых от сроков теста. Таким образом, при расчете этого показателя эффект изменений усиливается в разы.

Причина, по которой CAGR% зависит от начала и окончания тестируемого периода, заключается в том, что на логарифмической шкале показатель представляет собой градус наклона линии, начинающейся в начале теста и заканчивающейся в момент его окончания. Изменение дат начала и окончания тестируемого периода существенно меняет наклон линии, как показано на рисунке 12-1.

Рисунок 12-1. Эффект воздействия изменения начальной и конечной даты на CAGR%

Заметьте, что наклон линии, называемой «Измененные даты теста», круче, чем наклон линии под названием «Первоначальные даты теста». В данном случае в начале тестируемого периода (январь 1996 года) произошло падение, также падение наблюдалось в мае и июне 2006 года, последних месяцах первоначального периода. Соответственно, сдвигая даты теста на несколько месяцев, мы смогли избавиться от результатов обоих падений. Это отмечено на рисунке 12-1: убрав падение на любом этапе теста, мы повысим наклон линии, определяющей CAGR%.