Проблему переподгонки параметров под историю Роберт Колби предлагает решать при помощи слепого тестирования (перекрестной проверки) [12]. Что это такое? Вы начинаете с того, что разбиваете исторические ценовые данные на равные временные интервалы. Изучив первый сегмент, вы определяете оптимальные параметры, при которых соотношение доходность/риск системы максимально. На следующем этапе вы тестируете систему на следующем сегменте данных, не задействованных в процессе подбора параметров. Далее эти два сегмента складываются, для них находятся новые оптимальные параметры, которые тестируются на следующем сегменте, и т. д.
Допустим, вы оптимизируете систему на данных за 2012 г. И вы получили оптимальные параметры системы. Можно проверить работу этих параметров на данных за 2013 г. Потом оптимизировать параметры за 2012–2013 гг. и посмотреть, как изменились оптимальные параметры. Затем данные параметры тестируются на системе за 2015 г.
Общее правило таково: если оптимальные рабочие параметры системы за 2012 и 2013 гг. сильно отличаются, то система, скорее всего, не работает. Если вы протестируете таким образом большинство распространенных технических индикаторов, то вы убедитесь в их неработоспособности. Подогнать скользящие средние или RSI при помощи оптимизации на небольшом интервале времени, например за месяц, большого труда не составит.
Как правило, работоспособные системы имеют не просто точные значения параметров (выбранные путем оптимизации из огромного числа возможных), при которых система приносит прибыль, а целые наборы параметров, внутри которых система остается доходной – так называемые интервалы стабильности. При этом число свободных параметров системы не столь критично, как отношение числа рабочих «особей»[9]
к общему числу «особей».Занимаясь оптимизацией торговой системы, помните:
Основные усилия необходимо направить не на поиск идеальных параметров, максимизирующих прибыль, а на повышение надежности получения хотя бы минимальной прибыли.
10.6 Оценка бессистемной торговли
Смысл звена № 4 Механизма «Оценка результата» – получить данные для того, чтобы сопоставить их с Целью и провести работу над ошибкой, о которой речь пойдет в следующей главе. Оценить результат на исторических данных позволяет только лишь полная формализация торговой системы. Если вы торгуете интуитивно, то оценить результат системы вы сможете только по закрытым реальным сделкам. Для этого вам как минимум придется вести некий журнал. Какие есть варианты?
Инструкция 7
В зависимости от частоты сделок вы будете делать следующее:
Фиксировать в журнал изменения счета каждой недели.
Фиксировать в журнал изменения счета в конце дня.
Фиксировать в журнал каждую сделку.
Построить кривую вашего депозита.
Если вы совершаете сделки слишком часто (скальпируете), то вносить в журнал каждую сделку вручную бессмысленно. В противном случае, когда сделки совершаются нечасто, то практически полезно бывает фиксировать их именно вручную.
Для оценки результатов торговли по совершенным сделкам существует несколько удобных программ, которые показывают статистику вашей торговли и позволяют оценить ее слабые места. Назову две из них: «Статистика трейдера» (marketstat.ru – онлайн-сервис) и программа «Журнал сделок PirateTrade» (piratetrade.ru). Данные программы позволяют грузить отчеты брокера, не забивая каждую сделку в журнал. Но если вы готовы вносить сделки в журнал вручную, то вам вполне подойдет и Excel или бесплатные таблицы Google Docs (которые использую я сам).
Какое бы средство вы ни использовали, в конечном счете ваша задача сводится к получению реальной кривой капитала и сопоставлении ее с нашей Целью. 10 критериев оценки результата торговой системы мы уже недавно сформулировали. Далеко не все из них имеют смысл для неформализованного трейдинга. Если вы торгуете вручную, то, скорее всего, вы будете оценивать свой метод по следующим параметрам:
• доход;
• допущенные риски11
[10];• фактическая яма счета;
• фактор восстановления (доходность/риск).
Не будем углубленно рассматривать эти параметры, тем более что логика данных критериев совпадает с описанным в главе 10.3. Проблема интуитивного трейдинга и оценки результатов по факту совершенных сделок заключается в том, что в конечном итоге для достоверной оценки результата своего торгового метода вам придется пройти через большую выборку сделок и через все фазы рынка (критерии 1 и 3 из главы 10.3),