Автоматическое тестирование связано с особого рода трудностями. Например, автоматическая система торговли допускает использование большого числа переменных величин. Слишком много переменных часто означает задействование в торговой системе большого количества индикаторов. Для искушенных трейдеров надежность простых торговых систем не представляет секрета, кроме того, их можно с одинаковым успехом использовать на разных рынках и по различным временным масштабам. (Все описываемые в книге системы голого трейдинга исключительно просты и надежны). Разработчикам автоматических торговых систем бывает сложно добиться простоты и надежности своих творений - слишком велико искушение набить их под завязку различными индикаторами.
Любителям автоматических систем не составляет труда задействовать при разработке стратегии большое количество индикаторов. Насыщение любой торговой системы переменными величинами увеличивает вероятность того, что она хорошо проявит себя при одном наборе данных, но при этом станет плохо работать в другой ситуации. Чрезмерное число переменных приводит к тому, что торговая система прекрасно справляется с задачей при определенном раскладе, однако после изменения ситуации на рынке оказывается совершенно никуда не годной. Таков реальный риск, связанный с использованием автоматического тестирования. Не составляет труда добавить в торговую систему индикаторы, что увеличит ее привлекательность, в том числе и за счет роста прибыльности при тестировании на материале исторических данных. Однако результаты часто оказываются ужасающими, когда та же самая торговая система тестируется на другом наборе данных или используется в режиме реального времени. Как это ни парадоксально, но ахиллесовой пятой автоматического тестирования является простота его применения. Поскольку протекает оно чрезвычайно быстро, трейдер часто впадает в раж и слишком увлекается доводками и коррекциями системы. В конечном итоге получается торговая система, которая
С автоматическим тестированием связана еще одна проблема. Речь идет о так называемой постдиктивной ошибке, имеющей место тогда, когда торговая система для принятия решения в настоящий момент времени использует информацию из будущего. Это имеет прямое отношение к ретроспективному детерминизму. Трейдерам, проводящим тестирование автоматических торговых систем, следует вести себя чрезвычайно осторожно. При тестировании легко задействовать данные из будущего и даже не заметить этого. Это очень серьезная проблема, потому что, как правило, в распоряжении трейдеров нет будущих данных, как бы ни пытались доказать обратное люди, зарабатывающие на жизнь продажей технических индикаторов (физиков и гадалок можно считать исключением). При автоматическом тестировании с использованием исторических данных система выглядит потрясающе, но, как только ее начинают применять в условиях реального рынка, она мгновенно перестает работать.
Одним из основных преимуществ автоматического тестирования можно считать способность быстро определять степень годности автоматической торговой стратегии. На тестирование уходят считанные секунды, что для работающего с автоматическими системами трейдера является бесспорным преимуществом. В то же время не следует забывать, что специалисту по автоматическим системам никогда не добиться такого же уровня знания и психологического комфорта, как трейдеру, практикующему тестирование в ручном режиме. Это самый большой недостаток автоматического тестирования - сессии тестирования проходят бесследно для трейдера, не прибавляя ему знаний. Трейдеру, проводящему тестирование в ручном режиме, каждая сессия приносит новый опыт и знание. Его нельзя сбрасывать со счетов. Автоматическое тестирование может выявить слабые стороны автоматической торговой системы, для чего подчас требуются многие сотни и даже тысячи сделок, но все они совершаются компьютером, и поэтому не являются источником трейдерского знания. В этом смысле все сделки можно считать как бы «выброшенными на ветер»: в течение тестирования трейдер не обретает никакого опыта, поскольку такое возможно лишь при ручном режиме тестирования.
Автоматическое тестирование может быть оправдано в случае работы с автоматическими системами трейдинга. Но если вы используете обычные системы в ручном режиме, то от автоматического тестирования лучше воздержаться.
Три важных практических совета по поводу тестирования