Мы только что сравнивали системы через абсолютные суммы положительных и отрицательных сделок. Если мы оперируем показателями доходности и «яма» в процентах, то применяется показатель фактор восстановления
, который представляет собой простое отношение доходности и риска за определенный период времени (например, за год).Фактор восстановления первой системы: 70/30=1,33.
Фактор восстановления второй системы: 40/15=2,67.
Практикующие трейдеры говорят, что на бэктесте показатель «доходность/яма» должен быть не менее 8/1, тогда как в реальности он будет 3/1.
После всех оговорок сформулируем новый критерий:
Критерий 7.
Две системы, удовлетворяющие критериям 1–5, можно сравнить через профит-фактор или фактор восстановления. Система с более высоким показателем является предпочтительней.Теперь вроде бы кажется логичным, что вторая система лучше. Если взять двойную позицию за счет кредитного плеча, то мы получим доходность 80 % при той же просадке 30 %, что лучше, чем у первой системы. Но есть еще один интересный практический аспект, который нам необходимо учесть, – это время нахождения системы в яме, время восстановления. С точки зрения психологии система, имеющая меньшее время восстановления, более предпочтительна, поскольку долго сидеть в яме – занятие не из приятных. Длительное пребывание в яме может заставить трейдера усомниться в работоспособности системы и приостановить ее работу до того, как она выйдет на положительную траекторию.
Критерий 8.
Две системы, удовлетворяющие критериям 1–5, можно сравнить через время восстановления.Здесь опять-таки стоит сделать оговорку. Поскольку сама яма на тесте подвержена случайности, то и время восстановления может иметь случайный характер. Поэтому системы следует различать по времени восстановления лишь в том случае, если оно существенно отличается на тестах.
Итак, большая часть пути оценки системы пройдена. Что еще забыли? Две системы могут отличаться сложностью логики. Эмпирический опыт подсказывает, что простые решения оказываются более надежными. Как оценить сложность системы? Например, через число оптимизируемых параметров (об этом мы еще будем говорить далее). И здесь мы подходим к следующему критерию.
Критерий 9.
Чем меньше число оптимизируемых параметров, тем более надежен результат теста.Идем дальше. Изначально мы предполагали, что рассматриваем системы, которые на истории дали положительный результат. Это банально, так что я даже об этом не упоминал. Положительная результативность характеризуется доходностью (например, за год). Я бы и не завел разговор про доходность, если бы не одно но. Например, ваша система может приносить прибыль в размере около 8 % годовых в рублях, при яме 1 %, и успешно пройти через критерии 1–7. Но если эта прибыль по каким-то причинам не может быть увеличена пропорционально увеличению риска, то какой смысл запускать такую систему, если можно просто положить деньги в надежный банк на депозит и иметь сопоставимую доходность? Кроме того, не стоит забывать и про налоги, которые вы заплатите с доходов на бирже.
Запишем еще один критерий.
Критерий 10.
Максимальная доходность торговой системы должна быть существенно выше доходности безрисковых вложений.Другие критерии
Существуют и другие показатели соотношения доходности и риска, такие как коэффициент Шарпа или коэффициент Сортино. Я не буду рассматривать их по двум причинам. Во-первых, формулы этих коэффициентов любой желающий может посмотреть в Интернете, и они не совсем тривиальны для рядового читателя, поскольку опираются на показатель стандартного отклонения. Во-вторых, мой опыт подсказывает, что алготрейдеры на практике редко используют данные коэффициенты.
Хорошая система на уверенном растущем тренде не должна проигрывать стратегии «Купил и держи».
Еще один вспомогательный критерий – коэффициент выигрыша (Payoff Ratio). Он вычисляется как отношение средней прибыльной к средней убыточной сделке, или AP/AL в формуле 2. Этот коэффициент не является самодостаточным критерием оценки результативности системы, поскольку не учитывает вероятности выигрыша и проигрыша. Однако он может рассказать нам о том, насколько система чувствительна к тренду. Высокий коэффициент характерен для трендовых систем, низкий – для контртрендовых.
Еще один вариант оценки кривой капитала на тесте – наклон линии линейной регрессии, разделенный на стандартную ошибку наклона линии линейной регрессии. Это мера плавности кривой, что напрямую отвечает нашей цели «последовательный доход при ограниченном риске».
Ну и последний критерий можно сформулировать как «охват системы»: то количество инструментов, на которых она показывает положительные результаты.
10.4 Критерии оценки систем: выводы