К сожалению, каким-то образом исказившейся целью многих тестирующих проектов становится разработка торговых стратегий, выжимающих максимум возможных доходов из исторических данных. Предположение состоит в том, что, чем лучше они работали в прошлом, тем лучше они будут функционировать в будущем. Если бы это было правдой, то каждый, кто разработал бы историческую модель, хорошо работавшую в прошлом (подразумевая практически каждого, кто когда-либо использовал программное обеспечение для тестирования систем), был бы к сегодняшнему дню очень богат.

Как правило, тестирование происходит следующим образом. Трейдер складывает вместе несколько любимых технических исследований или графических фигур, которые хорошо себя показали в прошлом, и гоняет компьютер час за часом в поисках точных значений для каждого параметра, которые давали бы наибольший доход. Под впечатлением фантастических
результатов побеждает жадность, и он (или она) начинает сразу же торговать. Неизбежно трейдер попадает в полосу потерь и решает, что чтото не так с его торговыми методами. Наиболее очевидным выходом будет  оптимизировать систему снова и избавиться от проигрышных компонентов.

Трейдер оптимизирует торговую систему и с удовлетворением замечает, что изменения удалили большую часть проигрышных торгов. Снова уверенный, несмотря на предыдущие потери, он возобновляет торговлю только для того, чтобы получить новую неожиданную  серию потерь. Многие трейдеры продолжают такие попытки до тех пор, пока не закончатся либо их деньги, либо терпение. Обычно подводят деньги, приводя их к убеждению, что они непременно добились бы успеха, если бы только могли себе позволить заново оптимизировать систему и войти в торговлю еще разок.

Что действительно не так?

Первым и наиболее очевидным моментом является сомнительная ценность оптимизаций практически в любой форме. Любой индикатор или набор индикаторов покажет огромный доход, будучи оптимизирован для получения лучшей комбинации параметров, даже при использовании случайного набора данных. Ведь анализируются миллионы комбинаций,
поэтому существует очень большая вероятность, что некоторые из них, по крайней мере, задним числом, будут делать деньги. При столкновении с соблазном практически мгновенного обогащения, о чем свидетельствуют вдохновляющие результаты оптимизации, искушение немедленно начать торговлю становится непреодолимым. Вера в процесс оптимизации настолько сильна, что трейдеры будут оптимизировать снова и снова, хотя состояние их торговых счетов должно было бы подсказать им, что они делают чтото не так. Это произошло с нашим трейдером в предыдущем примере. Вы можете услышать, как трейдер говорит: “Только еще одна оптимизация, и я это сделаю”.

К сожалению, еще одна оптимизация никогда не решит проблемы. Результаты всех тестов говорят, что предугадывающие возможности оптимизации ограничены. Оптимизация была не в состоянии прогнозировать набор параметров, который давал бы доход на портфель лучший, чем стратегия случайного выбора.

Существует строгое объяснение того, почему оптимизация дает плохие результаты. Каждому статистику известно понятие потери свободы. В популярных терминах это значит, что каждый параметр, добавляющийся к торговой системе, представляет собой потерю степени контроля над конечной отдачей процедуры тестирования. Чем больше технических
исследований или торговых правил вы вводите, тем менее здоровыми и надежными будут результаты. Чем больше вы стараетесь улучшить систему, тем с меньшей вероятностью она будет работать в реальном времени  так же, как при тестировании.

Вам следует иметь от двух до пяти переменных. Чем меньше переменных, тем более надежны результаты. Интересное следствие такого подхода заключается в том, что он позволяет вам оглянуться на собственную проделанную работу и быстро понять, является ли она подгонкой под конкретный период рынка. Вероятность того, что система окажется подогнанной, напрямую зависит от количества переменных, использовавшихся при тестировании. Чем большее количество технических исследований и правил (особенно исключений из правил), тем больше модель подогнана. Остерегайтесь систем, которые настолько сложны, что требуют компьютера для того, чтобы с ними работать.

Другой путь избежать подгонки  отказ от создания систем, настроенных на специфические рынки. Это ловушка, в которую просто попасть, и это также подгонка. Хорошая система не обязана исторически работать на всех рынках, чтобы быть успешной, но она должна работать на большинстве рынков, с небольшим количеством изменений от рынка к рынку. Если вы
должны изменять систему с тем, чтобы адаптировать ее к каждому рынку, то есть серьезный изъян в основной системе.

Рынки меняются, и лучшим способом добиться уверенности, что ваша система будет идти с ними в ногу, будет ее тестирование в неизменной форме на возможно большем количестве разнообразных рынков.

Не доверяйте результатам тестирования, которые не включают некоторой свободы для «проскальзывания» и комиссионных.

Эти составляющие очень существенно изменят ваши результаты. Множество торговых систем дают небольшой стабильный доход при тестировании без допуска проскальзывания и на комиссионные и оказываются убыточными, когда включается стоимость транзакций. Это особенно верно для систем краткосрочной дневной торговли. Чем чаще торгует система, тем
более важной становится стоимость транзакций.