Задача лаборатории — найти модели входа, которые не переобучаются. Преимущество, найденное на истории, должно сохраняться на данных, которых модель никогда не видела. Красивый бэктест сам по себе ничего не доказывает: оптимизатор способен подогнать под прошлое почти любую систему. Поэтому каждая модель проходит в тестере стратегий MetaTrader 5 три проверки:
- Бэктест (in-sample), 2013 – 2025: отрезок, на котором модель настраивалась. Это тренировка, а не экзамен.
- Форвард назад, 2012: год до периода настройки, другой рыночный режим.
- Форвард вперёд, 01.01 – 16.09.2026: данные, появившиеся после настройки; ближе всего к реальной торговле.
Модель признаётся устойчивой, только если преимущество подтверждается на обоих форвардах. Главный показатель — не прибыль бэктеста, а доля преимущества, сохранившаяся вне выборки.
Как измеряется переобучение
Сохранённое преимущество = (PF вне выборки − 1) / (PF бэктеста − 1). Величина PF − 1 — это «чистое» преимущество модели: при PF = 1 его нет. Рабочие ориентиры лаборатории:
- 50% и выше — модель переносит преимущество на новые данные;
- 25–50% — заметная деградация, модель частично подогнана или зависит от режима;
- ниже 25% — преимущество вне выборки не подтверждено.
Идея SPR2 v1: не смотреть на цену
Модель не видит график — только биржевые отчёты о позициях участников. Крупным игрокам, чтобы разгрузить объём, нужно убедить остальных в ложном направлении будущего движения, и красивая картинка на графике — главный инструмент такого убеждения. Того, кто на график не смотрит, этой картинкой не обмануть.
У такого подхода есть и второе преимущество: чем меньше входных данных, тем меньше у оптимизатора степеней свободы и тем труднее подогнать модель под шум истории.
Правила теста
Бэктест (in-sample)
2013 – 2025
отрезок настройки, до 01.01.2026
Форвард назад
2012
вне выборки
Форвард вперёд
01.01 – 16.09.2026
вне выборки, 8,5 месяца
Депозит / символов
10 000 / 1
объём позиции фиксирован
Сводка по периодам
| Показатель |
Бэктест2013–2025 |
Общий тест2012 – 16.09.2026 |
Форвард назад2012 |
Форвард вперёд2026, 8,5 мес. |
| Качество истории |
97% |
96% |
69% ⚠ |
100% |
| Сделок |
321 |
372 |
26 |
26 |
| Чистая прибыль |
+7 133.92 (+71.3%) |
+8 778.28 (+87.8%) |
+21.54 (+0.2%) |
+1 680.29 (+16.8%) |
| Прибыльность (Profit Factor) |
3.30 |
2.84 |
1.05 |
2.19 |
| Сохранено преимущества |
база |
— |
2% |
52% |
| Фактор восстановления |
14.27 |
10.26 |
0.09 |
1.96 |
| Коэффициент Шарпа |
1.34 |
1.10 |
0.07 |
1.14 |
| LR Correlation (гладкость) |
0.94 |
0.88 |
−0.40 |
0.68 |
| Прибыльных сделок |
64.5% |
62.6% |
46.2% |
61.5% |
| Матожидание сделки |
22.22 |
23.60 |
0.83 |
64.63 |
| Ср. прибыль / ср. убыток |
49.45 / 27.22 (1.82) |
58.12 / 34.27 (1.70) |
35.53 / 28.91 (1.23) |
192.96 / 140.70 (1.37) |
| Макс. просадка по средствам |
499.76 (2.98%) |
855.50 (4.40%) |
229.30 (2.26%) |
855.50 (6.93%) |
| Макс. серия убытков |
5 (−85.55) |
5 (−139.45) |
5 (−139.45) |
2 (−447.29) |
| Шорты / лонги, % прибыльных |
68.3 / 60.6 |
67.2 / 58.1 |
53.8 / 38.5 |
69.2 / 53.8 |
| Результат OnTester |
0.812 |
0.584 |
0.011 |
0.414 |
●сильный результат ● требует внимания ● слабый результат. Процент прибыли — от начального депозита 10 000. Сохранено преимущества = (PF периода − 1) / (PF бэктеста − 1).
1Бэктест 2013 – 2025in-sample
Нажмите на изображение, чтобы открыть отчёт тестера в полном размере
Чистая прибыль
+7 133.92
+71.3% за 13 лет
Profit Factor
3.30
64.5% прибыльных
Просадка по средствам
2.98%
499.76
Фактор восстановления
14.27
Шарп 1.34
Выводы: сильный результат — но это отрезок настройки
- Устойчивое положительное ожидание: PF 3.30, 64.5% прибыльных сделок, средняя прибыль в 1.8 раза больше среднего убытка.
- Низкий риск: просадка по средствам 2.98%, по балансу 1.99%; прибыль в 14 раз перекрывает худшую просадку. Кривая гладкая (LR Correlation 0.94), самая длинная серия убытков — 5 сделок на −85.55.
- Главная оговорка: на этих данных модель настраивалась. Сильные цифры бэктеста — необходимое, но не достаточное условие: об устойчивости они ничего не говорят, это задача форвардов.
- Признак зависимости от режима: около 40% всего результата (~3 000 из 7 134) получено на последних ~20 сделках (≈6% выборки) — кривая резко ускоряется в конце периода.
- Z-счёт 0.06 — сделки независимы друг от друга. Фильтры по сериям выигрышей и проигрышей здесь не помогут, а лишь добавят параметров для подгонки.
- Доходность скромная: около 550 (≈5.5%) в год при фиксированном объёме. При такой просадке есть запас для увеличения риска на сделку.
- Шорты стабильнее лонгов: 68.3% прибыльных против 60.6%.
2Общий тест 2012 – 16.09.2026вся история
Нажмите на изображение, чтобы открыть отчёт тестера в полном размере
Чистая прибыль
+8 778.28
+87.8%, 372 сделки
Profit Factor
2.84
62.6% прибыльных
Просадка по средствам
4.40%
855.50
Фактор восстановления
10.26
Шарп 1.10
Выводы: с новыми данными преимущество не исчезает
- С учётом обоих форвардов картина остаётся сильной: PF 2.84, фактор восстановления 10.26, Шарп 1.10. Добавление данных вне выборки ухудшило метрики умеренно, а не обвалило их — так ведёт себя модель без грубой подгонки.
- Отрезки сходятся: 7 133.92 + 21.54 + 1 680.29 = 8 835.75 против 8 778.28 в общем тесте (расхождение 0.7% и одна сделка — эффект позиций на стыках периодов). Тест консистентен.
- Все экстремумы общего теста приходятся на 2026 год: максимальная просадка по балансу 600.88 и по средствам 855.50, крупнейшая прибыль 533.83 и крупнейший убыток −261.94 — это сделки форварда вперёд.
- Начало кривой (2012) — боковик, конец (2026) — пик около 360-й сделки и откат. Гладкость снизилась с 0.94 до 0.88 — ожидаемая плата за выход за пределы обучающих данных.
3Форвард назад: 2012out-of-sample
Нажмите на изображение, чтобы открыть отчёт тестера в полном размере
Чистая прибыль
+21.54
+0.2%, 26 сделок
Profit Factor
1.05
сохранено 2% преимущества
Просадка по средствам
2.26%
229.30
LR Correlation
−0.40
Шарп 0.07
Выводы: первый экзамен не сдан, но модель не сломалась
- Преимущество не подтвердилось: PF 1.05 и +21.54 за год — фактически ноль. Из преимущества бэктеста сохранилось лишь 2%.
- Доля прибыльных сделок упала до 46.2% (в бэктесте 64.5%). Если бы преимущество сохранялось, вероятность получить 12 и менее прибыльных из 26 — около 4%. Это на границе случайности и скорее говорит о смене рыночного режима.
- Кривая баланса — «пила» вокруг 10 000: пики на 3-й и 8-й сделках, затем откат и боковик; фактор восстановления 0.09. Особенно слабы лонги — 38.5% прибыльных; шорты держатся на 53.8%.
- Важный позитив: риск остался под контролем — просадка 2.26%, серия убытков не длиннее 5, как в бэктесте. Модель без подгонки в чужом режиме обычно так и ведёт себя: не зарабатывает, но и не теряет. Переобученная модель в такой ситуации систематически теряет деньги (сравните с SPR2 v2).
- Оговорка: качество истории всего 69%, а 26 сделок — малая выборка. Вывод по 2012 году стоит перепроверить на данных лучшего качества.
4Форвард вперёд: 2026out-of-sample
Нажмите на изображение, чтобы открыть отчёт тестера в полном размере
Чистая прибыль
+1 680.29
+16.8% за 8,5 мес.
Profit Factor
2.19
сохранено 52% преимущества
Просадка по средствам
6.93%
855.50
Фактор восстановления
1.96
Шарп 1.14
Выводы: второй экзамен сдан — половина преимущества перенеслась на новые данные
- PF 2.19, 61.5% прибыльных сделок, Шарп 1.14 (85% от бэктеста). Сохранено 52% преимущества — выше порога устойчивости 50%.
- Доля прибыльных 61.5% против 64.5% в бэктесте — в пределах статистического шума: при сохранённом преимуществе такой или худший результат получается примерно в 45% случаев.
- Масштаб сделок вырос в разы: матожидание 64.63 против 22.22 (×2.9), средняя прибыль ×3.9, средний убыток ×5.2; уровень маржи снизился с 37 397% до 19 377%. Причина — рост цены и денежной волатильности инструмента при неизменном объёме, а не изменение логики модели.
- Просадка превысила исторический максимум: 855.50 (6.93%) против 499.76 (2.98%). Но в единицах среднего убытка она даже меньше: ≈6 средних убытков против ≈18 в бэктесте — это следствие укрупнения сделок, а не поломки.
- Слабее бэктеста: соотношение прибыль/убыток 1.37 (было 1.82), фактор восстановления 1.96 — прибыль пока лишь вдвое перекрывает просадку.
- Текущее состояние: рост до ~15-й сделки (баланс ≈12 250), затем около 11 сделок без нового максимума. На 16.09.2026 баланс ≈11 680 — модель находится у максимальной просадки периода.
- Шорты снова лучше лонгов: 69.2% прибыльных против 53.8%. Асимметрия повторяется во всех периодах — это свойство логики модели, а не случайность отдельного отрезка.
Итоговые выводы по SPR2 v1
Статус: на наблюдении
Модель сдала один экзамен из двух: на новых данных 2026 года сохранилось 52% преимущества, в 2012 году — 2%. Признаков грубой подгонки нет: деградация вне выборки умеренная, риск в неблагоприятном режиме не вышел из-под контроля, поведение модели одинаково во всех периодах. Устойчивость к смене рыночного режима пока не доказана.
Что говорит против переобучения
- Простая модель без ценовых данных — мало степеней свободы для подгонки.
- Больше половины преимущества сохранилось на новых данных 2026 года.
- В неудачном 2012 году — ноль, а не убыток; серии убытков не длиннее 5.
- Шорты стабильно сильнее лонгов во всех четырёх отчётах.
Слабые стороны и риски
- Зависимость от рыночного режима: в 2012 году преимущества нет.
- ~40% прибыли бэктеста получено в самом конце периода.
- Риск в деньгах не нормирован: сделки 2026 года в 3–5 раз крупнее исторических, просадка 6.93% — новый максимум.
- Форварды короткие (по 26 сделок) — статистическая значимость низкая.
Что дальше
- Продолжить форвард 2026 года — он продолжает пополняться данными, которых модель не видела. Подтверждение — обновление максимума баланса (≈12 250); сигнал к пересмотру — просадка по средствам заметно выше 855.50 или серия убытков длиннее 5.
- Перепроверить 2012 год на реальных тиках и расширить форвард назад на 2010–2011 годы — без изменения параметров модели.
- Нормировать объём позиции на волатильность (ATR или фиксированный % риска) и повторить все тесты. Это меняет управление риском, а не логику входа, поэтому не открывает новых возможностей для подгонки сигналов.
- Отдельную версию с приоритетом шортов не делать: асимметрия шортов и лонгов повторяется во всех четырёх отчётах, но это свойство логики входа, а не повод добавлять ещё один параметр.