Backtester une méthode hippique : mode d'emploi

Vous avez une idée de jeu. Avant d'y engager de l'argent, une seule question vaut la peine d'être posée : qu'aurait-elle donné si je l'avais jouée les trois dernières années ? Y répondre s'appelle backtester. C'est un exercice simple à décrire, facile à rater, et le seul qui sépare une méthode d'une conviction.

Ce qu'un backtest mesure, et ce qu'il ne mesure pas

Un backtest consiste à appliquer une règle de jeu, telle quelle et sans exception, à toutes les courses d'une période passée, puis à compter les résultats. Rien de plus.

Formulé ainsi, cela paraît trivial. L'exercice a pourtant une vertu que rien d'autre ne possède : il rend une opinion falsifiable. Tant que votre idée reste dans votre tête, elle a toujours raison : la mémoire retient les jours où elle a fonctionné et oublie les autres. Passée à l'historique, elle rend des comptes.

Ce qu'un backtest ne mesure pas, en revanche :

• Il ne prédit pas l'avenir. Il décrit un passé. C'est déjà énorme, mais une méthode gagnante sur trois ans peut cesser de l'être, parce que le marché s'ajuste ou que les conditions de course changent.
• Il ne mesure pas votre discipline. Il suppose que vous jouez toutes les occurrences, y compris les jours où le cheval désigné ne vous inspire pas. Un résultat de backtest n'est valable que pour quelqu'un qui applique la règle mécaniquement.
• Il ne remplace pas le jugement. Deux méthodes peuvent afficher le même bilan et n'avoir pas du tout la même valeur, selon la manière dont ce bilan a été obtenu.

Les conditions d'un test honnête

Un backtest ne vaut que par la rigueur de son protocole. Quatre exigences, aucune n'est facultative.

Une règle écrite avant de regarder les résultats. C'est la première et la plus enfreinte. Explorer l'historique puis fabriquer la règle qui colle à ce qu'on y a vu ne prouve strictement rien : on décrit le passé, on ne le teste pas. L'ordre correct est : idée → règle → test.

Une période assez longue et assez variée. Une saison ne suffit pas. Il faut de l'hiver et de l'été, du terrain souple et du terrain sec, des grandes réunions et des petites. Une méthode testée sur six mois de belle saison a surtout mesuré la belle saison.

C'est particulièrement vrai pour une règle étroite, qui ne se déclenche que quelques fois par mois. La bonne réaction, quand l'échantillon paraît mince, est d'allonger la période, pas d'élargir la règle. Un angle qui sort trois fois par mois donne une bonne centaine de cas sur trois ans : c'est parfaitement testable, à condition de tester trois ans.

Des données disponibles au moment du pari. Un backtest ne doit jamais utiliser une information qui n'existait pas avant le départ. C'est évident pour l'arrivée ; ça l'est moins pour certains indicateurs calculés après coup, ou pour la cote : celle qui compte est celle du départ, pas une valeur reconstituée ensuite.

Une gestion neutre. Testez d'abord à masse égale : une unité par cheval, ni plus ni moins. Une progression de mises peut faire briller n'importe quelle méthode sur une période courte, et la détruire sur une longue. La masse égale ne raconte pas d'histoire : elle montre la sélection nue. La gestion viendra après, si la sélection tient.

Les cinq chiffres, dans le bon ordre

Un résultat de backtest affiche beaucoup de choses. Lisez-les dans cet ordre-là : il n'est pas indifférent.

1. Le nombre de courses, avant tout le reste

C'est le chiffre qui décide si les autres ont un sens. Une réussite de 75 % sur douze courses n'apprend rien : c'est du bruit. La même sur trois cents courses commence à parler. Il n'existe pas de seuil magique, mais un réflexe simple : en dessous de quelques dizaines d'occurrences, considérez que vous n'avez pas encore de résultat, seulement une piste.

Attention à ne pas confondre deux choses très différentes : une règle qui joue peu et une règle testée sur peu de cas. La première est un choix : c'est même tout le principe de la micro-sélection, qui ne se déclenche que lorsque la configuration est là. La seconde est un défaut de protocole, et il se corrige en remontant plus loin dans l'historique.

2. Le taux de réussite

C'est la fondation. Il mesure la qualité de l'angle indépendamment des prix rencontrés, et il est stable : il bouge peu d'une période à l'autre quand la méthode est bonne. C'est précisément pour cela qu'il faut le regarder avant le rendement.

3. Le nombre de chevaux par course

Un chiffre trop souvent ignoré, et pourtant décisif. Une méthode qui retient cinq chevaux sur douze partants affichera forcément une belle réussite : elle n'a presque rien sélectionné. Rapportez toujours la réussite au nombre moyen de chevaux joués : c'est ce rapport, et non la réussite seule, qui dit si la sélection est tranchante.

4. Le rendement

Exprimé en base 100 (100 = équilibre), il intègre les cotes. Il est beaucoup plus instable que la réussite, parce qu'il dépend d'un petit nombre de gros rapports : à réussite parfaitement égale, un mois peut sortir à 57 et un autre à 144, selon qu'on a croché un 15/1 ou aucun.

D'où la règle : la réussite est la fondation, le rendement est ce que vous en faites. Un rendement flatteur assis sur une réussite faible et deux gros rapports n'est pas une méthode, c'est une anecdote.

5. La plus longue série perdante

Le chiffre que personne ne regarde et qui décide de tout. Il répond à la seule question qui compte vraiment : aurais-je tenu ? Une méthode rentable sur l'année mais qui traverse vingt-deux paris perdants d'affilée est une méthode que vous abandonnerez au quinzième. On ne perd pas parce que la méthode est mauvaise : on perd parce qu'elle est invivable.

Les cinq erreurs qui fabriquent de fausses réussites

1. Écrire la règle après avoir vu les résultats. Déjà citée, elle mérite la première place. Elle est d'autant plus tentante qu'elle ne se sent pas : on croit affiner une idée alors qu'on recopie le passé.

2. Ajouter des critères jusqu'à ce que les chiffres deviennent beaux. À force de rétrécir au jugé, on finit toujours par isoler une combinaison brillante, sur quinze courses. Que les choses soient claires : le problème n'est pas d'être étroit, c'est de l'être sans raison. Une bonne micro-sélection est étroite parce que son angle l'est, et chacun de ses critères s'explique en une phrase de turfiste. Une mauvaise est étroite parce qu'on a serré les curseurs jusqu'à ce que le chiffre plaise. Même nombre de critères, deux démarches opposées.

3. Tester sur la période qui arrange. Une méthode qui ne fonctionne que sur 2024 n'est pas une méthode, c'est une description de 2024. Faites varier la fenêtre : si le résultat s'effondre dès qu'on la déplace, vous avez votre réponse.

4. Extrapoler hors du domaine de l'angle. Un angle testé sur le trot attelé de Vincennes est validé pour le trot attelé de Vincennes, et pas ailleurs. Ce n'est pas une faiblesse : un angle a le droit d'être spécialisé, c'est même souvent sa force. La faute serait de conclure qu'il marchera aussi au galop, ou en province, sans l'avoir vérifié.

5. Juger sur le rendement seul. C'est l'erreur du débutant pressé, et parfois celle du vendeur de méthode, qui n'affiche que ce chiffre-là. Demandez toujours les quatre autres.

Après le backtest : que faire du résultat

Un backtest concluant n'est pas une fin, c'est un feu vert conditionnel. Trois étapes ensuite.

Rejouer la règle sur une autre période que celle qui l'a fait ressortir. C'est le test le plus dur et le plus utile : ce qui y survit mérite votre confiance.

Assumer que toute retouche relance le test. Ajuster une règle après l'avoir éprouvée est parfaitement légitime : c'est même ainsi qu'on progresse, et c'est tout l'objet de l'explorateur de variantes. Ce qu'il faut simplement garder en tête, c'est que la version retouchée n'hérite pas de la crédibilité de la précédente : elle redevient une candidate, à confronter à son tour à une période qu'elle n'a pas servi à régler. Le va-et-vient est sain ; ce qui ne l'est pas, c'est de le mener dix fois et de ne retenir que le meilleur chiffre du lot.

Ne pas la jouer seule. Une règle étroite, même excellente, ne se déclenche pas assez souvent pour faire un quotidien, et son échantillon reste mince. La réponse n'est pas de l'élargir jusqu'à la dénaturer, c'est d'en accumuler plusieurs, indépendantes : l'ensemble devient à la fois plus solide et plus actif que chacune de ses parties.

Reste la question pratique : tout cela suppose une base de courses historisée, des critères mesurables et un moteur capable de rejouer une règle sur plusieurs saisons en quelques secondes. C'est précisément ce que fait l'éditeur de Dataturf Critérium, avec, à côté, un explorateur qui teste automatiquement les variantes d'une règle pour voir si un réglage voisin ferait mieux.