Els comerciants que desitgen provar una idea comercial en un mercat directe sovint cometen l’error de confiar completament en resultats de prova per determinar si el sistema serà rendible. Si bé el test de prova pot proporcionar als comerciants informació valuosa, sovint és enganyós i només és una part del procés d'avaluació.
Les proves fora de mostra i les proves de rendiment endavant proporcionen una confirmació addicional sobre l'eficàcia del sistema i poden mostrar els colors reals del sistema abans que els efectius reals estiguin en línia. Una bona correlació entre els resultats de les proves de test posterior, fora de mostra i el rendiment endavant és vital per determinar la viabilitat d’un sistema de negociació.
Conceptes bàsics de backtesting
El backtesting fa referència a l'aplicació d'un sistema de negociació a dades històriques per verificar com s'hauria comportat un sistema durant el període de temps especificat. Moltes de les plataformes comercials actuals admeten proves. Els comerciants poden provar les idees amb poques pulsacions de teclat i conèixer millor l'eficàcia d'una idea sense arriscar fons en un compte de negociació. El test de prova pot avaluar idees senzilles, com ara com es realitzaria un crossover mitjà en dades històriques o sistemes més complexos amb diversos inputs i desencadenants.
Sempre que es pugui quantificar una idea, es pot testar posteriorment. Alguns operadors i inversors poden buscar l'experiència d'un programador qualificat per desenvolupar la idea de forma verificable. Típicament, es tracta d’un programador que codifica la idea en el llenguatge propietari allotjat per la plataforma comercial. El programador pot incorporar variables d’entrada definides per l’usuari que permeten al comerciant “ajustar” el sistema.
Un exemple d’això seria en el senzill sistema de creuament de mitjana mòbil indicat anteriorment: El comerciant seria capaç d’introduir (o canviar) les longituds de les dues mitjanes mòbils utilitzades en el sistema. El comerciant podria fer un test posterior per determinar quines longituds de les mitjanes mòbils haurien donat el millor rendiment a les dades històriques.
Estudis d’optimització
Moltes plataformes comercials també permeten estudis d’optimització. Això comporta introduir un rang per a l’entrada especificada i deixar que l’ordinador “faci les matemàtiques” per esbrinar quina entrada hauria obtingut el millor. Una optimització de diverses variables pot fer les matemàtiques per a dues o més variables per determinar quines combinacions haurien aconseguit el millor resultat.
Per exemple, els comerciants poden indicar al programa quines entrades voldrien afegir a la seva estratègia; aleshores, s'optimitzarien els seus pesos idonis, donades les dades històriques provades.
El test de prova pot ser emocionant, ja que sovint es pot transformar màgicament un sistema poc rendible en una màquina de guanyar diners amb poques optimitzacions. Malauradament, ajustar un sistema per assolir el màxim nivell de rendibilitat passada sovint condueix a un sistema que no tindrà un bon rendiment en la negociació real. Aquesta sobre-optimització crea sistemes que només es veuen en paper.
L’adaptació per corbes és l’ús d’analítiques d’optimització per crear el major nombre de operacions guanyadores amb el màxim benefici de les dades històriques utilitzades en el període de prova. Tot i que sembla impressionant en els resultats de prova, l’ajustament de corbes condueix a sistemes poc fiables, ja que els resultats estan essencialment dissenyats a mida per a aquestes dades i períodes de temps concrets.
La prova i l’optimització de proves proporcionen molts avantatges a un comerciant, però això només és part del procés quan s’avalua un potencial sistema de negociació. El següent pas d’un comerciant és aplicar el sistema a dades històriques que no s’han utilitzat en la fase de test inicial.
In-Sample Versus Dades fora de mostra
Quan es prova una idea de dades històriques, és útil reservar un període de temps de dades històriques per a proves. Les dades històriques inicials en què es prova i s'optimitza la idea es coneixen com a dades de la mostra. El conjunt de dades que s’ha reservat es coneix com a dades fora de mostra. Aquesta configuració és una part important del procés d’avaluació perquè proporciona una manera de provar la idea sobre dades que no han estat components del model d’optimització.
Com a resultat, la idea no ha estat influenciada de cap manera per les dades fora de mostra, i els comerciants podran determinar el funcionament del sistema amb dades noves, és a dir, en la negociació real.
Abans d’iniciar qualsevol prova de prova o d’optimització, els comerciants poden deixar de banda un percentatge de les dades històriques a reservar per a proves fora de mostra. Un dels mètodes és dividir les dades històriques en terços i segregar un terç per utilitzar-les en proves fora de mostra. Només s'han d'utilitzar les dades de la mostra per a la prova inicial i qualsevol optimització.
La figura següent mostra una línia de temps en què un terç de les dades històriques es reserven per a proves fora de mostra i dos terços s’utilitzen per a proves en mostra. Tot i que a la figura següent es descriuen les dades fora de mostra al començament de la prova, els procediments típics tindrien la porció fora de mostra immediatament anterior al rendiment endavant.
Línia de temps que representa la longitud relativa de les dades de mostreig i fora de mostra utilitzades en el procés de prova. Imatge de Julie Bang © Investopedia 2020
La correlació fa referència a similituds entre les actuacions i les tendències generals dels dos conjunts de dades. Les mètriques de correlació es poden utilitzar per avaluar els informes de rendiment de l'estratègia creats durant el període de prova (una característica que proporcionen la majoria de plataformes comercials). Com més forta sigui la correlació entre tots dos, millor serà la probabilitat que un sistema funcioni bé en proves de rendiment endavant i en negociació en directe.
La figura següent mostra dos sistemes diferents que es van provar i optimitzar en dades in-mostra, i després es van aplicar a dades fora de mostra. El gràfic de l'esquerra mostra un sistema clarament en forma de corba per funcionar bé en les dades de la mostra i va fallar completament en les dades fora de la mostra. El gràfic de la dreta mostra un sistema que va funcionar bé a les dades de fora i de fora de mostra.
Dues corbes d'equitat. Les dades de comerç abans de cada fletxa groga representen proves en mostra. Les operacions generades entre les fletxes grogues i vermelles indiquen proves fora de mostra. Les operacions després de les fletxes vermelles són de les fases de proves de rendiment endavant.
Una vegada que s'ha desenvolupat un sistema de negociació amb dades de mostra, ja està preparat per aplicar-lo a les dades fora de la mostra. Els comerciants poden avaluar i comparar els resultats de rendiment entre les dades de la mostra i fora de la mostra.
Si hi ha poca correlació entre les proves en mostra i fora de mostra, com el gràfic esquerre de la figura de dalt, és probable que el sistema s’hagi optimitzat en excés i no tingui un bon rendiment en la negociació en directe. Si hi ha una forta correlació en el rendiment, tal com es veu al gràfic adequat, la següent fase d’avaluació implica un tipus addicional de proves fora de mostra conegudes com a proves de rendiment endavant.
Fonaments de proves de rendiment endavant
Les proves de rendiment endavant, també conegudes com a comerç de paper, proporcionen als comerciants un altre conjunt de dades fora de mostra sobre les quals poder avaluar un sistema. La prova de rendiment endavant és una simulació del comerç real i consisteix en seguir la lògica del sistema en un mercat actiu. També s’anomena comerç de paper ja que totes les operacions s’executen només en paper; és a dir, les entrades i sortides comercials es documenten juntament amb qualsevol benefici o pèrdua del sistema, però no s’executen operacions reals.
Un aspecte important de les proves de rendiment endavant és seguir exactament la lògica del sistema; en cas contrari, és difícil, si no és impossible, avaluar amb precisió aquest pas del procés. Els comerciants haurien de ser sincers sobre les entrades i sortides comercials i evitar comportaments com ara comerços de cirera o no incloure un comerç sobre paper racionalitzant que "mai no hauria pres aquest comerç". Si el comerç s’hagués produït seguint la lògica del sistema, s’hauria de documentar i avaluar.
Molts corredors ofereixen un compte de negociació simulat on es poden realitzar operacions i calcular els resultats i pèrdues corresponents. L'ús d'un compte de negociació simulat pot crear una atmosfera semi-realista on practicar la negociació i avaluar encara més el sistema.
La figura anterior també mostra els resultats de les proves de rendiment endavant en dos sistemes. Un cop més, el sistema representat al gràfic de l’esquerra no aconsegueix molt més enllà de la prova inicial de dades en mostra. El sistema que es mostra al gràfic correcte, però, continua funcionant bé durant totes les fases, incloses les proves de rendiment endavant. Un sistema que mostra resultats positius amb una bona correlació entre proves de mostreig, fora de mostra i rendiment de futur és preparat per a la seva implantació en un mercat directe.
La línia de fons
Backtesting és una valuosa eina disponible a la majoria de plataformes comercials. Dividir dades històriques en diversos conjunts per proporcionar proves en mostra i fora de mostra, pot proporcionar als comerciants un mitjà pràctic i eficaç per avaluar una idea i un sistema de negociació. Com que la majoria de comerciants utilitzen tècniques d’optimització en el test de prova, és important avaluar el sistema en dades netes per determinar-ne la viabilitat.
Continuar la prova fora de la mostra amb proves de rendiment endavant proporciona una altra capa de seguretat abans de posar un sistema al mercat arriscant efectiu real. Els resultats positius i una bona correlació entre el test de retracte en mostra i fora de mostra i les proves de rendiment endavant augmenten la probabilitat que un sistema funcioni bé en la negociació real.
