A pesar de todos los esfuerzos realizados en el campo de los Sistemas Mecánicos de Trading, MTS en adelante, todavía no existe un único método de evaluación, tanto cuantitativo como cualitativo, de los diferentes parámetros que forman un MTS. Además, pensamos que este método único y universal nunca existirá, por dos factores fundamentales: por un lado están las diferencias en las metodologías de desarrollo de estos MTS y por otro la escala de preferencias de los traders que aplican estos sistemas.
Para algunos el factor más importante es el beneficio neto (Net Profit), para otros la mayor serie de pérdidas (Max DrawDown) y también están los que prefieren sistemas con una fiabilidad alta (Profitability), es decir que el número de operaciones ganadoras frente al número total de operaciones sea satisfactorio. ¿Qué sistema elegimos? ¿Qué método de evaluación para los parámetros seleccionamos? Existen muchos métodos de aproximación y al final todos aquellos que se dedican al desarrollo de sistemas eligen aquellos que mejor se adaptan a sus preferencias personales y profesionales.
Optimización del sistema de trading
En primer lugar, vamos a introducir el concepto de optimización, siendo éste un aspecto muy importante y controvertido en el desarrollo de los MTS. Existe una opinión muy extendida al respecto: “Cuanto menos optimizado esté un sistema, más robusto será en el futuro”. También están los que se oponen frontalmente a cualquier forma de optimización, aunque esto lleva a muchos creadores de sistemas a reducir su batería de herramientas para mejorar los resultados del sistema. Nosotros estamos a favor de la optimización, siendo conscientes de que un exceso de optimización (SobreOptimización) nos puede llevar a unos resultados irreales ya que si ajustamos excesivamente nuestros parámetros a la distribución de precios del pasado, tendremos un sistema perfecto para los datos pasados, pero que bajo ninguna circunstancia ofrecerá los mismos resultados con los datos futuros, esto es lo que los anglosajones denomina curve-fitting.
La Robustez de un sistema es la cualidad que nos permite esperar en el futuro un resultado similar al obtenido con los datos pasados. Un MTS poco robusto o inestable, es aquel que en el futuro, tras un cambio en la distribución de los precios del mercado, nos lleva a obtener unos resultados mucho peores que los obtenidos en el periodo analizado. En la práctica, no existe una forma clara de evaluar la robustez, mediante los programas genéricos de análisis técnico que todos estamos acostumbrados a usar, como TradeStation, OmniTrader, o Metastock, para esto tendremos que acudir a otras herramientas de optimización, entre las que encontramos el método de prueba externa (“Out of Sample”) y el método de optimización con proyección futura u optimización proyectada (“Walk Forward”).
Es interesante proceder a un análisis visual del mapa de optimización de un valor para la evaluación de la robustez del MTS. Este método también nos permite medir la influencia de un parámetro determinado en el resultado del sistema y definir la porción del mapa de optimización donde el sistema es más robusto, esta es una herramienta imprescindible para el desarrollo de los MTS. Debemos mencionar también que este método puede ser usado para evaluar, no solo el beneficio neto (Net Profit) sino también otros parámetros como la Fiabilidad (Profitability), el promedio de beneficio/perdida por operación (AverageWin/AverageLoss), la mayor serie de pérdidas (Max DrawDown). Nosotros para simplificar la explicación del artículo, vamos a centrarnos única y exclusivamente en el análisis del beneficio neto (Net Profit), para completar el análisis de robustez.
Para graficar el mapa de optimización en tres dimensiones existen distintas herramientas y programas especializados que distribuyen los valores de los óptimos de las variables en los ejes X e Y, dejando el resultado del sistema, (medido en Net Profit, Max DrawDown, AverageWin/AverageLoss, Profitability, etc) en el eje Z. El análisis visual del mapa de optimizaciones tiene una ventaja frente a otros métodos de evaluación de los MTS. Mediante un rápido vistazo al gráfico, podemos ver la interacción global de unos parámetros frente a otros y su influencia sobre el beneficio neto, además de cómo este difiere sobre la media, permitiéndonos ver qué parámetros no debemos utilizar en el sistema.
El primer síntoma de inestabilidad lo tenemos cuando se producen saltos bruscos en la superficie debido al bajo número de operaciones, después nos fijaremos en la pendiente del mapa, ya que cuanto menor sea dicha pendiente, más robusto será el MTS. También debemos observar la superficie obtenida desde diferentes posiciones, lo que nos determinará si hemos establecido correctamente los parámetros para el proceso de optimización, es decir, si los límites establecidos en nuestro proceso de optimización fueron los apropiados. A continuación, veamos algunos puntos en común que se pueden deducir de la observación de mapas de optimización son los siguientes:
Cualquier pico en la superficie del mapa nos indica cierta inestabilidad y casualidad en los resultados obtenidos. De esta forma usaremos un sistema, donde el cambio de una unidad de un parámetro hace cambiar el resultado del beneficio de forma drástica, como podemos ver en la figura 1.
Una superficie que descienda suavemente desde un máximo, nos indica estabilidad y por lo tanto fiabilidad de los valores que se presentan como óptimos.
Si la parte con mayor beneficio está comprendida en un espacio pequeño, puede que tanto los límites seleccionados para la optimización, como el salto entre valores para dicha optimización fueran demasiado grandes. Disminuyendo ambos y aumentando la resolución, cualquier pico se puede convertir en una superficie plana y viceversa, esto es lo sucede en la figura 2.
Algunas veces uno puede ver pequeños picos en la superficie. Esto muchas veces significa que el sistema muestra cierta inestabilidad ante los cambios de un parámetro y menos sensibilidad ante otros. Por lo tanto si el rango de un parámetro permanece de forma plana durante un intervalo continuado de forma consistente frente al resto de parámetros, debemos seleccionar la escala más minuciosamente y prestar más atención en la evaluación del mapa. (Figura 3).
Figura 1 Figura 2 Figura 3
Todos los usuarios y creadores de sistemas tienen una aproximación personal sobre dicho análisis y para solventar este problema existen aplicaciones como el 3D Smartview (Rina Systems), que nos arroja la pendiente de la superficie en cada punto, haciendo que nuestra labor de selección de los óptimos más robustos, sea más objetiva.
Autor: Alexey de la Loma, director de CursosBolsa.com
Para algunos el factor más importante es el beneficio neto (Net Profit), para otros la mayor serie de pérdidas (Max DrawDown) y también están los que prefieren sistemas con una fiabilidad alta (Profitability), es decir que el número de operaciones ganadoras frente al número total de operaciones sea satisfactorio. ¿Qué sistema elegimos? ¿Qué método de evaluación para los parámetros seleccionamos? Existen muchos métodos de aproximación y al final todos aquellos que se dedican al desarrollo de sistemas eligen aquellos que mejor se adaptan a sus preferencias personales y profesionales.
Optimización del sistema de trading
En primer lugar, vamos a introducir el concepto de optimización, siendo éste un aspecto muy importante y controvertido en el desarrollo de los MTS. Existe una opinión muy extendida al respecto: “Cuanto menos optimizado esté un sistema, más robusto será en el futuro”. También están los que se oponen frontalmente a cualquier forma de optimización, aunque esto lleva a muchos creadores de sistemas a reducir su batería de herramientas para mejorar los resultados del sistema. Nosotros estamos a favor de la optimización, siendo conscientes de que un exceso de optimización (SobreOptimización) nos puede llevar a unos resultados irreales ya que si ajustamos excesivamente nuestros parámetros a la distribución de precios del pasado, tendremos un sistema perfecto para los datos pasados, pero que bajo ninguna circunstancia ofrecerá los mismos resultados con los datos futuros, esto es lo que los anglosajones denomina curve-fitting.¿Beneficio o robustez del sistema de trading?
Después de llevar a cabo algunas pruebas y descubrir los valores de nuestros parámetros optimizados que obtienen el máximo beneficio, utilizando los datos históricos. ¿Podemos esperar que con esos valores obtengamos en el futuro el máximo beneficio? La respuesta es NO. Debemos aproximarnos a la optimización como un medio para encontrar los mejores valores para nuestros parámetros, como medio para encontrar el rango de valores, que nos ofrezcan una mayor confianza y valor de predicción para los datos futuros. Se trata de un viejo problema entre dos eternos rivales, ya que nuestro objetivo está en encontrar un sistema con el mayor beneficio, y a su vez con la mayor robustez posible.La Robustez de un sistema es la cualidad que nos permite esperar en el futuro un resultado similar al obtenido con los datos pasados. Un MTS poco robusto o inestable, es aquel que en el futuro, tras un cambio en la distribución de los precios del mercado, nos lleva a obtener unos resultados mucho peores que los obtenidos en el periodo analizado. En la práctica, no existe una forma clara de evaluar la robustez, mediante los programas genéricos de análisis técnico que todos estamos acostumbrados a usar, como TradeStation, OmniTrader, o Metastock, para esto tendremos que acudir a otras herramientas de optimización, entre las que encontramos el método de prueba externa (“Out of Sample”) y el método de optimización con proyección futura u optimización proyectada (“Walk Forward”).
Es interesante proceder a un análisis visual del mapa de optimización de un valor para la evaluación de la robustez del MTS. Este método también nos permite medir la influencia de un parámetro determinado en el resultado del sistema y definir la porción del mapa de optimización donde el sistema es más robusto, esta es una herramienta imprescindible para el desarrollo de los MTS. Debemos mencionar también que este método puede ser usado para evaluar, no solo el beneficio neto (Net Profit) sino también otros parámetros como la Fiabilidad (Profitability), el promedio de beneficio/perdida por operación (AverageWin/AverageLoss), la mayor serie de pérdidas (Max DrawDown). Nosotros para simplificar la explicación del artículo, vamos a centrarnos única y exclusivamente en el análisis del beneficio neto (Net Profit), para completar el análisis de robustez.
Para graficar el mapa de optimización en tres dimensiones existen distintas herramientas y programas especializados que distribuyen los valores de los óptimos de las variables en los ejes X e Y, dejando el resultado del sistema, (medido en Net Profit, Max DrawDown, AverageWin/AverageLoss, Profitability, etc) en el eje Z. El análisis visual del mapa de optimizaciones tiene una ventaja frente a otros métodos de evaluación de los MTS. Mediante un rápido vistazo al gráfico, podemos ver la interacción global de unos parámetros frente a otros y su influencia sobre el beneficio neto, además de cómo este difiere sobre la media, permitiéndonos ver qué parámetros no debemos utilizar en el sistema.
El primer síntoma de inestabilidad lo tenemos cuando se producen saltos bruscos en la superficie debido al bajo número de operaciones, después nos fijaremos en la pendiente del mapa, ya que cuanto menor sea dicha pendiente, más robusto será el MTS. También debemos observar la superficie obtenida desde diferentes posiciones, lo que nos determinará si hemos establecido correctamente los parámetros para el proceso de optimización, es decir, si los límites establecidos en nuestro proceso de optimización fueron los apropiados. A continuación, veamos algunos puntos en común que se pueden deducir de la observación de mapas de optimización son los siguientes:
Cualquier pico en la superficie del mapa nos indica cierta inestabilidad y casualidad en los resultados obtenidos. De esta forma usaremos un sistema, donde el cambio de una unidad de un parámetro hace cambiar el resultado del beneficio de forma drástica, como podemos ver en la figura 1.
Una superficie que descienda suavemente desde un máximo, nos indica estabilidad y por lo tanto fiabilidad de los valores que se presentan como óptimos.
Si la parte con mayor beneficio está comprendida en un espacio pequeño, puede que tanto los límites seleccionados para la optimización, como el salto entre valores para dicha optimización fueran demasiado grandes. Disminuyendo ambos y aumentando la resolución, cualquier pico se puede convertir en una superficie plana y viceversa, esto es lo sucede en la figura 2.
Algunas veces uno puede ver pequeños picos en la superficie. Esto muchas veces significa que el sistema muestra cierta inestabilidad ante los cambios de un parámetro y menos sensibilidad ante otros. Por lo tanto si el rango de un parámetro permanece de forma plana durante un intervalo continuado de forma consistente frente al resto de parámetros, debemos seleccionar la escala más minuciosamente y prestar más atención en la evaluación del mapa. (Figura 3).
Figura 1 Figura 2 Figura 3Conclusión
El método de evaluación visual de los mapas de optimización, se debe tener siempre en cuenta en el momento de verificar los resultados de nuestra optimización. Entre sus ventajas se encuentra la presentación de unos resultados de forma visual y por lo tanto de rápida y simple interpretación. Después de testar una multitud de sistemas con dicho método, nos complace confirmar que es un método adecuado para realizar una discriminación de sistemas, para concentrarnos en los mejores parámetros o por lo menos lo de mayor consistencia con los datos del pasado y que nos tengan un mayor valor de predicción. La mayor desventaja del análisis visual está relacionada con la evaluación subjetiva, ya que cada persona extrae consecuencias del mapa de optimización tras su visualización, este problema lo encontramos también en la toma de decisiones mediante los patrones de gráficos del análisis técnico (Chartismo).Todos los usuarios y creadores de sistemas tienen una aproximación personal sobre dicho análisis y para solventar este problema existen aplicaciones como el 3D Smartview (Rina Systems), que nos arroja la pendiente de la superficie en cada punto, haciendo que nuestra labor de selección de los óptimos más robustos, sea más objetiva.
Autor: Alexey de la Loma, director de CursosBolsa.com
Conoce el Curso de introducción a la bolsa y el trading y el Curso de sistemas de trading con Visual Chart que imparten Alexey de la Loma y Mario Somada.
