Con la proliferación de ETFs (que no siempre es buena) para todo tipo de modas y necesidades, los inversores debemos ser cuidadosos con estrategias que prometan retornos fabulosos. Esto no sólo aplica para ETFs, sino también para Fondos o estrategias de trading. En Wall Street hay un dicho: when the ducks quack feed them. Si la gente demanda más productos “innovadores” y diversidad, Wall Street se los dará sin importar la calidad, seguridad, coste o veracidad de los beneficios.
Como entusiasta e inversor de ETFs, he invertido en varios y he analizado muchos más. No he escrito posts de la mayoría de los ETFs que he estudiado porque no lo merecían (aunque creo que he escrito algunos que tampoco lo merecían) y no es porque sepa con anticipación el desempeño que tendrán, sino porque después de leer su prospecto y la estructura de su índice, no logro entender muy bien las causas que podrían brindar el exceso de retorno o simplemente veo que el backtest tiene sesgos importantes. En este post trataré de escribir algunos de los puntos que merecen atención del inversor a la hora de analizar cualquier ETF o Fondo y los supuestos retornos que el backtest de la estrategia muestra. Tal vez no sea capaz de prevenir un timo, pero espero sirva como complemento.
Consideraciones:
- Muestra pequeña, no representativa y/o demasiado homogénea.
- Muestra con rangos temporales cortos o selectivos para épocas de buen desempeño o dentro de la famosa Gran Moderación. Lo mejor es conocer el desempeño de la estrategia probándola fuera de la muestra del backtest.
- Revisar el hold-out de la muestra. Esto quiere decir que si tenemos una serie anual de 20 años, pero nuestro periodo de tenencia es de 5 años, el subconjunto que el backtest utilizará de posibles combinaciones es realmente pequeño. Sería mejor una serie de 20 o más años diaria o semanal.
- Rangos temporales demasiado largos (100 años), donde los outliers son suavizados por la ley de los grandes números. Recordad que siempre existe la posibilidad de caer o empezar en un outlier, un evento raro con pocas probabilidades pero con efectos desastrosos. Además podemos tener la mala suerte que nuestro horizonte de inversión coincida con el tiempo de recuperación del suelo a la media. En series con periodos largos siempre es buena idea (y sobre todo cuando hablamos de dinero) analizar los outliers con detalle.
- Derivado del punto anterior, recomiendo revisar minuciosamente el comportamiento de los peores escenarios, investigar el tiempo de recuperación (cuánto tarda en regresar a la media), las probabilidades de caer en ellos, las probabilidades de salir vivos de ahí, el impacto que pueden tener en nuestra cartera, que herramientas podemos utilizar para minimizar los daños como position sizing, etc. En pocas palabras todo backtest debe venir acompañado de las estadísticas y probabilidades de sus Drawdowns. Pensad primero en los Riesgos y después en los Beneficios.
- El backtest no sólo debe utilizar conceptos y medidas de estadística como promedio, mediana, varianza, etc. También debe utilizar la probabilidad como Valor Esperado, Densidad o Eventos mutuamente excluyentes.
- La correlación entre variables no es todo, hay que fijarnos en la co-integración, porque no basta que dos variables se muevan en aparente sincronía, también hay que analizar la magnitud e intensidad de los movimientos. Así mismo, es importante distinguir si la correlación es espuria, ie, ha sido resultado de la casualidad y/o de una tercera variable desconocida que es la que realmente influye en las dos que estamos estudiando.
- Ciclos y reversión a la media. Debido a que la mayoría de las estrategias tienden a saturarse cuando están de moda y sus retornos son altos, lo más lógico es que mientras más personas la adopten, su alpha comenzará a disminuir y cuando ésta sea negativa los participantes la abandonarán por la siguiente novedad y así sucesivamente. Entonces, podemos asumir que generalmente las estrategias también tienen sus ciclos y por lo tanto reversión a la media. Siempre es útil reconocer ambos conceptos en todo backtest.
- Además de utilizar rangos temporales estáticos, también hay que utilizar rangos móviles (rolling), porque un buen backtest no sólo dirá qué pasó si invertimos durante los últimos X años, sino también qué hubiera pasado si hubiésemos invertido en cualquier permutación de 10 años.
- Distinguir si las variables en las que se apoya la tesis de la estrategia son estacionales o no-estacionales y si han sido analizadas de acuerdo a esto.
- Ver si el backtest asume relaciones lineales entre variables que realmente son no-lineales.
- Ver más allá de las estadísticas, probabilidades y beneficios que el backtest muestra. Es decir, saber si la tesis y comprobación de la estrategia está fundamentada en:
- Un proceso racional. Esto quiere decir que: exista una hipótesis y cada uno de sus supuestos haya sido sometido a una demostración empírica para dejar fuera ejemplos anecdóticos; que esté basado en datos robustos y no en únicamente en narrativas que aprovechan la actual tendencia y/o sentimiento; que tenga filtros para eliminar lo más que pueda los sesgos cognitivos inherentes al ser humano y la toma de decisiones discrecional.
- Simple. Que sea fácil de entender, actualizar, seguir y comprobar sin demasiadas ambigüedades; que utilice las menos variables posibles porque en sistemas dinámicos adaptables es difícil saber ex ante el resultado de su interacción.
- Agnóstico. La estrategia debe reconocer que la Bolsa se mueve por ciclos y probabilidades, por lo tanto su desempeño no puede ser una línea recta de 45°. Habrá periodos de buen y mal desempeño.
- Los mejores backtests son aquellos que publican sus resultados junto con los datos sin procesar para que cualquier persona de a pie pueda replicar el estudio. Digo que son mejores porque cuando los datos son de dominio público es menos probable o al menos más difícil su manipulación.
- Todo backtest debe de ser comparado con su benchmark respectivo. No todas las estrategias pueden compararse siempre con el SP500, algunas deberán compararse con el Russell2000, otras con el MSCI Emerging Markets, etc
- Revisar las gráficas del backtest y su benchmark en escala logarítmica y no sólo en escala lineal. No es que una sea mejor que otra, sino que cada una muestra partes diferentes de un mismo Todo.
- Cuidado con los backtests que tratan de sobre-optimizar los resultados añadiendo capas y capas de filtros, porque al final quedará una mutación que sólo funcionará para lo que ya ha pasado, pero quién sabe si funcionará para lo que el futuro tiene preparado. Siempre es bueno algo de volatilidad en el comportamiento de todo backtest, ya que le da un poco de robustez y slack.
- Al igual que con la tecnología donde los primeros dispositivos o programas necesitan casi siempre parches y actualizaciones, también con las nuevas estrategias de ETFs y Fondos es recomendable esperar un tiempo antes de entrar y más cuando sus backtests tienen algunas de las peculiaridades que estoy señalando.
- Debe ser evidente que el backtest está aprovechando el efecto del interés compuesto, es decir, existe la posibilidad de reinvertir, acumular y hacer aportaciones.
- Siempre es mejor comparar los rendimientos del backtest con una base rate y no contra el mejor o peor escenario.
- Resultados en términos relativo y absolutos. No importa si el backtest acierta el 60% o 90% de las veces, lo importante es que cuando falle (40% o 10%) las pérdidas acumuladas no superen a las ganancias que se tuvieron cuando acertó. La cuestión no es que la probabilidad de fracaso sea pequeña, sino que el resultado de caer en esa probabilidad mínima de fracaso gracias a la suerte o aleatoriedad sea el Game Over. Si el riesgo absoluto supera los beneficios, no vale la pena apostar, por más que en términos relativos la probabilidad de éxito sea de 99%.
- El backtest no sólo debe analizar las compras y ventas como cantidades estáticas, también debería analizarlas como cantidades dinámicas que aumentan o disminuyen dependiendo de la probabilidad (Kelly criterion)
- Preguntar si la estrategia utilizada en el backtest es exactamente igual a la estrategia que utilizará el Fondo o ETF en la vida real? A veces los backtests son sobre la generalización de una teoría mientras que la estrategia en la vida real se base en casos individuales de esa generalización.
- El punto anterior lleva a preguntar si el backtest va de lo general a lo particular o viceversa. Esto es muy importante y honestamente es un error que yo cometo con frecuencia. Por ejemplo, un backtest puede indicarnos que portafolios con bajo PER y bajo PBV generalmente tienen mejor desempeño en el largo plazo, pero el problema radica en que dichos portafolios casi siempre se componen de decenas o centenares de empresas y por lo tanto esta generalización no asegura tener un buen desempeño si escogemos 10 o 20 empresas con bajo PER&PBV. Por más que las probabilidades estén de nuestro lado, el subconjunto de empresas que hemos escogido puede no ser representativo del conjunto original.
- Revisar los posibles costes en los que la estrategia incurría, porque aunque en teoría la práctica y la teoría son iguales, en la realidad pocas veces lo son. Si agregamos el slippage, demás costes (implícitos y explícitos) e impuestos dependiendo del turnover, podría ser que los retornos disminuyan bastante. Esto es algo que aparece con letras pequeñas en el prospecto.
- Los patrones, tendencias, ciclos, momentum y modas, todas llegan a su fin en algún momento.
- La estrategia debe explicar a priori el porqué del alpha generado con un razonamiento lógico, simple y bien fundamentado. Si trata de justificar el alpha a posteriori quiere decir que la estrategia no tiene bases muy sólidas. Por eso es mejor escoger estrategias basadas en procesos probados históricamente que escoger estrategias basadas únicamente en resultados.
- Al revisar cualquier backtest es indispensable preguntar cuáles son los incentivos del presentador o patrocinador detrás de él. La mayoría de las veces es vender a cualquier precio. Si los intereses del vendedor no están alineados con los del inversor, lo mejor es decir No.
- Al final no importa lo bueno que haya sido el backtest, siempre existirá el problema de la impaciencia y falta de disciplina del inversor.
Para terminar debo decir que no importa cuántas medidas preventivas tomemos o cuantos filtros y checklists hagamos o qué tan robusto sea nuestro backtest, siempre existirá la posibilidad de fallo y perdida de capital, porque la Bolsa va de probabilidades y no de certezas, ie, habrá muchos escenarios, buenos y malos. En lo que debemos fijarnos es si la pérdida de capital es temporal o permanente, si los riesgos percibidos por el mercado ya han sido descontados y entonces utilizar la volatilidad y la incertidumbre a nuestro favor (suena más fácil de lo que es). Entre mejor entendamos el rationale, los límites y trucos detrás del backtest mayores probabilidades tendremos de ajustar nuestra estrategia para aprovechar los giros del Mercado.
Como bonus cuelgo este link que tiene una excelente herramienta de Backtest para portafolios con diferentes asignaciones de capital dependiendo la clase de activo que queráis. La pega es que sólo es en dólares y desde 1972.
http://www.portfoliovisualizer.com/ViewHistoricalReturns#analysisResults
