Forecast comparison of volatility models and their combinations (FTSE100): a tied race

Abstract

I first compare 74 models that include the main naïve, ARMA, GARCH, and HAR models from the volatility forecasting literature to assess their out-of-sample performance for day- ahead forecasts. For the FTSE100 index in the period of 2005-2010, all HAR and GARCH models and some ARMA and exponential smoothing models perform similarly to each other. I then test 176 model combinations (meaning that 250 models are compared in to- tal) in the period of 2007-2010, and observe that the average performance has less variance and is always slightly improved. This tendency is not observed with complex weighting schemes, which are based on regularized regression (i.e., Lasso, Ridge and Elastic Net); and this tendency is marginally larger when excluding underperforming models and equal weighting the forecasts of the remaining models (i.e., trimming). But, overall, as observed in the relevant literature, all reasonably adequate models tend to have identical performance, so past research seems to have overstated the improvements generated by new models. An additional problem is that, according to the literature, even large performance gains with the loss functions used seem to rarely translate into improvements in economic applica- tions, such as risk management and portfolio optimization. Because of this, I argue that subsequent research must use metrics directly related to these applications.

Eu primeiro comparo 74 modelos que incluem os principais modelos simples, ARMA, GARCH, e HAR da literatura sobre o desempenho sem retrospetiva de modelos de volatil- idade do dia seguinte. Para o índice FTSE100 no período de 2005-2010, todos os modelos HAR e GARCHe alguns modelosARMAe de alisamento exponencial têm um desempenho similar. Eu, posteriormente, testo 176 combinações de modelos (o que significa que 250 modelos são comparados na totalidade) no período de 2007-2010, e observo que o desem- penho médio tem menor variância e é sempre ligeiramente melhorado. Esta tendência não é observada com esquemas de ponderação complexos, que são baseados em regressões reg- ularizadas (i.e., Lasso, Ridge e Elastic Net); e esta tendência é marginalmente maior quando se excluem modelos com mau desempenho passado e se ponderam igualmente as previsões dos modelos remanescentes (i.e., trimming). Mas, no geral, tal como é observado na liter- atura relevante, todos os modelos razoavelmente adequados tipicamente têm um desem- penho idêntico, portanto a pesquisa passada parece ter exagerado ao reportar as melho- rias geradas por novos modelos. Adicionalmente, existe um problema em que, de acordo com a literatura, mesmo em casos em que existem grandes melhorias no desempenho men- surado através das funções de perda usadas, isso raramente parece levar a melhorias em contextos económicos aplicados, tal como a gestão de risco e otimização de portefólios. Por causa disto, eu argumento que pesquisa subsequente tem de usar métricas diretamente rela- cionadas com estes contextos aplicados.