Pronósticos y dogmatismo metodológico

Por Hildegart A. Ahumada*

economic_forecastingUn libro sobre pronósticos recientemente muy difundido, tanto entre especialistas como no especialistas de este campo, es el de Nate Silver (2012). Entre los no especialistas que lo leyeron parecería haberse dado una suerte de entusiasmo al encontrar un reconocimiento de que las predicciones fallan a menudo. Como especialista en el tema, compré el libro con la ilusión de aprender sobre el arte de divulgación de uno de los temas más actuales, y posiblemente más difíciles, dentro de la econometría de series de tiempo, al cual le he dedicado últimamente buena parte de mi tiempo de investigación. Motivaron mi interés no solo el sugestivo título (The Signal and the Noise: Why many predictions fail and some don´t) sino el hecho de que Silver, un graduado en estadística, había logrado una increíble performance en sus predicciones en las elecciones presidenciales de EEUU en 2008 (en 49 de los 50 estados acertó el ganador). Como el autor indica, extraer las señales de la abundante y ruidosa información que hoy se encuentra fácilmente disponible es un gran desafío para la elaboración de pronósticos[1]Yo tenía mucha curiosidad por saber cuál era el enfoque metodológico y pensaba además encontrar una gran variedad de ejemplos de la problemática de pronóstico, incluso fuera del campo de la economía, que sirvieran para mis cursos. Pero lo más importante era el sugestivo mensaje inicial del libro sobre la práctica de realizar pronósticos con el que yo no podía estar más de acuerdo: “overconfidence is often the reason for faliure”. De la lectura de la primera parte del libro (alrededor de los primeros 7 capítulos) mi entusiasmo continuó, pero lamentablemente no llegó más que allí y me motivaron a escribir esta nota para contar el porqué.

El entusiasmo

En la primera parte, y a través de ejemplos sobre los problemas de realizar pronósticos en distintas áreas, se presentan una serie de importantes conceptos de una forma simple, lo que le da valor agregado a un libro de estas características. En particular, resalto tres de ellos según su importancia en orden creciente (desde mi punto de vista). En primer lugar, la idea de que un sobreajuste dentro de la muestra (in-sample), es decir que tengamos un modelo empírico que ha funcionado muy bien con los datos históricos, no es garantía de buenos pronósticos. En segundo lugar, y más importante, es la cuantificación de la incertidumbre o el reconocimiento de que los pronósticos no son solo un número sino que tienen variabilidad. En tercer lugar, y particularmente relevante para los pronósticos económicos, es el reconocimiento de que muchos procesos son intrínsecamente evolutivos, la naturaleza del fenómeno se va desenvolviendo en el curso de los acontecimientos. Como bien enseña el libro, las ideas de que un buen ajuste (digamos un R2 alto) dentro de la muestra no es necesario ni suficiente para pronósticos confiables, de que no hay que limitarse a los pronósticos puntuales ni a los intervalos de confianza sino a toda la distribución[2] y de que la presencia de cambios estructurales (breaks), son todos temas discutidos frecuentemente en la literatura[3] y que no debieran faltar en ningún libro ni curso de pronósticos.[4]

Asimismo, me parecieron muy interesantes los ejemplos del comienzo del capítulo 8 para mostrar cómo un análisis bayesiano en el contexto de pronóstico permite actualizar probabilidades en función de nueva evidencia. También, para ilustrar el problema de los “falsos positivos” o indicar la presencia de algo que en realidad no está. Esto se da en particular cuando existe un elevado grado de creencia inicial en ese algo, es decir cuando los “priors” son muy altos. La necesidad de contar con los priors es, por otra parte, reconocida.

La decepción: bayesianismo versus frecuentismo, otra vez.

Sin embargo, es en la segunda parte (p. 251 del capítulo 8 en adelante), cuando esperaba encontrar una discusión en forma simplificada de las ventajas del enfoque sugerido para pronóstico, donde me encontré con una propaganda demasiado dogmática del bayesianismo (al que el autor muchas veces refiere como “bayesland”). No me parece mal que un investigador prefiera tal o cual enfoque (y lo fundamente), mientras tenga una mente amplia que reconozca al menos virtudes y defectos de cada uno de ellos. Lo cuestionable es proponer un enfoque (bayesiano) sacando “trapitos al sol” del exponente del enfoque supuestamente alternativo (frecuentista) y ocultando los propios. Esto está mal en general, pero es más grave aún en un libro de divulgación porque genera ideas incorrectas que luego se adoptan y difunden.

En su ataque a la estadística “Fisheriana” (p.252) no encontré otro argumento que pueda ser válidamente discutido además del concepto de convergencia (en probabilidad y distribución). Según el autor, para los frecuentistas la incertidumbre en los problemas estadísticos resulta exclusivamente de recolectar datos solo de una muestra de la población y no de la población entera (p.252). Y luego afirma, que para los frecuentistas la incertidumbre subyacente en medición tiene una distribución normal o de campana (p.253) dando como contra ejemplos los casos de distribuciones distintas asociadas con las acciones o eventos de baja probabilidad como los ataques terroristas. El autor parecería indicar que hay que ser exclusivamente bayesiano para 

suponer distribuciones distintas a la normal. Esto sería un equívoco grande. ¿Solo los bayesianos utilizan los modelos financieros de volatilidad? Porque sabemos que estos modelos son solo un ejemplo de los que suponen no-normalidad. Cuando el autor se pregunta, para mostrar las falencias del enfoque frecuentista, cuál es la población relevante de los ataques del 11 de septiembre para extraer una muestra uno también podría preguntarse, ¿y el prior de 0.005 que el autor asigna a este caso no podría haber sido, al menos para unos cuantos, cero antes de esa fecha?

Pero la idea de convergencia no es exclusiva de los frecuentistas. Está también, aunque de forma distinta, en la mente bayesiana cuando, como en el caso discutido en el libro (p. 259), se afirma que nuestras creencias convergerán a los de otros y hacia la “verdad” con más evidencia a medida que transcurre el tiempo. No decir que esto es también un supuesto para analizar resulta sorprendente. Después de todo, la utilidad de usar la “evidencia reciente” es muy similar a cuando uno realiza pronósticos con un modelo econométrico habiendo observado recientemente que los parámetros cambiaron. Volvemos casi a lo mismo. Más bien, la cuestión crítica que uno se formula o debiera formularse es si considera a dicho cambio como permanente o transitorio para la estrategia a seguir (utilizar toda la muestra o solo la parte luego del cambio en el caso del modelo econométrico). Asimismo, el autor hace referencia a que la probabilidad de éxito debe interpretarse como parte de un proceso “de largo plazo”, en particular en el caso de datos ruidosos (e.g. p. 327), donde la idea de convergencia vuelve a aparecer, aunque de una forma distinta a la de los frecuentistas.

Más cuestionable aún es cuando Silver identifica como bayesiano a todo proceso de actualización, aprendizaje o convergencia (updating, learning o incluso tâtonnement[5]). Más bien sabemos que el aprendizaje de los errores de pronóstico no es exclusividad bayesiana como tampoco lo son las diferentes formas de actualizar estimaciones (“recursive” o “rolling”) ni la técnica de combinación de pronósticos.[6]

Por último, dos desilusiones más. Esperaba una discusión más amplia sobre cómo formar los priors en el contexto de pronóstico, el conocido “talón de Aquiles” de los enfoques bayesianos. En una página en las conclusiones nos dice que ellos deben venir de la experiencia pasada (individual o colectiva), los mercados, algún modelo… cuando uno esperaba algún ejemplo para la relevancia práctica.

Finalmente, en muchas partes del libro aparece la idea de medidas de “exactitud” (accuracy), pero no desarrolla este importante tema en el campo del pronóstico (excepto en una llamada al final en la que cita solo la raíz del error medio cuadrático). En el contexto bayesiano donde el resultado de los pronósticos son probabilidades no es para nada una cuestión menor.[7]

Clive Granger[8] decía que los que han publicado grandes contribuciones en la teoría de pronóstico (tal vez incluyéndose a sí mismo implícitamente dentro de este grupo) no habían sido muy exitosos en la práctica dado que seguían en la academia o los que habían sido exitosos en la práctica no habrían publicado sus métodos. Quizás, y en el mejor de los casos, este libro podría considerarse un ejemplo del segundo caso.

Referencias

Castle, J., Clements, M and Hendry, D. (2013). “Forecasting by factors, by variables, by both or neither?”. Journal of Econometrics.

Clements M. and Harvey D. (2010). “Forecast encompassing tests and probability forecasts”. Journal of Applied Econometrics, p. 1028-1062.

Elliott, G., Granger C. and Timmermann A., Editors (2006), Handbook of Economic Forecasting, Elsevier.

Hendry D. and Ericsson N., Editors(2003) Understanding Economic Forecasts, MIT Press Books, The MIT Press.

Silver N. (2012) The Signal and the Noise: Why many predictions fail and some don’t, New York: Penguin Press.


* UTDT.

[1] A raíz de ello se han aplicado una gran variedad de enfoques que incluyen desde el análisis de factores hasta métodos automáticos. Una discusión reciente se encuentra en Castle, Clements y Hendry (2013).

[2] En el libro se utilizan los histogramas, pero una herramienta de gran utilidad son los fan-chart que permiten visualizar la distribución, en reemplazo de los intervalos de confianza que requieren definir un nivel dado de confianza.

[3] Para una exposición simple sobre estos temas pueden consultarse los trabajos en Hendry y Ericsson (2003).

[4] También puede útil recalcar, como se hace en el libro, que correlación no implica “causalidad” que en realidad trasciende al objetivo de pronóstico como se sabe hoy bien en el contexto de evaluación de políticas.

[5] Para este autor, hasta la mano invisible de Adam Smith (p. 332) es bayesiana.

[6] Todos estos temas son analizados en un contexto no necesariamente bayesiano en Elliott, G., Granger C. y Timmermann A. (2006). En este libro solo uno de los 18 capítulos es dedicado al pronóstico bayesiano.

[7] Un interesante enfoque es el de encompassing, como el propuesto en en Clements M. y Harvey D. (2010).

[8] Ver Granger-facts.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s