¿No significa nada?

(The Economist. 31 de Enero de 2004. Pág. 63)

Demasiados economistas utilizan mal la estadística

Las cifras mienten, como cualquiera sabe, y los mentirosos calculan. Esto debería hacer sospechar especialmente a los economistas, dado que ellos utilizan la estadística ampliamente para probar y resolver un amplio rango de controversias. Por ejemplo, ¿Crea más paro un aumento en el salario mínimo? ¿Son predecibles los rendimientos bursátiles? ¿Influyen los impuestos en el pago de dividendos de una empresa? En los últimos años, ayudados por computadores más baratos, más poderosos e incitados por los reguladores ansiosos de sus opiniones, los economistas han analizado montones de estadísticas para responder tales cuestiones. Desafortunadamente, su guía puede estar bastante defectuosa.

   Dos economistas, Deirdre McCloskey de la Universidad de Illinois y Stephen Ziliak de la Universidad de Roosevelt, piensan que sus colegas hacen un mal trabajo con tal de que tengan sentido las cifras siendo, a menudo, presa de errores elementales. Pero su mayor queja es que, cegados por el hechizo estadístico, muchos economistas no son capaces de pensar cómo funciona realmente el mundo.

   Para ser justos, la estadística puede ser engañosa, especialmente cuando explica el comportamiento humano, que es necesariamente complicado, y al que no se le pueden aplicar leyes de hierro. Aún más, incluso si hay una relación, pueden obtenerse conclusiones equivocadas. En la Holanda medieval, se observó que había una correlación entre el número de cigüeñas que vivían sobre el tejado de una casa y el número de niños nacidos en ella. La relación era tan llamativa que, según las reglas de las matemáticas que gobiernan tales sucesos, usted podría decir con gran confianza que los resultados eran demasiado improbables como para ser realmente aleatorios. A tal relación se la denomina "estadísticamente significativa". Pero la tradición holandesa acerca del tiempo en el que las cigüeñas aumentaron de algún modo la fertilidad humana estaba claramente equivocada.

   Abundan ejemplos de errores similares. W.S. Jevons, un economista inglés de mediados del siglo XIX, pensaba que las manchas solares influían en el rendimiento de las cosechas. Más reciente y trágicamente, las madres británicas han sentido los severos efectos del abuso de la estadística. Con frecuencia se requería a un testigo especialista para que en los juicios a las madres acusadas de asesinato de sus hijos evidenciara que las probabilidades de que hubiese más de un bebé muerto en una familia eran estadísticamente tan pequeñas que tres de tales muertes equivalían a un asesinato. Basándose en esta evidencia errónea, cientos de padres han sido separados de sus hijos y muchos otros han sido enviados a prisión.

   Un fallo al separar la significación estadística de la explicación plausible es bastante común en la economía, a menudo con consecuencias dañosas. En un artículo anterior (1) los profesores McCloskey y Ziliak atacaban la superconfianza que los economistas tenían de la estadística más que del razonamiento económico, y se centraban en un caso en particular.

   En los ochenta, el Estado americano de Illinois lanzó un programa para mantener a la gente fuera del subsidio de paro. Se preguntó a los economistas si los costes superaban a los beneficios. Un estudio estimó que el programa producía unos beneficios más de cuatro veces superiores a los costes. Aunque parecía una buena operación para los contribuyentes -y otros estudios parecían apoyar esta conclusión- los autores del estudio rechazaron tales resultados porque encontraron que su estimación no era estadísticamente significativa. En otras palabras, sus resultados caían justo por debajo del 90% de certeza -la regla usual para el trabajo de la mayoría de los economistas- de no ser aleatorios.

   Lejos de ser un caso inusual, la señora McCloskey y el señor Ziliak encontraron que el 70% de los artículos publicados durante los años ochenta en la American Economic Review (AER), una de las revistas especializadas más respetadas de esta triste ciencia, fallaban al distinguir entre la significación "económica" y la "estadística". Descasaban demasiado en los números y demasiado poco en el razonamiento económico.

Cada vez más insignificante

Ambos habían esperado que las cosas mejoraran en los últimos años. Pero el caso parece ser el contrario. En su último trabajo (2), la señora McCloskey y el señor Ziliak analizaron todos los artículos de los años 90 y encontraron que más de las cuatro quintas partes de ellos eran culpables del mismo pecado. Realmente, tan penetrante es el culto de la significación estadística, dicen los autores, que los economistas nunca se plantean completamente la difícil pregunta de si los modelos que ellos descubren tienen algo significativo que decir sobre el mundo real.

   Hay una legión de ejemplos y se pueden ver en el trabajo de economistas muy distinguidos. En estudio ampliamente citado sobre el salario mínimo, dos profesores de la Universidad de Princeton, Alan Krueger y David Card pretendían mostrar que, contrariamente a lo que usted podría esperar, un aumento en los salarios mínimos causaba menos desempleo, no más. Los profesores McCloskey y Ziliak dicen que aunque sus estadísticas parecían irresistibles mostraban, en el mejor de los casos, un aumento en el empleo tan pequeño que resultaba económicamente insignificante. Más aún, el artículo no mencionaba por qué este sorprendente resultado podía ser cierto (aunque los autores han discutido esa cuestión en otra parte).

   Otro artículo criticado por la señora McCloskey y el señor Ziliak es uno cuyo co-autor es Gary Becker, un economista ganador del Nobel. Éste pretende mostrar que la adicción es racional, principalmente sobre la base de que la respuesta de la gente a las variaciones en los precios es estadísticamente significativa. Esto es interesante, pero realmente no explica mucho. Los tres autores ofrecían pocas explicaciones de por qué la gente llegaba a ser adicta -una extraña elección para ser tomada por una persona racional.

   Aún más fundamentalmente, argumentan la señora McCloskey y el señor Ziliak, el enfoque de la significación estadística significa a menudo que ellos fallan al plantearse si sus descubrimientos importan. En otras palabras, ellos miran las cosas que son estadísticamente, pero no económicamente, insignificantes. La mayoría de la gente preferiría que sus conclusiones fueran significativas en ambos sentidos. Si esto falla, la significación económica es presumiblemente más importante.
 
 

(1) "The Standard Error of Regressions". By Deirdre McCloskey y Stephen Ziliak, Journal of Economic Literature, Marzo 1996

(2) "Size Matters: The Standard Error of Regressions in the American Economic Review", Journal of Socio-Economics (en prensa)