Encuestas y pronósticos


Las encuestas normalmente se ofertan como instrumentos para hacer proyecciones o para bajar la incertidumbre sobre algún tema. Por ejemplo los resultados de las elecciones, la aprobación de figuras públicas y cosas por el estilo, bueno, eso es al menos en las encuestas que pretenden ser serias, porque hay otras -como las de Marta Lagos- que son solo productos para vender desinformación y propaganda.

Pero hablemos de encuestas que publican sus metodologías, que no manipulan los datos de base, que usan muestras con aleatoriedad y representatividad calculadas matemáticamente, y que cumplen con todos los requisitos de la estadística inferencial que permiten hacer «prediciiones educadas»-

El caso de las encuestas electorales es interesante, porque ese es uno de los muy pocos casos en que la validez del instrumento y su potencia de predicción pueden ser confrontadas con el resultado real de un censo, en un corto período de tiempo cuando se conocen los resultados de la elección.

Entre las encuestadoras chilenas creo que hay una sola que cumple con las condiciones metodológicas de rigor y seriedad como acabo de describir, es la encuesta del Centro de Estudios Públicos (CEP), las demás como Cadem, Criteria y una multitud de otras empresas chicas simplemente se dedican a forrarse en plata creando productos a la medida de sus clientes políticos: confianza cero.

Bueno, el asunto es el siguiente me parece que CEP hizo su última encuesta en abril-mayo 2022, leo en la prensa lo siguiente:

Resultados Encuesta CEP: 37% aún no ha decidido cómo votará en el plebiscito de salida
A pocos meses del proceso eleccionario, el sondeo mostró que un 27% de los consultados optaría por el Rechazo a la nueva Constitución, mientras 25% optaría por el Apruebo. Sin embargo, dicha diferencia estadísticamente no sería «significativa».

Ya todos sabemos que la opción rechazo ganó por veinticuatro puntos porcentuales, siendo que en una medición de abril la única encuesta seria pronosticaba un empate estadístico. Algo anda mal aquí y si no hubo manipulación de los datos, cosa que dudo y si el diseño de la muestra tomó todos los resguardos para que fuera representativa, cosa que parece desprenderse de la ficha técnica, entonces la conclusión lógica es que la estadística inferencial no es un instrumento adecuado para hacer inferencias y menos pronósticos.

A mi no me interesan las implicancias políticas de esto, pero creo que las técnicas son infinitamente más amplias. Si una encuesta metodológicamente bien hecha, rigurosa, es incapaz fe hacer un pronóstico medianamente cercano sobre un problema sencillícimo, como es quien ganará entre dos alternativas ¿Cómo es posible que tengamos confianza en experimentos estadísticos de doble ciego en cuestiones de tratamientos, vacunas y epidemias? ¿Cómo podemos confiar en los estudios econométricos que hacen ministerios y el Banco Central? ¿Cómo podemos ver con confianza la evaluación de impacto de los proyectos sociales, que deciden inversiones billonarias del estado?

Estos problemas que he mencionado y muchos otros, que «investigan» usando la estadística inferencial,  resultan ser un fraude, aunque aparezcan en papers de revistas de «alto impacto» y por más que tengan el valor que sea de r cuadrado, que todos los cálculos sean correctos y que no exista sesgo de ninguna clase. Es nuestra ignorancia la que nos da seguridad, las certezas de los ignorantes son rotundas.

Es una ignorancia creer que la complicación matemática tiene virtudes de magia negra, que un largo y complicado set de ecuaciones y sus cálculos nos permiten ver el futuro. Y lo peor es que no se trata de seudociencia, es ciencia pura y dura, aunque pésimamente aplicada.

Ojo, porque pronosticar el resultado de un plebiscito con solo dos opciones es un problema ridículamente simple comparado con las otras cosas que se «investigan» usando la estadística inferencial, que están sujetos a multitud de ruidos y variables, tanto evidentes como ocultas. La clave que permite sobrevivir a este «engaño científico» es que -a diferencia de las elecciones donde tenemos resultados y podemos comprobar enseguida si el pronóstico fue correcto o  no- en todos los demás problemas no hay forma de saberlo, no existe ninguna manera de conocer el acierto o fallo con certeza, «el papel aguanta todo».

Las vacunas y epidemias; las fluctuaciones de la economía y los precios; el impacto social de los proyectos y miles de otras cosas que se «pronostican» usando la estadística infernecial son chamullos disfrazados de ciencia. La estadística es el nuevo fetiche, que usan los grupos de poder o interés especial para manipular la opinión en un mundo lleno de ignorantes. Esta masa -que incluye acade´micos y doctores- no tienen capacidad de pensamiento crítico y se tragan sin masticar cualquier argumento de autoridad que les metan por la boca.