Los defectos del estudio del CIS sobre el coronavirus

Los defectos del estudio del CIS sobre el coronavirus

El experto en demoscopia Yo, Claudio analiza en esta tribuna el último barómetro de emergencia del CIS, donde se aprecian cambios en la formulación de preguntas que alteran la serie histórica. Un segundo estudio, sobre la prevalencia del coronavirus entre la población, también muestra debilidades metodológicas que hacen que sus resultados pierdan valor

Entre el 4 y 13 de mayo de 2020 el Centro de Investigaciones Sociológicas ha realizado el segundo Barómetro de Emergencia. Los resultados de este estudio son comparables con los del correspondiente al mes de abril, toda vez que ambos han usado como tecnología de recogida de datos el teléfono.

Como los anteriores, en tanto no se publiquen los ficheros de microdatos, no es ni profesional ni prudente hacer comparaciones. Hay una pregunta en estos dos barómetros que, aunque podría compararse, la vamos a desechar porque su redacción es idiota.

La pregunta en cuestión es la P21 y dice “Refiriéndonos a la situación económica general de España al margen del COVID-19, ¿cómo la calificaría Ud.: muy buena, buena, mala o muy mala?”. En los barómetros anteriores a estos Barómetros de Emergencia la pregunta, que era al A1, decía así: “Para empezar, refiriéndonos a la situación económica general de España, ¿cómo la calificaría Ud.: muy buena, buena, regular, mala o muy mala?

“La formulación y la forma de respuesta rompen una serie histórica de varios años. Solicitamos de los responsables del CIS, que vuelvan a la formulación anterior, en los dos siguientes Barómetros de Emergencia contratados”

Hemos subrayado lo que cambia: se incluye al margen del COVID-19 y se excluye regular de las respuestas. Sin entrar en los cambios de orden de las preguntas, cuyo impacto la psicología cognitiva nos demuestra que puede afectar tanto a las respuestas como para invalidar las comparaciones, la formulación y la forma de respuesta rompen una serie histórica de varios años, que ha correlacionado razonablemente bien con la evolución económica.

Algunos han intentado ver en esta formulación un intento de manipulación. Como ejercicio de manipulación luce realmente torpe y, sin hacer un juicio de intenciones, puesto que ya hay demasiado ruido que turba mi bienestar, voy a establecer dos hechos y una petición.

Primero, los hechos. La formulación es completamente inadecuada, toda vez que exige de los entrevistados una simulación que ni pueden ni están en condiciones de hacer. Ya resulta suficientemente desafiante apostar por cuál será el futuro de la economía, como para hacerlo además en un escenario que no existe. Hay otro estudio, el Índice de Confianza del Consumidor, que pregunta por la evolución de la economía y ha mostrado poder predictivo y que ya hemos analizado en este mismo medio. Por tanto y esta es la petición, solicitamos de los responsables del CIS, que vuelvan a la formulación anterior, en los dos siguientes Barómetros de Emergencia contratados. Esto al menos, permitirá que el bache en las series generado por esta anomalía se minimice.

“La formulación es completamente inadecuada, toda vez que exige de los entrevistados una simulación que ni pueden ni están en condiciones de hacer”

Dicho esto, vamos a analizar los resultados de lo que sí es comparable. En primer lugar, la intención de voto declarada. Y digo declarada, no estimada; estimada es lo que vulgarmente se conoce como cocina. Las razones para prestar solamente atención a la intención declarada y no estimada son dos.

Por una parte, el modelo que usa el CIS para hacer la estimación no ha sido publicado, más allá de unas confusas referencias a la literatura “en la que se basa” y una lista de variables que supuestamente usa. Esta falta de transparencia no es nueva. Lleva sucediendo muchos años. Pero no es aceptable, porque en todo el mundo civilizado hay una tendencia a la transparencia de la ciencia, justamente para evitar la manipulación de los resultados, manipulación que, desafortunadamente, ha sido mucho más frecuentes de lo que sería deseable.

Y la transparencia se traduce en que los investigadores, tanto si son personas físicas como instituciones públicas o privadas, deben publicar no solamente los datos y cómo los han recolectado,  sino también los modelos matemáticos que han creado para extraer la información de esos datos.

“Esta falta de transparencia no es nueva. Lleva sucediendo muchos años”

Por tanto, usaremos o no, los “pronósticos electorales del CIS” el día que conozcamos el “modelo matemático” en que se basan. Hemos dicho, instituciones “públicas o privadas”. Por tanto esta transparencia aplica también a las “contra-programaciones” que emiten “algunos medios de comunicación” con “pronósticos” cuyos modelos desconocemos y de cuyo valor, por tanto, dudamos razonablemente.

Dado que no soy especialmente partidario de las prohibiciones, salvo de la conducir bajo los efectos del alcohol, simplemente alertaré al lector despistado que tenga en cuenta que, a día de hoy, cuando lee un pronóstico electoral, realmente no sabe lo que está leyendo. Y, dicho sea de paso, este problema no se resuelve amalgamando resultados de “diferentes estudios” como han hecho algunos en otros medios de comunicación, pues sea cual sea el modelo matemático y las simulaciones que apliquen sobre ellos, si entra basura saldrá basura.

Si alguien quiere que nos creamos sus pronósticos, que publique no solo cómo ha hecho las entrevistas, sino también los ficheros  y “su modelo de proyección”. Todo lo demás no es solo que sea puro ruido –que lo es– sino que su potencial performativo es de resultados inciertos, sobre todo si políticos adolescentes se dejan guiar por sus resultados.

“Alertaré al lector despistado que tenga en cuenta que a día de hoy, cuando lee un pronóstico electoral, realmente no sabe lo que está leyendo”

Vamos con lo que sabemos. La primera pregunta que hoy nos ocupa es “Suponiendo que mañana se celebrasen nuevamente elecciones generales, es decir, al Parlamento español, ¿a qué partido votaría Ud.?

Como era de esperar, dado que hablamos de una diferencia de 30 días, la intención de voto declarada apenas se ha movido entre los meses de abril y mayo.

El único movimiento apreciable es la caída de Vox y la subida de Ciudadanos. No podemos saber si estas diferencias son estadísticamente significativas, porque no se han publicado los elementos necesarios para hacer los cálculos.

“El único movimiento apreciable es la caída de Vox y la subida de Ciudadanos”

Nuestra hipótesis de trabajo, a la vista de lo que encontramos en el Índice de Confianza del Consumidor a propósito de VOX –donde su recuerdo de voto se esfumaba– es que sí lo son; la base de esta opinión se encuentra en una teoría económica conocida como elección racional: cuando uno adopta una conducta de free rider, es decir, se comporta de modo explícito como si no le importara el impacto de su conducta en el bienestar de los demás, provocará el rechazo de sus pares más próximos, que son quienes pueden sufrir sus consecuencias.

Si, pese a todas las advertencias, me empeño en salir a la calle como si la salud de mis vecinos no me importa, es seguro que, una parte de estos, me castigarán, no solo con separación física, sino está vez sí, con separación social y política. El sentido común, sea este lo que sea, en situaciones así se impone. Y Ciudadanos ha capitalizado algo de ese sentido común.

Esta hipótesis se  confirma atendiendo al origen del voto declarado. Vox pierde 8 puntos porcentuales entre sus votantes de diciembre (67-75); el PP gana 5 puntos entre quienes declaran haber votado a Vox (15-10). Pero al mismo tiempo, el PP captura menos, 3 puntos menos, entre quienes declaran haber votado Ciudadanos (12-15). Ciudadanos recupera 2 puntos entre quienes votaron a Vox (4-2).

Estudio sobre el coronavirus

Hay otro tema que por su relevancia no queremos dejar pasar. En su momento el Ministerio de Sanidad ha realizado un estudio para tratar de determinar la prevalencia del COVID-19 entre la población española, toda vez que todo parece indicar que una parte de los que han padecido el virus no han apreciado síntomas.

Los resultados preliminares de ese estudio, con datos recogidos entre el 27 de abril y el 11 de mayo, arrojan una prevalencia del 5%. El diseño de la muestra para este estudio nos pareció cuestionable, por razones que explicaremos brevemente más abajo.

“El diseño de la muestra para el estudio sobre prevalencia del coronavirus nos pareció cuestionable”

En el Barómetro del CIS se incluyen las siguientes preguntas, a partir de las cuales podemos obtener un indicador aproximado de prevalencia.

Incluso asumiendo un índice de error muy alto de falsos positivos, es decir, de gente que alarmada por sus síntomas contacta con el Sistema de Salud y a los que los profesionales del sistema les recomiendan guardar medidas de aislamiento, el dato nos da una idea de los potenciales sintomáticos y dejaría fuera todos los no sintomáticos.

Se supone que el dato que resulta del Estudio del Ministerio de Sanidad incluye tanto sintomáticos como asintomáticos.  Por tanto el dato del estudio del Ministerio de Sanidad debería haber arrojado un dato de prevalencia más alto. Asumiendo que la prueba del Ministerio es biológicamente concluyente nos preocupa que esté subestimando la prevalencia debido a dos posibles causas; en primer lugar, el diseño de la muestra, extraída de secciones censales y, dentro de ellas, unidades familiares, con la autocorrelación que de ello se puede derivar, la cual reduce substancialmente la representatividad de la muestra (técnicamente efecto de diseño o inflación de la varianza).

Cabría haber realizado un diseño alternativo. Dado que cada Centro de Salud –que es donde se coordina la toma de muestras– atiende a más de una Sección Censal, en lugar de haber realizado todas las tomas de muestras en la misma sección censal, habría sido más representativo maximizar la dispersión censal manteniendo la unidad familiar como unidad de recogida de muestras.

Y en caso de disponer de presupuesto, que seguramente no ha sido el mayor de los problemas, y la logística (que vistas las debilidades mostradas por el Estado al enfrentarse a esta crisis, sí lo sería) habría sido muy conveniente añadir una muestra dedicada a la medición de la difusión en redes de contactos, de modo que se pudieran obtener algunos datos preliminares sobre redes de contagio, que serán fundamentales para mantener controlados los focos de contagio.

“Es un estudio afectado por una tasa de autoselección muy alta: un 17,8% de los contactados se ha negado a participar él”

Hay un segundo dato en ese estudio, al cual creo no se le ha dado la suficiente importancia; es un estudio afectado por una tasa de autoselección muy alta: un 17,8% de los contactados se ha negado a participar en él.

Sobre las causas de esta negativa no se dice nada, pero sería muy conveniente que se publiquen. Entre estos puede haber una proporción no determinada de asintomáticos. ¿Por qué es importante la máxima precisión en el dato de la prevalencia entre asintomáticos?

Porque en ausencia de razones de peso que justifiquen no participar en un estudio de esta importancia, en la desescalada en la que estamos inmersos es mucho menos probable que quienes no han querido participar en el  estudio, una parte de los cuales pueden ser enfermos asintomáticos, adopten medidas de protección frente a otros, dada su escasa sensibilidad ante el problema al que nos enfrentamos.

Como digo no sabemos a qué se debe que una quinta parte de los contactados se hayan negado a participar. Pero podemos conjeturar que una proporción no despreciable habrá actuado de este modo selfish animado por las justificaciones generadas por todos aquéllos que se han dedicado a minimizar el problema.

No estaría de más que las campanas de todas las iglesias de España suenen para llamar a la responsabilidad. Y eventualmente otras medidas no menos contundentes, aunque no necesariamente más ruidosas.

El CIS continúa preguntando. Y desafortunadamente, dadas las restricciones de capacidad del sistema sanitario, solamente a una parte (19,2) de los que tenían síntomas compatibles (9,4) se les hizo “la prueba del coronavirus”, lo cual arroja unos resultados de incidencia muy bajos: 0,7%, toda vez que se refiere únicamente a los sintomáticos.

Confiemos en que para siguientes olas, el Sistema Nacional de Salud este mejor equipado. Es una opinión compartida (90%) que se necesitan reformas en la Sanidad.

Aunque hay matices sobre qué clase de reformas son las necesarias. En concreto son los votantes del PP quienes ven menos necesarios todas las medidas que les proponen a evaluación, especialmente aumentar las plantillas (66%).

“Si bien el coronavirus sigue siendo el principal problema del país, su notoriedad ha caído 16 puntos en un mes”

Hay un último dato en el estudio que conviene retener: si bien el coronavirus sigue siendo el principal problema del país, ¡su notoriedad ha caído 16 puntos en un mes! Aunque la OMS sigue llamando a la cautela, quizás los españoles tengan razón y sea un problema resuelto.  Aunque sea para subir en el ranking de los problemas del país “el mal comportamiento de los políticos”.

Los españoles parecen ansiosos por volver al mundo, cada uno al suyo. Aunque es improbable que esta crisis desemboque en un mundo radicalmente nuevo o diferente, no es menos cierto que requiere que todos y cada uno de nosotros seamos conscientes de que, en alguna medida, compartimos el mundo de los poetas de Cyrano de Bergerac, en el cual “Cuando ha compuesto algunos versos, el autor los lleva a la corte de las monedas, en donde residen los poetas oficiales del reino. Los verificadores oficiales ponen a prueba las piezas y, si son de buena aleación, se las tasa no según su peso, sino según su agudeza, de forma que cuando alguien muere de hambre es que es un asno, en tanto que las personas de espíritu comen siempre en abundancia”.

Dicho en otras palabras, requerirá de todos y cada uno de nosotros imaginar qué podemos hacer para estar mejor preparados, no ya para abordar la crisis de la que venimos –que sería como tasar los versos al peso, sino las que están por venir. La fragilidad es una condición inherente a todo lo humano. Y el ingenio nuestra mejor herramienta.



Se adhiere a los criterios de transparencia de

Archivado en:
Otras noticias destacadas

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información. ACEPTAR

Aviso de cookies