¡Dime lo que quiero oír, por favor, aunque no sea cierto!

Esta semana se ha publicado un informe que ha dado titulares a toda la prensa: 8 de cada 10 profesores rechazan las reválidas de la LOMCE (El Mundo, 9/8; eldiario.es, 9/8; Europa Press 9/8; madridiario 10/8; El Periódico de Aragón, 9/8; InfoLibre, 9/8), 9 de cada 10 (87.6%) creen que la LOMCE no mejora nada (El País, 9/8; El Diario Vasco, 9/8; 20 Minutos, 9/8) y la repudian (Sur, 9/8), 8 de cada 10 rechazan los currículos y evaluaciones (ABC, 9/8; Huffington Post, 9/8), etc. Si no te gusta la LOMCE, lo puedes ver como una alegría; si eres periodista y te han dejado trabajando en agosto, mes de pocas noticias, y en este día de la marmota postelectoral, una ocasión; y si eres dado a opinar sobre la educación, incluso en público, con alguna intención de influir en los demás, por ejemplo en las redes, pues es fácil que te salga un ¡Ya lo decía yo! antes de que te des cuenta. Pero si te tomas en serio el tema, y a ti mismo, mejor ir a los datos antes de cacarear las conclusiones.

Mas la paciencia no abunda. Si Twitter puede considerarse un indicador, entre el primer día de su publicación en prensa y el siguiente, la noticia fue tuiteada, retuiteada o  gustó a una extensa colección de entidades del mundo educativo: IU, Equo, Podemos, Mareas por la Escuela Pública, CCOO, STES, Marea Verde, SoyPública, EdujaFuenla, CUPUMA, Sindicato de Estudiantes, ANPE, Erguer-Galiza, Mareas en Común, PSOE de CLM, YoEstudiéenlaPública, EcoAula, Sindicato Star y una larga lista que sí, se inclina hacia la izquierda, pero es variada. No es casual: en el propio Twitter puede verse que el autor principal envió el enlace a una amplia colección de dirigentes y cuentas oficiales de la izquierda (IU, Podemos, Democracia Real, etc.) y de la “comunidad educativa” (FECCOO, FAPA, etc.). Más amplia aún es la lista de cuentas personales de activistas que se hicieron eco, pero no hace falta personalizar (no pocos, además, son amigosL).

El estudio que dio origen al revuelo, eso sí, está disponible en el repositorio de la UAM: Estudio de opinión sobre la LOMCE. Base de datos. En realidad no hay tal base de datos, la matriz de casos y respuestas que permitiría a cualquier investigador hacer su propio análisis (como la suministran el CIS, el INE, PISA y muchos equipos de investigación), sino un archivo en formato PDF con las frecuencias generales y unos cruces básicos. Existe una diferencia nada trivial entre una base de datos y un fichero en PDF: la primera permite todo tipo de procesamiento por otros investigadores o cualquier persona interesada, mientras que el segundo solo deja leer lo que el autor entrega y tal como lo entrega (para eso se inventó); en medio, la misma salida del programa SPSS que parecen haber utilizado (según la bibliografía) o una salida de hoja de cálculo habrían ofrecido bastantes posibilidades de reanálisis por terceros  sin ningún esfuerzo para los autores. Dada su apuesta declarada por el “acceso público” a “los datos y el conocimiento”, “poner la información recogida a disposición de todo el profesorado”, etc., cabía esperar algo más. Pero esto es lo de menos.

El problema real está en la muestra. El informe indica su distribución por sexo (ellos dicen género, pero apuesto a que los encuestados han respondido sobre su sexo), edad, antigüedad, titularidad del centro, etapa, función (directivo o no) y comunidad autónoma. La siguiente tabla ofrece la distribución de algunas de estas variables en la muestra (los que han respondido a la encuesta) y en el universo (el total de profesores de infantil a secundaria, según la última estadística del MECD):

Categoría	% muestra	% universo
Mujeres	58.8	71.6
Varones	40.9	28.4
Infantil y primaria	43.1	56.1
Secundaria	56.9	43.9
Centros públicos	86.9	71
Privados y concertados	13.1	29
Directivos	23.5	4.8

Tenemos, pues, una fuerte sobrerrepresentación de los varones, del profesorado de secundaria, de la enseñanza pública y de miembros de los equipos de dirección; también hay desequilibrio en la representación de las CCAA, pero no aburriré al lector con los detalles (declino buscar datos globales sobre edad y antigüedad, aunque estoy seguro de que influyen y podrían también estar desequilibradas en la muestra). ¿Da igual? Pues no. En primer lugar son categorías que a priori ya se saben relevantes. Sin necesidad tener una teoría acabada y probada al respecto no es difícil aventurar que los varones son más categóricos en sus pronunciamientos que las mujeres y tienen mayor presencia en las etapas superiores que en las inferiores, así como en los equipos directivos; que los profesores de secundaria se ven más directamente afectados por la LOMCE que los de infantil y primaria, o al menos de distinta manera; que los de la enseñanza pública y la privada probablemente no tengan la misma opinión sobre la norma (¿no es parte de un proceso de mercantilización según los autores?).

Una rápida lectura del informe indica, efectivamente, que el grado de máximo desacuerdo con la LOMCE es, en muchas de las preguntas, más del doble entre los docentes de la pública que entre los de privada y concertada, sensiblemente superior en secundaria que en infantil y primaria, así como entre los demás profesores que entre los que ocupan cargos directivos (no hay cruce por género). Por consiguiente, los resultado globales estarán sesgados y los propios autores pueden ver por qué en sus resultados parciales… pero no hacen nada. Cuando una muestra no refleja adecuadamente la composición del universo, una manera de evitar datos globales sesgados es ponderar los resultados. Ponderar es tan simple como aplicar índices correctores que compensen las descompensación de partida. Si los profesores de la pública, en este caso, son el 86.9% de la muestra pero deberían haber sido solo el 71%, se multiplica cada caso por la inversa del índice de sobrerrepresentación, 71/86.9= 0.81703107019 y el resultado es que cada 86.9 profesores de pública contarán como si fueran solo 71; y viceversa, claro está, con la privada o concertada. Con más variables a compensar se complica algo más (hay que combinar los sesgos), pero con una hoja de cálculo y un programa estadístico ordinarios lleva muy poquito tiempo dejarlo todo listo. Esta es una tarea que los autores del informe todavía pueden hacer o, al menos, liberar realmente los datos originales (no el PDF) para que lo hagan otros.

Hay otro problema más grave, aunque difícilmente tasable y a estas alturas ya insoluble, y es quién decide responder o no a una encuesta como esta. Los autores explican que el cuestionario se envió por correo electrónico “al universo de centros de públicos y concertados-privados cuyas direcciones […] fueron accesibles.” Bien, pero ¿qué universo “accesible” es ese? Hay más de veintiocho mil centros, pero ¿cuáles son los accesibles: los que tienen algún electrónico, los que solo tienen uno oficialmente asignado…? ¿Y cuáles son los privados-concertados, ya que luego tampoco se distingue y no podemos saberlo: los que reúnen ambas características o todos los de titularidad privada, sean o no concertados? Si la encuesta se envía a los centros eso explica la sobrerrepresentación de integrantes de los equipos directivos, pero también puede hacer que estos la pasen a quienes creen más conformes con sus opiniones, o que sencillamente no consideren a los más tecnofóbicos o tecnopléjicos.

Pero lo más importante es que la disposición a responder no es aleatoria. Cualquiera que haya hecho encuestas en general y en el mundo educativo en particular debería saberlo. Para empezar, hay tal diluvio de promociones comerciales, cuestionarios de satisfacción, etc., que ya es difícil obtener una respuesta de nadie sin algún tipo de contrapartida, si bien es cierto que el cuestionario de esta encuesta es tan breve y tan simple que no asusta la idea de tener que emplear mucho tiempo él. En el mundo educativo, en particular, hay una notable saturación de intervenciones externas (alumnos de prácticum, trabajos de curso, ofertas comerciales y, por supuesto, investigadores), a la vez que una extendida aversión a la transparencia. Además, es un mundo extremadamente opiniático, en el que demasiada gente tiene opiniones rotundas sobre todo lo imaginable. El primer problema de un investigador que quiera averiguar algo sobre la educación en general es evitar el riesgo de que solo le informen quienes quieren decir algo en particular. En este caso, el riesgo obvio es que se ofrezcan en tromba los enfadados con la LOMCE pero no tanto los demás, como sin duda ha ocurrido. Esos rotundos noventas y ochentas por ciento deberían hacer desconfiar a cualquiera que no haya perdido el norte o no suspire por obtener precisamente esos resultados. La idea de que la LOMCE ha sido impuesta al conjunto del profesorado desde el exterior, en vez de dividir a la profesión y a la sociedad en proporciones muy parecidas es, sencillamente, ingenua, pero esta es otra historia.

¿Y el cuestionario? Aunque en ningún momento se ofrece el cuestionario como tal (tal y como les ha llegado a los encuestados), se describe como un conjunto de 20 ítems a los que se responde con una escala Likert (muy en desacuerdo, en desacuerdo, de acuerdo, muy de acuerdo, más NS/NC). Los enunciados que se listan se corresponden bastante bien con los encabezados de las tablas de frecuencias y cruces, de modo que pueden darse por fieles. De los veinte ítems, diez preguntan al encuestado si algo es o ha sido “adecuado”. Uno de los temas repetidos por la prensa es, por ejemplo, que ocho de cada diez profesores rechazan los currícula de la LOMCE. El ítem (y supongo que la pregunta) sobre el que se mide el acuerdo o desacuerdo dice literalmente: “Los contenidos curriculares que incluye la LOMCE son los adecuados.” La Tabla 17 nos informa de que no está de acuerdo el 76.7% del profesorado (casi 8 de cada 10 como redondea la prensa), pero ¿con qué no están de acuerdo?, ¿en qué son inadecuados? Unos pueden pensar que son escasos, otros que son excesivos; unos que son demasiado académicos, otros que demasiado pedagógicos; unos que son demasiado detallados, otros que no era ese el detalle; unos que faltan horas para su asignatura, otros que sobran para la del colega; unos que no enfatizan lo bastante las competencias, otro que eso no es más que cháchara; unos que la ley ha ido demasiado lejos… en la dimensión X, otros que se ha quedado corta… ¿Cuál es la conclusión general? Si se quiere asumir riesgos, que la mayoría está descontenta, aunque lo más prudente, con estos mimbres,  sería no sacar ninguna.

El titular que más ha repetido la prensa, no sé por qué (quizá porque se aproximan, quizá porque acababa de pronunciarse el Consejo de Estado, quizá por la información suministrada por los autores), es el de que ocho de cada diez profesores rechazan las reválidas, pero el hecho es que las reválidas no aparecen en ninguna de las 20 preguntas del cuestionario ni de las 305 páginas del documento de resultados. Las más parecidas son: “La incorporación de las evaluaciones externas que realiza la LOMCE  es adecuada” y “La difusión de los resultados de los centros en las evaluaciones externas previstas en la LOMCE es adecuada”, pero, aunque las reválidas sean evaluaciones, hay muchas otras evaluaciones que no son reválidas (de diagnóstico, del profesorado, del centro). También aquí nos quedamos sin saber si la inadecuación se debe a son pocas o demasiadas evaluaciones, a que son evaluaciones o a que no son buenas evaluaciones, a que se les da suficiente o insuficiente publicidad, etc. Me temo que la mayoría de la gente que ha celebrado el informe no haya tenido duda ninguna no solo sobre la fuente (muestra, administración, etc.) sino tampoco sobre el significado: ¡¡si están en desacuerdo será por los mismos motivos que yo, que son motivos tan evidentes!!

La disposición a aceptar y difundir las conclusiones de un estudio tan, tan débil es solo una muestra más de lo que suele denominarse sesgo de confirmación, que la sabiduría popular ya expresó como el riesgo de oír solo lo que uno quiere oír. Curiosamente, esta falta de rigor científico e intelectual es perfectamente compatible con toda suerte de jaculatorias sobre eso: el rigor, la crítica, los datos, la “evidencia” científica, etc., y este caso es uno más de los que nos advierten del riesgo de llenarnos la boca con la política basada en evidencias mientras se tragan toda clase de evidencias basadas en la política. Resulta algo más penoso que esta actitud esté tan extendida, precisamente, en el mundo educativo, entre mucha de la gente a la que encomendamos la tarea de ayudar a nuestros hijos a seleccionar, interpretar y valorar la información, en vez de tragarse lo primero que encuentren. Un grado más de alarma, en fin, cuando se incurre en ello en la propia tarea investigadora, pues, como decía el sociólogo y político D.P. Moynihan: “Tiene usted derecho a su propia opinión, pero no a sus propios hechos.”