Esta semana se ha publicado un informe que
ha dado titulares a toda la prensa: 8 de cada 10 profesores rechazan las
reválidas de la LOMCE (El
Mundo, 9/8; eldiario.es,
9/8; Europa
Press 9/8; madridiario
10/8; El
Periódico de Aragón, 9/8; InfoLibre,
9/8), 9 de cada 10 (87.6%) creen que la LOMCE no mejora nada (El
País, 9/8; El
Diario Vasco, 9/8; 20
Minutos, 9/8) y la repudian (Sur,
9/8), 8 de cada 10 rechazan los currículos y evaluaciones (ABC,
9/8; Huffington
Post, 9/8), etc. Si no te gusta la LOMCE, lo puedes ver como una alegría;
si eres periodista y te han dejado trabajando en agosto, mes de pocas noticias,
y en este día de la marmota postelectoral,
una ocasión; y si eres dado a opinar sobre la educación, incluso en público,
con alguna intención de influir en los demás, por ejemplo en las redes, pues es
fácil que te salga un ¡Ya lo decía yo!
antes de que te des cuenta. Pero si te tomas en serio el tema, y a ti mismo,
mejor ir a los datos antes de cacarear las conclusiones.
Mas la paciencia no abunda. Si Twitter
puede considerarse un indicador, entre el primer día de su publicación en
prensa y el siguiente, la noticia fue tuiteada, retuiteada o gustó a una extensa colección de entidades
del mundo educativo: IU, Equo, Podemos, Mareas por la Escuela Pública, CCOO,
STES, Marea Verde, SoyPública, EdujaFuenla, CUPUMA, Sindicato de Estudiantes,
ANPE, Erguer-Galiza, Mareas en Común, PSOE de CLM, YoEstudiéenlaPública,
EcoAula, Sindicato Star y una larga lista que sí, se inclina hacia la
izquierda, pero es variada. No es casual: en el propio Twitter puede verse que
el autor principal envió el enlace a una amplia colección de dirigentes y
cuentas oficiales de la izquierda (IU, Podemos, Democracia Real, etc.) y de la “comunidad
educativa” (FECCOO, FAPA, etc.). Más amplia aún es la lista de cuentas
personales de activistas que se hicieron eco, pero no hace falta personalizar (no
pocos, además, son amigosL).
El estudio que dio origen al revuelo, eso
sí, está disponible en el repositorio de la UAM: Estudio de
opinión sobre la LOMCE. Base de datos. En realidad no hay tal base de
datos, la matriz de casos y respuestas que permitiría a cualquier investigador
hacer su propio análisis (como la suministran el CIS, el INE, PISA y muchos
equipos de investigación), sino un archivo
en formato PDF con las frecuencias generales y unos cruces básicos. Existe
una diferencia nada trivial entre una base de datos y un fichero en PDF: la
primera permite todo tipo de procesamiento por otros investigadores o cualquier
persona interesada, mientras que el segundo solo deja leer lo que el autor
entrega y tal como lo entrega (para eso se inventó); en medio, la misma salida
del programa SPSS que parecen haber utilizado (según la bibliografía) o una
salida de hoja de cálculo habrían ofrecido bastantes posibilidades de
reanálisis por terceros sin ningún
esfuerzo para los autores. Dada su apuesta declarada por el “acceso público” a “los
datos y el conocimiento”, “poner la información recogida a disposición de todo
el profesorado”, etc., cabía esperar algo más. Pero esto es lo de menos.
El problema real está en la muestra. El
informe indica su distribución por sexo (ellos dicen género, pero apuesto a que los encuestados han respondido sobre su
sexo), edad, antigüedad, titularidad del centro, etapa, función (directivo o no)
y comunidad autónoma. La siguiente tabla ofrece la distribución de algunas de
estas variables en la muestra (los que han respondido a la encuesta) y en el
universo (el total de profesores de infantil a secundaria, según la última estadística
del MECD):
Categoría
|
% muestra
|
% universo
|
Mujeres
|
58.8
|
71.6
|
Varones
|
40.9
|
28.4
|
Infantil y
primaria
|
43.1
|
56.1
|
Secundaria
|
56.9
|
43.9
|
Centros públicos
|
86.9
|
71
|
Privados y
concertados
|
13.1
|
29
|
Directivos
|
23.5
|
4.8
|
Tenemos, pues, una fuerte
sobrerrepresentación de los varones, del profesorado de secundaria, de la
enseñanza pública y de miembros de los equipos de dirección; también hay
desequilibrio en la representación de las CCAA, pero no aburriré al lector con
los detalles (declino buscar datos globales sobre edad y antigüedad, aunque
estoy seguro de que influyen y podrían también estar desequilibradas en la
muestra). ¿Da igual? Pues no. En primer lugar son categorías que a priori ya se saben relevantes. Sin necesidad
tener una teoría acabada y probada al respecto no es difícil aventurar que los
varones son más categóricos en sus pronunciamientos que las mujeres y tienen
mayor presencia en las etapas superiores que en las inferiores, así como en los
equipos directivos; que los profesores de secundaria se ven más directamente
afectados por la LOMCE que los de infantil y primaria, o al menos de distinta
manera; que los de la enseñanza pública y la privada probablemente no tengan la
misma opinión sobre la norma (¿no es parte de un proceso de mercantilización según los autores?).
Una rápida lectura del informe indica, efectivamente,
que el grado de máximo desacuerdo con la LOMCE es, en muchas de las preguntas,
más del doble entre los docentes de la pública que entre los de privada y
concertada, sensiblemente superior en secundaria que en infantil y primaria,
así como entre los demás profesores que entre los que ocupan cargos directivos
(no hay cruce por género). Por consiguiente, los resultado globales estarán
sesgados y los propios autores pueden ver por qué en sus resultados parciales…
pero no hacen nada. Cuando una muestra no refleja adecuadamente la composición
del universo, una manera de evitar datos globales sesgados es ponderar los resultados. Ponderar es tan
simple como aplicar índices correctores que compensen las descompensación de
partida. Si los profesores de la pública, en este caso, son el 86.9% de la
muestra pero deberían haber sido solo el 71%, se multiplica cada caso por la
inversa del índice de sobrerrepresentación, 71/86.9= 0.81703107019 y el resultado es que cada
86.9 profesores de pública contarán como si fueran solo 71; y viceversa, claro
está, con la privada o concertada. Con más variables a compensar se complica algo
más (hay que combinar los sesgos), pero con una hoja de cálculo y un programa
estadístico ordinarios lleva muy poquito tiempo dejarlo todo listo. Esta es una
tarea que los autores del informe todavía pueden hacer o, al menos, liberar
realmente los datos originales (no el PDF) para que lo hagan otros.
Hay otro problema más grave, aunque
difícilmente tasable y a estas alturas ya insoluble, y es quién decide
responder o no a una encuesta como esta. Los autores explican que el
cuestionario se envió por correo electrónico “al universo de centros de
públicos y concertados-privados cuyas direcciones […] fueron accesibles.” Bien,
pero ¿qué universo “accesible” es ese? Hay más de veintiocho mil centros, pero
¿cuáles son los accesibles: los que tienen algún electrónico, los que solo
tienen uno oficialmente asignado…? ¿Y cuáles son los privados-concertados, ya
que luego tampoco se distingue y no podemos saberlo: los que reúnen ambas
características o todos los de titularidad privada, sean o no concertados? Si
la encuesta se envía a los centros eso explica la sobrerrepresentación de
integrantes de los equipos directivos, pero también puede hacer que estos la pasen
a quienes creen más conformes con sus opiniones, o que sencillamente no
consideren a los más tecnofóbicos o tecnopléjicos.
Pero lo más importante es que la
disposición a responder no es aleatoria. Cualquiera que haya hecho encuestas en
general y en el mundo educativo en particular debería saberlo. Para empezar,
hay tal diluvio de promociones comerciales, cuestionarios de satisfacción,
etc., que ya es difícil obtener una respuesta de nadie sin algún tipo de
contrapartida, si bien es cierto que el cuestionario de esta encuesta es tan breve
y tan simple que no asusta la idea de tener que emplear mucho tiempo él. En el
mundo educativo, en particular, hay una notable saturación de intervenciones
externas (alumnos de prácticum, trabajos de curso, ofertas comerciales y, por
supuesto, investigadores), a la vez que una extendida aversión a la transparencia.
Además, es un mundo extremadamente opiniático, en el que demasiada gente tiene
opiniones rotundas sobre todo lo imaginable. El primer problema de un
investigador que quiera averiguar algo sobre la educación en general es evitar
el riesgo de que solo le informen quienes quieren decir algo en particular. En
este caso, el riesgo obvio es que se ofrezcan en tromba los enfadados con la
LOMCE pero no tanto los demás, como sin duda ha ocurrido. Esos rotundos
noventas y ochentas por ciento deberían hacer desconfiar a cualquiera que no
haya perdido el norte o no suspire por obtener precisamente esos resultados. La
idea de que la LOMCE ha sido impuesta al conjunto del profesorado desde el
exterior, en vez de dividir a la profesión y a la sociedad en proporciones muy
parecidas es, sencillamente, ingenua, pero esta es otra historia.
¿Y el cuestionario? Aunque en ningún
momento se ofrece el cuestionario como tal (tal y como les ha llegado a los
encuestados), se describe como un conjunto de 20 ítems a los que se responde
con una escala Likert (muy en desacuerdo, en desacuerdo, de acuerdo, muy de
acuerdo, más NS/NC). Los enunciados que se listan se corresponden bastante bien
con los encabezados de las tablas de frecuencias y cruces, de modo que pueden
darse por fieles. De los veinte ítems, diez preguntan al encuestado si algo es
o ha sido “adecuado”. Uno de los temas repetidos por la prensa es, por ejemplo,
que ocho de cada diez profesores rechazan los currícula de la LOMCE. El ítem (y
supongo que la pregunta) sobre el que se mide el acuerdo o desacuerdo dice
literalmente: “Los contenidos curriculares que incluye la LOMCE son los
adecuados.” La Tabla 17 nos informa de que no está de acuerdo el 76.7% del
profesorado (casi 8 de cada 10 como redondea la prensa), pero ¿con qué no están
de acuerdo?, ¿en qué son inadecuados? Unos pueden pensar que son escasos, otros
que son excesivos; unos que son demasiado académicos, otros que demasiado
pedagógicos; unos que son demasiado detallados, otros que no era ese el detalle;
unos que faltan horas para su asignatura, otros que sobran para la del colega;
unos que no enfatizan lo bastante las competencias, otro que eso no es más que
cháchara; unos que la ley ha ido demasiado lejos… en la dimensión X, otros que
se ha quedado corta… ¿Cuál es la conclusión general? Si se quiere asumir
riesgos, que la mayoría está descontenta, aunque lo más prudente, con estos
mimbres, sería no sacar ninguna.
El titular que más ha repetido la prensa,
no sé por qué (quizá porque se aproximan, quizá porque acababa de pronunciarse el
Consejo de Estado, quizá por la información suministrada por los autores), es
el de que ocho de cada diez profesores rechazan las reválidas, pero el hecho es
que las reválidas no aparecen en ninguna de las 20 preguntas del cuestionario
ni de las 305 páginas del documento de resultados. Las más parecidas son: “La
incorporación de las evaluaciones externas que realiza la LOMCE es adecuada” y “La difusión de los resultados
de los centros en las evaluaciones externas previstas en la LOMCE es adecuada”,
pero, aunque las reválidas sean evaluaciones, hay muchas otras evaluaciones que no son reválidas (de diagnóstico, del profesorado, del centro). También aquí nos
quedamos sin saber si la inadecuación se debe a son pocas o demasiadas
evaluaciones, a que son evaluaciones o a que no son buenas evaluaciones, a que
se les da suficiente o insuficiente publicidad, etc. Me temo que la mayoría de
la gente que ha celebrado el informe no haya tenido duda ninguna no solo sobre
la fuente (muestra, administración, etc.) sino tampoco sobre el significado: ¡¡si
están en desacuerdo será por los mismos motivos que yo, que son motivos tan
evidentes!!
La disposición a aceptar y difundir las
conclusiones de un estudio tan, tan débil es solo una muestra más de lo que
suele denominarse sesgo de confirmación,
que la sabiduría popular ya expresó como el riesgo de oír solo lo que uno quiere oír. Curiosamente, esta falta de rigor
científico e intelectual es perfectamente compatible con toda suerte de
jaculatorias sobre eso: el rigor, la crítica, los datos, la “evidencia”
científica, etc., y este caso es uno más de los que nos advierten del riesgo de
llenarnos la boca con la política basada
en evidencias mientras se tragan toda clase de evidencias basadas en la política. Resulta algo más penoso que esta
actitud esté tan extendida, precisamente, en el mundo educativo, entre mucha de
la gente a la que encomendamos la tarea de ayudar a nuestros hijos a
seleccionar, interpretar y valorar la información, en vez de tragarse lo
primero que encuentren. Un grado más de alarma, en fin, cuando se incurre en
ello en la propia tarea investigadora, pues, como decía el sociólogo y político
D.P. Moynihan: “Tiene usted derecho a su propia opinión, pero no a sus propios
hechos.”
