PISA y sus descontentos: matar al mensajero

Un nada sorprendente manifiesto firmado por medio centenar de académicos sugiere que las pruebas PISA están echando a perder los sistemas educativos al provocar que todo se centre en los tests, que sólo se piense a corto plazo, que se olvide lo que es difícil de medir, que se ponga todo el énfasis en la preparación para el empleo, a la vez que sirven al negocio de algunas empresas privadas y dañan directamente a niños y aulas. En el pasaje más melodramático se denuncia que "el nuevo régimen PISA [sic], con su ciclo continuo de evaluación global, hace daño a nuestros niños y empobrece nuestras aulas, dado que implica inevitablemente más y más largas series de tests de respuesta múltiple, más lecciones diseñadas por los vendedores y menos autonomía de los profesores. Así, PISA ha aumentado todavía más el ya elevado estrés en las escuelas, lo que pone en peligro el bienestar de estudiantes y profesores." Luego se despacha acusando a la OCDE de colonialismo educativo, sugiere reducir la influencia de psicómetras, estadísticos y economistas y dar más peso a otros grupos profesionales y disciplinas, incluir a toda serie de organizaciones nacionales, internacionales y sectoriales... así como publicar los costes de la prueba y estimar si no estarían mejor dedicados a otros fines, saltarse la próxima ronda, dar cuenta del sospechado oscuro papel de intereses privados, etc.

A mí me parece que PISA hay que tomárselo con mucha tranquilidad y cierta distancia, como también había que hacerlo antes con TIMMS, PIRLS y otras pruebas y como habrá que hacerlo con las que vengan, pero también con el máximo interés. Los sociólogos estamos más que acostumbrados al debate entre métodos de investigación cuantitativos y cualitativos, sabemos que cada uno de ellos tiene como punto fuerte lo que el otro tiene como punto débil y, si algo hemos aprendido, es que no podemos prescindir de ninguno de los dos. Pero el problema de este manifiesto es, sencillamente, que pide arrojar por la borda un potente instrumento de información y conocimiento en aras de no se sabe qué. Por un lado, parece querer decir que la información aportada por PISA y los análisis que permite están de más, porque ya sabemos lo que tenemos que saber; por otro, que PISA es un inmenso artefacto que por sí mismo es capaz de estropear lo que dice iluminar.

Sin embargo, si hay algo que el mundo de la educación necesita como el aire es luz y transparencia, y PISA puede aportar mucho al respecto. Ya sabemos que no mide lo que no mide, que mide lo que mide y que se puede discutir cómo lo mide: adelante, pues, con el diálogo y la crítica. En el peor de los casos, PISA -como otras pruebas menos ambiciosas- aporta un instrumento de observación objetivo, es decir, que no procede directamente de los interesados en dar una visión particular, sea beatífica o apocalíptica, de la realidad. Además, permite hacer comparaciones relativamente rigurosas, y la comparación es la primera forma de conocimiento en general y, mucho más, en particular, en ámbitos como el de la educación, donde todo es tan incierto no hay manera de saber a priori qué es un resultado adecuado.

Visto desde España, podría parecer, por ejemplo, que PISA ha traído una visión catastrofista de la situación, pero nada más lejos de la realidad. Primero, porque en este país de indignados de siempre, el catastrofismo en la educación arranca al menos de los setenta del siglo pasado (¿no se acuerda nadie de la LGE, aquella ley que, según tantos, nació muerta?) y, si tiene una fuente identificable, es cierto sector del profesorado y del periodismo, como he argumentado en otras ocasiones (por ejemplo, aquí y aquí y aquí). Segundo, porque ya nos bastaban las cifras de fracaso y abandono para ser catastrofistas, o al menos para estar hondamente preocupados, y, si algo ha añadido PISA, ha sido la posibilidad de cuestionar su necesidad,

Otro hilo conductor de las críticas a PISA han sido, son y serán los malhadados rankings. Es curioso que esa obsesión florezca precisamente en un medio en general, y una profesión en particular, que han basado en otros rankings buena parte de su retórica colectiva. ¿O es que no hemos dicho y oído una y otra vez que había que aumentar  gasto en educación porque estábamos no sé cuántas décimas por debajo de tal o cual media, subir los salarios docentes porque en tal o cual sitio ganaban más, reducir las ratios porque en algún lugar eran menores, etc., etc.? ¿O será sólo que unos rankings, los buenos, sirven para exigir y otros, los malos, para que nos exijan?

En un manifiesto fundamentalmente anglo, no es de extrañar que se vincule PISA al high stakes testing, es decir, a la prominencia de tests con discutibles consecuencias para alumnos, profesores y centros, como en la tan discutida política educativa estadounidense. Pero aun esto me parece inadecuado, pues la obsesión norteamericana por los tests es ya casi secular (arranca en los años veinte del siglo veinte) y su acelerón actual es anterior a PISA (empezó en los ochenta, tras el informe A Nation at Risk). Es verdad, eso sí, que todo instrumento de evaluación presenta riesgos de convertirse en el único norte, como indican la ley de Campbell, o de Goodhart, o la crítica de Lucas, y hay que permanecer en guardia contra ello, pero dejarlo todo a su suerte no es una opción. De hecho, si algo falta en el mundo educativo son transparencia,  información fiable, rendición de cuentas y evaluación de resultados.

Los firmantes del manifiesto son numerosos y diversos: desde el siempre interesante Stephen Ball, pasando por el previsible Henry Giroux, hasta la arrepentida Diane Ravitch. Muchos ya han ofrecido y todos podrían ofrecer críticas de PISA más sofisticadas que lo que permite un documento que ha de firmar tanta gente, pero, como suele suceder, el resultado final tiene su propia lógica. Habent sua fata libelli, y el destino de este manifiesto es engrosar la lista de protestas, por no decir ventoleras, de una institución y una profesión a las que no les gusta ser escrutadas ni tener que dar explicaciones.

PISA y los gremios

     Ya saben que en las dos últimas semanas ha habido cierto revuelo, en el ámbito del mundillo universitario y profesional dedicado a pensar y hablar sobre la educación, en torno a la publicación en The Guardian, por un grupo de académicos, de una carta abierta a Andreas Schleicher, rostro visible de las pruebas PISA, en que se denuncian reales y supuestos problemas y peligros de estas para la educación.

     Ya hablé de esto en este blog (PISA y sus descontentos: matar al mensajero)  y lo he hecho en más ocasiones sobre la necesidad y la resistencia a las evaluaciones (por ejemplo en 1, 2, 3, 4, 5...), pero hoy me ha llamado la atención lo que leo en las dos páginas que dedica al asunto el periódico semanal Escuela. Hay un largo reportaje de Saray Marqués, detallado y bien documentado (excepto porque los primeros firmantes en The Guardian fueron 83, no "más de un centenar", pero no dudo que conseguirán cientos y miles de apoyos), mas lo que quiero comentar es la división de opiniones entre los expertos y académicos a los que se pregunta en el artículo y en un encuadre aparte: dos economistas, dos sociólogos y dos más un pedagogos.

     Los economistas son, en este caso, el director del INEE y una asociada de FEDEA que no tienen duda alguna sobre las bondades de PISA pero que tampoco le señalan ningún defecto. La segunda está convencida de que todas las pruebas habidas han mejorado la educación, aunque no dice cómo ni por qué, y lo peor es que habla no ya de PISA, sino de la prueba CDI de Madrid. Aparte de su incondicionalidad, creo que el primero también se excede un poco cuando, llevado por la polémica o el entusiasmo, caricaturiza el debate sobre la repetición, asegura que las investigaciones cualitativas no han servido para nada o da a entender que sólo ahora se empiezan a hacer diseños de investigación experimentales (los que llevamos más años en esto ya nos saturamos hace tiempo de leer investigacioncitas con "grupo experimental" y "grupo de control" que tampoco sirvieron de mucho, aunque no las hicieran sobre todo economistas -que también- sino, mira por dónde, pedagogos y psicólogos).

     En el otro extremo se sitúan los pedagogos. La primera de ellas reduce, cómo no, PISA a "la lógica del mercado" (esa que tanto odia todo funcionario a la hora de trabajar, aunque la adore a la hora de comprar) y le reprocha querer producir sólo "capital humano". La segunda señala con mucha razón importantes aspectos que PISA no mide, pero aun así ignora algunos otros que sí mide (no sólo de lengua, matemáticas y ciencias vive la OCDE), no le reconoce aportación alguna y soslaya que hay otras evaluaciones nacionales e internacionales que sí miden otras cosas (aunque, a diferencia de PISA, sin duda por no tener detrás a la OCDE sino a la IEA y otros organismos, pudieron ser perfectamente ignoradas). Hay un tercer pedagogo interrogado, pero este se limita a señalar que la carta anti-PISA da voz a al malestar de muchos docentes (no todos, pero correcto) y no entra en el fondo (por eso dije 2+1).

     En medio se pregunta también a dos sociólogos: Julio Carabaña y José S. Martínez García (declaración de intereses, disclosure o como quieran decirlo: son mis amigos, los considero los mejores especialistas en PISA y soy sociólogo como ellos; además, para decirlo todo junto, publico una entrada más o menos mensual en el Blog del INEE: p.e. 1, 2, 3). El caso es que ambos ven aspectos positivos y problemas en PISA: ni en broma lo rechazan ni prescindirían de PISA y otras pruebas internacionales, pero discuten algunos aspectos técnicos y cuestionan ciertos usos que se hacen de los resultados. (En la próxima XVII Conferencia de Sociología de la Educación, por cierto, 7-9/7 en Bilbao, habrá un taller sobre análisis de los datos base de PISA en el que ambos participan y donde se aprenderán y discutirán aspectos mucho más sofisticados que los que cabía tratar en Escuela o aquí.) Qué quieren que les diga: me quedo con esta posición más matizada.

     Quizá sea sólo que prefiero los matices a los extremos, que soy centrista, que ni chicha ni limonada o que, como sé que decía un colega de Salamanca cuando los alumnos que compartíamos le preguntaban si yo era de izquierdas o de derechas, que depende de cómo me levante. Pero creo que así es. En el ámbito de la psicología política, Tetlock y otros han sugerido estudiar (y medir, ¡ay!) la complejidad integrativa de los discursos políticos, y creo que mucho de lo que se dice pro y contra PISA es más político que científico. Sin llegar a sugerir un CI discursivo, Tetlock y cª diferencian entre los discursos llenos de absolutamente, según toda la evidencia, siempre, indiscutiblemente, etc. de los trufados de normalmente, casi, quizás, no obstante, etc. Sé que los tiempos que corren no están para tibiezas y que es mucha la gente que necesita cargarse de razón, sea cual sea, pero creo que pedagogos y economistas deberían relativizar un poco sus posiciones. Es más, sé que otros lo hacen, incluso los de hoy en otras ocasiones, lo que me lleva a que quizá deba también la prensa buscar menos contrastes.

     Los pedagogos podrían empezar a reconocer que las cosas no han ido muy bien hasta la fecha (claro que siempre queda echar la culpa a los psicólogos y viceversa) y que en PISA, PIAAC, TALIS, ESSIE, PIRLS, TIMMS, EGD y lo que venga hay mucho valor añadido y mucho más que se podrá añadir mejorando los datos y los análisis. En cuanto a los economistas, bienvenidos al tajo (yo leo con mucho interés a FEDEA, Nada es gratis, etc., y en la mencionada XVII CSE, a propuesta mía, uno de ellos da la conferencia inaugural), pero, dado el estado en que se encuentra el ámbito que les es más específico, la economía real, y lo poco que han ayudado a prevenirlo, arreglarlo o siquiera entenderlo, no creo que estén en condiciones de tirar ni la primera piedra ni la última, y sí que harían bien en dar un repaso más detenido a lo que ya se ha hecho antes de su desembarco.

Y si no te gusta, te aguantas

Publicado en FESyE, Indicadores comentados

sobre el estado del sistema educativo español, 2018

El protagonismo de las pruebas PISA en los últimos años ha tenido un tremendo efecto reduccionista y simplificador sobre el debate educativo. Primero, en lo que casi todo el mundo coincide, al reducir la complejidad del aprendizaje y la educación a unos pocos indicadores cuantitativos; segundo, en lo que suele poner énfasis el sector más innovador de la educación, al concentrar todo el foco sobre el desempeño en las tres disciplinas clásicas que mide (vía competencias, sí, pero disciplinas al fin y al cabo), lengua, matemáticas y ciencias, en detrimento de otras materias; tercero, al reducir la escolarización a la enseñanza y el aprendizaje académicos, ignorando la función de cuidado que igualmente compete a la institución escolar. Es este último aspecto el que trataré en estas líneas.

No es el cuidado la faceta más glamorosa de la escuela, pues prevalece en la profesión la tendencia a dejarlo a otras instituciones y profesiones o a las familias, pero es algo difícil de ignorar y eludir. Piense el lector, sin más, en la hipótesis de tener que elegir para sus hijos entre una escuela segura pero ineficaz y otra eficaz pero insegura. Más allá de la mera seguridad o de la custodia, cerca de la mitad de las horas de la mitad de los días de quince o más años de un menor típico transcurren en la escuela, por lo que ese tiempo, además de un medio, puede y debe considerarse un fin en sí mismo. Y sabemos también que, al final, cuenta menos la enseñanza que el aprendizaje y que este está condicionado por la disposición y el grado de bienestar del aprendiz, a la vez que influye en ellos (a día de hoy uno de los hallazgos más seguros de las neurociencias). Tanto es así que las pruebas académicas internacionales ya han comenzado a incluir indicadores al respecto. PISA (OECD, 2017) pregunta a los alumnos sobre su nivel de satisfacción general, su sentimiento de pertenencia en la escuela o su ansiedad ante el trabajo escolar. PIRLS (Mullis & al., 2017), prueba de la IEA menos conocida y centrada en lengua, lo hace también sobre este último y sobre la satisfacción con el propio desempeño, y ambas por el acoso escolar. Contamos, además, con datos procedentes de algunos otros informes, bien sean de carácter regular, como el Estudio sobre Conductas Saludables de los Menores Escolarizados que patrocina la OMS (HBSC, 2016), u ocasional, como el proyecto internacional Childrens’ Worlds Survey (Rees & Main, 2015).

El mensaje más importante no viene de la comparación entre países sino entre grupos de edad, y es contundente. De acuerdo con HBSC, el porcentaje de escolares que afirma que le gusta “mucho” la escuela desciende por doquier, de manera implacable, con la edad: en España, 54% de los alumnos y 44% de las alumnas a los once años, 23 y 20% a los trece y 17 y 13% a los quince. Hay sin duda muchas maneras de formular y, probablemente, de entender una pregunta sobre cuánto gusta o satisface la escuela, pero la caída es universal y se confirma en la Childrens’ Survey, en la que la satisfacción cae en todos los países analizados entre los diez y los doce años, en España de 8.8 a 8.0 puntos sobre 10. El mensaje es claro: tenemos a los menores cada vez más tiempo en una institución que les gusta cada vez menos. Es inevitable señalar que esa caída parece más radical en España que en otros muchos países. La pista más simple es que, de mayor a menor satisfacción, nuestro país ocupa, entre los 42 que participan en HBSC, el puesto 12º cuando los alumnos tienen once años, 26º a los trece y 31º a los quince.

La OMS pregunta si los alumnos se sienten presionados por el trabajo escolar y así es, de manera creciente, con la edad, pasando en grueso de uno a dos de cada tres. Llama la atención que España aparezca siempre en cabeza de esta clasificación, 4ª a los once años, 2ª a los trece y 3ª a los quince (entre 42 sistemas educativos participantes). En los datos de PISA 2015 también destacamos, por una vez en cabeza: sobre cinco preguntas relativas a la preocupación por exámenes, notas, tareas, etc., la OCDE elabora un “índice de ansiedad en relación con el trabajo escolar” en el que España, con 0.4, es segunda, por detrás sólo de Italia (0.5), entre treinta y cinco países de la organización.

HBSC les pregunta cómo juzgan su desempeño académico y, sin acercarse nunca demasiado a los extremos, los alumnos españoles empiezan siendo más optimistas que la media a los once años (87% de ellos y 83% de ellas lo ven bueno o muy bueno, frente al 79 y 74% de media internacional, 8ª posición entre 42) para terminar siendo más pesimistas a los quince (57 y 52% frente a 62 y 58%, 29ª posición).

PIRLS y PISA preguntan a los alumnos por su sentimiento de pertenencia a la escuela en que estudian. PISA muestra que la mayoría de jóvenes de 15 años tienen un alto sentimiento tal, pero también que en algunos países desciende desde 2003 y en el conjunto lo hace desde 2012 (la prueba es trienal). Los alumnos españoles presentan aquí un indice extraordinariamente positivo, 0.47, el más alto de la OCDE y de todos los participantes. PIRLS construye otro índice, a partir de tres preguntas, que atribuye un “alto sentido de pertenencia a la escuela” al 69% de los alumnos españoles, diez puntos por encima de la media y en la décima posición entre cincuenta participantes. Pero a escala regional llama poderosamente la atención el bajo índice obtenido por PISA para los alumnos de Cataluña, 0.18, el menor de todas las CCAA y muy inferior a la media –a pesar de que su ansiedad por el trabajo escolar es la segunda más baja, 0.32 frente al 0.40 nacional– algo que se compadece mal con la insistente proclamación de que se ha alcanzado una escolarización inclusiva.

Finalmente, estos informes recogen la incidencia de algo más infrecuente en términos agregados pero habitualmente mucho más grave como experiencia individual, el acoso escolar. El país presenta porcentajes e índices comparativamente favorables cuando se atiende a los casos más graves, que se dan con menos frecuencia (según PISA y HSBC), pero no tanto cuando se busca un alumnado enteramente libre del riesgo (PIRLS).

Los grandes grupos demográficos presentan las diferencias previsibles. Las alumnas aprecian la escuela más que los alumnos (HBSC y PISA) y se sienten menos presionadas por el trabajo escolar (HBSC), aunque sufren mayor ansiedad ante el mismo (PISA), valoran mejor su propio desempeño (HBSC) y se sienten en menor medida parte de la institución (PISA). Los inmigrantes aprecian la escuela algo menos que los nativos y se sienten bastante menos identificados con la suya (PISA).  Los alumnos de las escuelas públicas algo menos que los de las escuelas privadas (HSBC) y los de mejores notas algo menos que los de peores (PISA).

Hasta acabar la década de los noventa en inglés, y de entonces a mitad de la década pasada en español, hubo un ascenso imparable de la literatura académica sobre el teachers’ burnout o malestar docente, que llego a constituirse en un subgénero literario y quizá haya remitido sólo porque ya se considera simplemente parte del paisaje, o sea, fuera de discusión. Puede que haya llegado el momento de preocuparse del malestar de los otros, los alumnos, que a fin de cuentas son los teóricos beneficiarios del sistema.

Texto completo, incl. tablas y referencias

a

PISA con garbo: aprender de las diferencias

(Tribuna publicada en Magisterio, http://bit.ly/J6lE0E )

    Los siete primeros clasificados en PISA son sistemas educativos asiáticos: Shanghai (23 millones), Singapur (5), Hong-Kong (7), Taipei (3, pero Taiwan 23), Corea (del Sur, 50), Macao (0.5, pero toda China 13.550), Japón (128). Hasta Vietnam (89), incomparablemente más pobre y atrasado y tras decenios de guerra, se coloca en la decimoséptima posición, 17 puntos por encima de la media de la OCDE y 27 por encima de España. Al margen de los necesarios debates y las innecesarias sutilezas sobre la validez de las pruebas de competencias, los parecidos y diferencias entre la ética protestante y la confuciana o las desiguales virtudes propedéuticas del ábaco y el latín, este palmarés o ranking PISA, tan denostado por algunos (sobre todo por aquellos de quienes cabe sospechar que puedan tener alguna relación con los resultados) es hoy el mejor indicador sobre el nivel de cualificación de la fuerza de trabajo por países, las agencia calificadora para las inversiones productivas. Si los que buscan productos financieros rentables se van a ver los ratings de Standard and Poor’s, Moody’s o Fitch para saber qué pueden esperar de la deuda de sus gobiernos o sus bancos, quienes quieran hacer inversiones productivas tendrán que ver PISA, para saber lo que pueden esperar de sus posibles futuros trabajadores. Verán también otras variables, sin duda alguna, pero es muy posible que empiecen por esa: la cualificación de la mano de obra… al menos para aquellos procesos productivos que la requieran. Tomemos PISA, pues, como una advertencia de lo que se nos viene encima: por un lado, como aviso de la pujanza de los países de Asia Oriental (y falta la India, que además habla inglés y que, aunque tenga millones de niños mal escolarizados, está abordando iniciativas muy innovadoras en el uso combinado de escuela y tecnología), algo de lo que aquí no somos muy todavía muy conscientes pero que en los Estados Unidos es casi un tema obsesivo; por otro, como recordatorio de nuestra acomodación a la mediocridad, que, si no le ponemos pronto remedio, terminaremos pagando muy cara (ya hemos empezado). Escribo estas líneas desde Belgrado, con ocasión de un congreso sobre abandono escolar que reúne a la mayor parte de los países del sudeste europeo (mas de la mitad de los cuales son las repúblicas hoy fragmentadas de la antigua Yugoslavia), que, por cierto, están ya en o a las puertas de la UE y tienen tasas de abandono muy inferiores a las nuestras. Conviene mencionar también que, en el decenio que ya lleva PISA ofreciendo resultados, algunos sistemas escolares no asiáticos han mejorado notablemente sus resultados, como es el caso de Polonia, Portugal, Turquía, Alemania, Estonia, Italia y Albania y, fuera de Europa, Israel, Chile, México o Brasil. Polonia y Portugal, en particular, son dos experiencias por las que deberíamos interesarnos, por su parecido a España en distintos aspectos.

    Pero es verdad que PISA no es siquiera el único indicador de la calidad de la fuerza de trabajo. Están también TIMMS y PIRLS, que seguramente ningún empleador conoce, y está el mal llamado boca a boca (mejor boca a oído, o de boca en boca), es decir, lo que los usuarios, en este caso los empleadores, se cuentan entre sí (pienso en la mítica buena reputación de los inmigrantes españoles como obreros en Alemania o como asistentas en Francia), que en este caso puede que no llegue muy lejos. Están, eso sí, las tasas de graduación de los jóvenes por países, que todos los años publica la OCDE en su Education at a Glance (Panorama de la Educación) y por otras vías.  Por la última edición, de 2012, averiguarán que en España la tasa de graduación en estudios universitarios o equivalentes alcanza el 30%, por debajo de la media de la OCDE (39%), suficiente para nutrirlas de directivos y cuadros medios… si es lo que quieren y si logran entenderse con ellos (el inglés es otro de los agujeros del sistema español), pero es más probable que se interesen por las cifras de graduación en educación secundaria, tanto superior (nuestros bachillerato y ciclos de formación profesional de primer grado, al menos) como básica (nuestra ESO). Entonces averiguarán, en Education at a Glance, que en España se gradúa ya en secundaria superior el 80% de la población, aunque otro organismo, Eurostat, es menos generoso en el cómputo para su Labour Force Survey y nos achaca un abandono escolar prematuro (el reverso de la graduación en secundaria superior) del 25% (quizá porque se niega a descontar los PCPI, CGS y similares), el más elevado de Europa con diferencia. Si encuentran dónde, pues estas cifras ya no son de interés para los organismos internacionales, que dan por sentado el éxito en la en la enseñanza obligatoria en el hemisferio norte (pero están, por ejemplo, en los indicadores del INEE, indicador C3), podrán averiguar también que la tasa bruta de graduación en la enseñanza obligatoria es de sólo del 74.1%, menos que la que da la OCDE en secundaria superior (lo que quiere decir que una buena parte de esta última llega por la vía de la segunda oportunidad). Tasas de fracaso y de abandono superiores al veinte por ciento son más que alarmantes, aunque puedan considerarse un alivio si recordamos que, en el curso 2005-2006, llegaron a fracasar tres de cada diez y, a abandonar, cuatro de cada diez alumnos (en realidad, tres de esos cuatro no abandonaron sino que simplemente vieron cerrado cualquier camino: eran los certificados –no graduados-, es decir, los suspensos de la ESO.

    Y con esto quiero llegar a otro aspecto del último informe PISA. En las cuatro ediciones de las tres pruebas España se ha visto ubicada a una distancia de entre siete y treinta y nueve puntos absolutos  respecto de la media, la mayoría de las veces entre diez y veinte. Esto no es para dar saltos, pero significa simplemente quedar un poco por debajo de la media (situada por convención en 500 puntos). Sin embargo, encabezamos las listas europeas de repetidores de curso, de fracaso en la enseñanza obligatoria (no graduación en secundaria inferior) y, según se mida, de abandono escolar prematuro (no graduación en secundaria superior). O sea, pequeñas diferencias en PISA y grandes en titulación. No hace falta recordar que PISA es una prueba objetiva (externa y similar para todos) y la acreditación depende de los profesores de cada alumno, que son los únicos que lo califican hasta que intenta entrar en la Universidad, si es el caso. Pero PISA 2012 nos ha hecho notar también otra cosa: que los docentes españoles trabajan en soledad.  Apenas un 10% del alumnado estudia en centros en los que los profesores expertos supervisen de algún modo a los noveles (frente al 69% de media en la OCDE), un 22 % lo hace a escuelas en las que los docentes contrastan entre sí sus programaciones, sus lecciones o sus medios de evaluación (60% en la OCDE) y un 13% a escuelas que hagan públicos, para las familias y/o para la sociedad, sus resultados académicos globales (43% en la OCDE). Por eso es obligado preguntarse si las distancias entre España y Europa, pequeñas en PISA, grandes en titulación y enormes en hábitos profesionales, no tendrán mucho que ver entre sí; o, más exactamente, si las dos primeras distancias, así como su distancia entre distancias, no tendrán una causa fundamental en la tercera.

PISA y la información incómoda

Publicado en Tribuna Complutense 146, 25/6/14

La publicación hace unas semanas de una carta abierta a Andreas Schleicher, rostro visible de PISA (y de INES, el menos polémico programa de indicadores de la OCDE), por Heinz-Dieter Meyer y otros 82 académicos, ha dado un aliento en España al malestar sobre la evaluación del los sistema educativo. Según los autores, PISA perjudica a los niños, empobrece las aulas, quita autonomía a los profesores, eleva el estrés y pone en peligro el bienestar de todos, etc., aparte de estar secretamente manipulado Pearson y costar una fortuna que podría emplearse mejor. Ni que decirse tiene que esta catilinaria ha encontrado eco aquí, en particular en la pedagogía y en una parte del profesorado.

Es de rigor decir que toda evaluación cuantitativa tiene insuficiencias y riesgos. Insuficiencias, al menos, por dos motivos: primero, porque al buscar la comparabilidad de países, centros o alumnos perdemos la riqueza de cada singularidad; segundo, porque el número de elementos a evaluar es necesariamente limitado. Dos centros, por ejemplo, pueden arrojar similares resultados por distintos motivos y estos escapar a los mecanismos de detección de la prueba o encuesta. Y, por supuesto, en la educación hay otras cosas que valorar y, en su caso, medir que el nivel de competencia en lengua, matemáticas y ciencias.

Pero, dicho esto, rechazar un instrumento como PISA es como si un padre no quisiera saber el peso de su hija porque hay otros factores a considerar, por ejemplo la estatura, musculatura, el índice de masa corporal, etc., etc., por no hablar ya de la inteligencia, la felicidad, la integración...  De hecho, además de medir competencias en pruebas, PISA hace un esfuerzo cada vez más mayor por registrar toda otra serie de variables individuales, del centro, del entorno social, etc. Además, la OCDE patrocina otras pruebas sobre adultos (PIAAC) y profesores (TALIS) y otros indicadores de la educación (INES).

Por otro lado, los riesgos estriban sobre todo en lo que se conoce como Ley de Campbell, es decir, en que el sistema, los centros o los profesores tomen los indicadores como único criterio y centren su esfuerzo sólo en mejorarlos, descuidando lo demás. Pero es como el riesgo de que un fabricante sacrifique la calidad al precio, un político el futuro al voto o un padre la educación a la gratificación inmediata de sus hijos. O confiamos en que no será así, o creamos las condiciones para que no pueda serlo.

PISA debe ser valorado dentro del panorama de conjunto de la educación, en nuestro caso contra un fondo del que yo destacaría dos cosas que nos ayuda a afrontar: su alarmante mediocridad y su absoluta opacidad. En el primer aspecto, lo que PISA aporta no es tanto exponer nuestros mediocres resultados en esas pruebas como la falta de correspondencia entre ellos y la catástrofe en términos de abandono, fracaso y repetición. Es esto, que ya estaba ahí y era bien conocido, lo que verdaderamente debe preocuparnos. España es mediocre en PISA, pero encabeza las listas de abandono, fracaso y repetición, y lo primero no justifica lo segundo, cosa que sólo sabemos gracias a PISA

En el segundo aspecto, el sistema español posiblemente sea hoy el más opaco de su entorno. La información que el público tiene de los centros es poco más que nula, la retroalimentación que los profesores reciben de sus colegas y directores es extraordinariamente escasa, la capacidad de las autoridades gubernamentales de reunir datos sistemáticos está al albur de la no siempre buena voluntad de las autonómicas, y la dificultad de los investigadores para obtener una colaboración siquiera pasiva de los actores es cada vez mayor.

Nuestro problema no es una información sesgada o inadecuada, sino una grave falta de transparencia. Incluso si fuera el caso, que no lo es, el antídoto contra la mala información es más y mejor información, no menos o ninguna.