No es sólo (la) ESO

     En el debate educativo español existe cierta obsesión con la ESO que genera el riesgo de subestimar otros problemas, en particular la Educación Primaria (y la Infantil). Puesto que la ESO culmina el periodo obligatorio, ahí se concentra el "fracaso", ahí se bifurca a los alumnos y ahí se anuncia el "abandono", sin contar con las cantinelas sobre la caída del nivel, la crisis de autoridad  los dramas de la adolescencia. Los propios alumnos que fracasan o abandonan, cuando se les pregunta, suelen explicar que fue en la ESO donde tiraron la toalla (ojo: no donde comenzaron sus problemas, sino donde renunciaron a resolverlos).

     Hace un par de días tuve el honor de participar como discussant (como comentarista) en un seminario con John Jerrim (IoE, UL), organizado por la Fundación Europea Sociedad y Educación, en torno a su reciente trabajo con Álvaro Choi  (IEB, UB), "The Use (and Misuse) of PISA in Guiding Policy Reform: The Case of Spain", cuya lectura recomiendo con fervor.

     Dejando de lado aspectos y detalles que son para el debate académico, lo que Choi y Jerrim hacen es comparar los resultados en lectura de los alumnos españoles en las bien conocidas pruebas PISA (2012) con los de las no tan conocidas PIRLS (2006). Como las primeras se aplican a los quince años de edad (en tercero-cuarto de la ESO) y las segundas en el cuarto curso de primaria (a los nueve-diez años de edad), pueden tomarse como sucedáneos o aproximaciones de una prueba pasada casi a una misma cohorte (no son los mismos alumnos, pero ambas son muestras nacionales representativas). Aunque no son equiparables, pues PIRLS es más académica y PISA es de competencias, los autores comparan la posición del país en los rankings que ambas producen y encuentran que es similar, es decir, que ya es moderadamente floja en primaria y que ni mejora ni empeora en secundaria. En otras palabras, a pesar de la obsesión española con la ESO, el problema no está sólo ahí y tampoco es probable que ahí tenga su epicentro ahí. Si puede concluirse algo es justamente que los problemas están presentes mucho antes, ya en primaria (y puede ser que en infantil, pero ahí no llegan las pruebas, y en la familia, pero hablamos de la política educativa), con una dimensión similar.

     La idea de una ESO problemática, si es que no catastrófica, tiene raíces diversas. Empieza por no encajar en ninguna de las dos culturas, primaria y bachillerato,  sólidamente establecidas por  su larga historia, su distinta encarnación institucional y profesional (colegios e institutos, maestros y profesores) y su diferente base formativa (diplomaturas y licenciaturas, aparentemente igualadas hoy como grados pero en sustancia muy distintas), que se encuentran sin encontrarse en la nueva etapa intermedia. Y se ve reforzada por la política corporativa y partidista, es decir, por la elevada disposición a culpar de todo al otro entre maestros y profesores y entre izquierda y derecha.

     Lo que con seguridad es cierto es que en la ESO se juega la última partida para muchos y que su incorporación a los institutos, con sus horarios condensados, su fragmentación disciplinar, su cultura de elitismo meritocrático y su escasa capacidad de ofrecer tutela, tutoría y orientación, se lo pone mucho más difícil. Pero no lo es menos que los problemas vienen de antes y debieron ser atacados antes, que no existe la pretendida primaria feliz (o quizá sí, pero en el sentido del mundo feliz) y que es en ella donde hay que empezar, seriamente, un esfuerzo por la calidad, la atención a la diversidad en las formas de aprendizaje, el diagnóstico de las dificultades y las medidas con que atenderlas. Y quizá haya también que interrogarse sobre las pedagogías blandas tan queridas a las clases medias, la preterición de la lectoescritura y la formación y la carrera del magisterio.

PISA y la información incómoda

Publicado en Tribuna Complutense 146, 25/6/14

La publicación hace unas semanas de una carta abierta a Andreas Schleicher, rostro visible de PISA (y de INES, el menos polémico programa de indicadores de la OCDE), por Heinz-Dieter Meyer y otros 82 académicos, ha dado un aliento en España al malestar sobre la evaluación del los sistema educativo. Según los autores, PISA perjudica a los niños, empobrece las aulas, quita autonomía a los profesores, eleva el estrés y pone en peligro el bienestar de todos, etc., aparte de estar secretamente manipulado Pearson y costar una fortuna que podría emplearse mejor. Ni que decirse tiene que esta catilinaria ha encontrado eco aquí, en particular en la pedagogía y en una parte del profesorado.

Es de rigor decir que toda evaluación cuantitativa tiene insuficiencias y riesgos. Insuficiencias, al menos, por dos motivos: primero, porque al buscar la comparabilidad de países, centros o alumnos perdemos la riqueza de cada singularidad; segundo, porque el número de elementos a evaluar es necesariamente limitado. Dos centros, por ejemplo, pueden arrojar similares resultados por distintos motivos y estos escapar a los mecanismos de detección de la prueba o encuesta. Y, por supuesto, en la educación hay otras cosas que valorar y, en su caso, medir que el nivel de competencia en lengua, matemáticas y ciencias.

Pero, dicho esto, rechazar un instrumento como PISA es como si un padre no quisiera saber el peso de su hija porque hay otros factores a considerar, por ejemplo la estatura, musculatura, el índice de masa corporal, etc., etc., por no hablar ya de la inteligencia, la felicidad, la integración...  De hecho, además de medir competencias en pruebas, PISA hace un esfuerzo cada vez más mayor por registrar toda otra serie de variables individuales, del centro, del entorno social, etc. Además, la OCDE patrocina otras pruebas sobre adultos (PIAAC) y profesores (TALIS) y otros indicadores de la educación (INES).

Por otro lado, los riesgos estriban sobre todo en lo que se conoce como Ley de Campbell, es decir, en que el sistema, los centros o los profesores tomen los indicadores como único criterio y centren su esfuerzo sólo en mejorarlos, descuidando lo demás. Pero es como el riesgo de que un fabricante sacrifique la calidad al precio, un político el futuro al voto o un padre la educación a la gratificación inmediata de sus hijos. O confiamos en que no será así, o creamos las condiciones para que no pueda serlo.

PISA debe ser valorado dentro del panorama de conjunto de la educación, en nuestro caso contra un fondo del que yo destacaría dos cosas que nos ayuda a afrontar: su alarmante mediocridad y su absoluta opacidad. En el primer aspecto, lo que PISA aporta no es tanto exponer nuestros mediocres resultados en esas pruebas como la falta de correspondencia entre ellos y la catástrofe en términos de abandono, fracaso y repetición. Es esto, que ya estaba ahí y era bien conocido, lo que verdaderamente debe preocuparnos. España es mediocre en PISA, pero encabeza las listas de abandono, fracaso y repetición, y lo primero no justifica lo segundo, cosa que sólo sabemos gracias a PISA

En el segundo aspecto, el sistema español posiblemente sea hoy el más opaco de su entorno. La información que el público tiene de los centros es poco más que nula, la retroalimentación que los profesores reciben de sus colegas y directores es extraordinariamente escasa, la capacidad de las autoridades gubernamentales de reunir datos sistemáticos está al albur de la no siempre buena voluntad de las autonómicas, y la dificultad de los investigadores para obtener una colaboración siquiera pasiva de los actores es cada vez mayor.

Nuestro problema no es una información sesgada o inadecuada, sino una grave falta de transparencia. Incluso si fuera el caso, que no lo es, el antídoto contra la mala información es más y mejor información, no menos o ninguna.

¿Una generación escolar echada a perder por la informática?

    Un interesante trabajo de Federico Biagi y Massimo Loi sobre datos de PISA 2009, ICT and learning, presenta unos resultado inquietantes. Resumiendo, el uso de las TIC para la comunicación, la colaboración, la búsqueda de información y operaciones técnicas presenta una relación negativa con los resultados de PISA 2009 -es decir, a más uso menos rendimiento. Lo mismo sucede, pero en mayor medida, con su uso para la creación de contenido o para la resolución de problemas, que cuando alcance cierto nivel parece también ser un obstáculo para el logro.

    Sin embargo, el uso delas TIC para el juego, sobre todo cuando alcanza pasa de intensidad, presenta una relación positiva con los resultados PISA (a más juego, mejores resultados). Lo mismo sucede con la amplitud, es decir, con la diversificación de la gama de actividades realizadas con ellas. Es cierto que esta amplitud podría ser simplemente una variable interviniente, la expresión de un elevado status socioeconómico, pero la relación se mantiene todavía cuando se controla estadísticamente este, o sea, se mantiene por sí misma.

    El propio informe PISA 2009 (vol. VI: Students on line) ya señalaba que la relación entre el uso del ordenador en la escuela y el rendimiento en lectura digital era ligeramente negativa, incluso entre alumnos de igual rendimiento académico, y en particular en el caso de las actividades especialmente encomendadas a alumnos de menor rendimiento (es decir, que la informática no actuaba como un refuerzo positivo).  En cambio, detectaba una relación positiva, directa, entre el uso en casa, particularmente el uso para fines lúdicos, y la competencia en lectura digital.

     En definitiva, el uso en casa resulta positivo pero el uso en la escuela no, el uso para juegos o para una amplia gama de actividades asocia positivamente con el rendimiento escolar, pero el uso en el aula, o como refuerzo en ella para alumnos con dificultades, no lo hace. O sea, lo contrario de lo que uno esperaría o, al menos, desearía.

     Esta paradoja trae a la memoria la polémica sobre los colegios bilingües. Al margen de otras consideraciones es cierto que, aunque el inglés sea necesario en sí, y aunque la mejor manera de impulsarlo sea emplearlo como lengua vehicular, si el dominio del inglés que posee el profesor es de bajo nivel no sólo habrá para los alumnos poco aprendizaje de inglés en sí, sino que, siendo la lengua vehicular, se resentirá también el aprendizaje de cualquier materia a la que sirva de vehículo, sea cual sea. Un lenguaje pobre arroja una información pobre, una comunicación pobre, un pensamiento pobre. En función de este argumento se podría decidir renunciar el bilingüismo o modificar los criterios de formación, selección y retención del profesorado, pero esa es ya otra historia.

     La pregunta es si no estará sucediendo precisamente eso con la informática. Si los alumnos se alfabetizan digitalmente mejor en casa que en la escuela y mejor jugando que trabajando, y si también son el juego y el uso en casa los que correlacionan positivamente con el rendimiento general, y no el trabajo serio en la escuela, ¿no tendrá esto algo que ver con el nivel de sus profesores al respecto? Es obvio que si el profesor pierde una parte sustancial del tiempo de clase poniendo en marcha los cacharritos, si los utiliza para lo mismo de siempre (algo bien fácil con la pizarra digital o con la presentación en PowerPoint), si confunde las oportunidades de la informática con los usos más simples de la ofimática, si no usa otro software pedagógico que el destinado a acciones repetitivas etc., simplemente pasamos del uso avanzado y confiado de unas viejas tecnologías (la voz, la pizarra, el libro) al uso torpe e inseguro de otras nuevas (los ordenadores, la red, el software).  Estaríamos, pues, sacrificando algunas cohortes de alumnos por no haber preparado bien a las correspondientes cohortes de profesores.

     La lástima es que las tecnologías de la información y la comunicación, las redes sociales virtuales, las comunidades de trabajo y aprendizaje en línea o los nuevos medios digitales no son simplemente unos instrumentos entre otros para perseguir los fines de siempre, sino el reflejo y el anticipo necesario del nuevo entorno digital que los alumnos viven hoy como niños, adolescentes y jóvenes y en el que vivirán mañana como adultos, por lo que su incorporación no puede esperar.

PISA y los gremios

     Ya saben que en las dos últimas semanas ha habido cierto revuelo, en el ámbito del mundillo universitario y profesional dedicado a pensar y hablar sobre la educación, en torno a la publicación en The Guardian, por un grupo de académicos, de una carta abierta a Andreas Schleicher, rostro visible de las pruebas PISA, en que se denuncian reales y supuestos problemas y peligros de estas para la educación.

     Ya hablé de esto en este blog (PISA y sus descontentos: matar al mensajero)  y lo he hecho en más ocasiones sobre la necesidad y la resistencia a las evaluaciones (por ejemplo en 1, 2, 3, 4, 5...), pero hoy me ha llamado la atención lo que leo en las dos páginas que dedica al asunto el periódico semanal Escuela. Hay un largo reportaje de Saray Marqués, detallado y bien documentado (excepto porque los primeros firmantes en The Guardian fueron 83, no "más de un centenar", pero no dudo que conseguirán cientos y miles de apoyos), mas lo que quiero comentar es la división de opiniones entre los expertos y académicos a los que se pregunta en el artículo y en un encuadre aparte: dos economistas, dos sociólogos y dos más un pedagogos.

     Los economistas son, en este caso, el director del INEE y una asociada de FEDEA que no tienen duda alguna sobre las bondades de PISA pero que tampoco le señalan ningún defecto. La segunda está convencida de que todas las pruebas habidas han mejorado la educación, aunque no dice cómo ni por qué, y lo peor es que habla no ya de PISA, sino de la prueba CDI de Madrid. Aparte de su incondicionalidad, creo que el primero también se excede un poco cuando, llevado por la polémica o el entusiasmo, caricaturiza el debate sobre la repetición, asegura que las investigaciones cualitativas no han servido para nada o da a entender que sólo ahora se empiezan a hacer diseños de investigación experimentales (los que llevamos más años en esto ya nos saturamos hace tiempo de leer investigacioncitas con "grupo experimental" y "grupo de control" que tampoco sirvieron de mucho, aunque no las hicieran sobre todo economistas -que también- sino, mira por dónde, pedagogos y psicólogos).

     En el otro extremo se sitúan los pedagogos. La primera de ellas reduce, cómo no, PISA a "la lógica del mercado" (esa que tanto odia todo funcionario a la hora de trabajar, aunque la adore a la hora de comprar) y le reprocha querer producir sólo "capital humano". La segunda señala con mucha razón importantes aspectos que PISA no mide, pero aun así ignora algunos otros que sí mide (no sólo de lengua, matemáticas y ciencias vive la OCDE), no le reconoce aportación alguna y soslaya que hay otras evaluaciones nacionales e internacionales que sí miden otras cosas (aunque, a diferencia de PISA, sin duda por no tener detrás a la OCDE sino a la IEA y otros organismos, pudieron ser perfectamente ignoradas). Hay un tercer pedagogo interrogado, pero este se limita a señalar que la carta anti-PISA da voz a al malestar de muchos docentes (no todos, pero correcto) y no entra en el fondo (por eso dije 2+1).

     En medio se pregunta también a dos sociólogos: Julio Carabaña y José S. Martínez García (declaración de intereses, disclosure o como quieran decirlo: son mis amigos, los considero los mejores especialistas en PISA y soy sociólogo como ellos; además, para decirlo todo junto, publico una entrada más o menos mensual en el Blog del INEE: p.e. 1, 2, 3). El caso es que ambos ven aspectos positivos y problemas en PISA: ni en broma lo rechazan ni prescindirían de PISA y otras pruebas internacionales, pero discuten algunos aspectos técnicos y cuestionan ciertos usos que se hacen de los resultados. (En la próxima XVII Conferencia de Sociología de la Educación, por cierto, 7-9/7 en Bilbao, habrá un taller sobre análisis de los datos base de PISA en el que ambos participan y donde se aprenderán y discutirán aspectos mucho más sofisticados que los que cabía tratar en Escuela o aquí.) Qué quieren que les diga: me quedo con esta posición más matizada.

     Quizá sea sólo que prefiero los matices a los extremos, que soy centrista, que ni chicha ni limonada o que, como sé que decía un colega de Salamanca cuando los alumnos que compartíamos le preguntaban si yo era de izquierdas o de derechas, que depende de cómo me levante. Pero creo que así es. En el ámbito de la psicología política, Tetlock y otros han sugerido estudiar (y medir, ¡ay!) la complejidad integrativa de los discursos políticos, y creo que mucho de lo que se dice pro y contra PISA es más político que científico. Sin llegar a sugerir un CI discursivo, Tetlock y cª diferencian entre los discursos llenos de absolutamente, según toda la evidencia, siempre, indiscutiblemente, etc. de los trufados de normalmente, casi, quizás, no obstante, etc. Sé que los tiempos que corren no están para tibiezas y que es mucha la gente que necesita cargarse de razón, sea cual sea, pero creo que pedagogos y economistas deberían relativizar un poco sus posiciones. Es más, sé que otros lo hacen, incluso los de hoy en otras ocasiones, lo que me lleva a que quizá deba también la prensa buscar menos contrastes.

     Los pedagogos podrían empezar a reconocer que las cosas no han ido muy bien hasta la fecha (claro que siempre queda echar la culpa a los psicólogos y viceversa) y que en PISA, PIAAC, TALIS, ESSIE, PIRLS, TIMMS, EGD y lo que venga hay mucho valor añadido y mucho más que se podrá añadir mejorando los datos y los análisis. En cuanto a los economistas, bienvenidos al tajo (yo leo con mucho interés a FEDEA, Nada es gratis, etc., y en la mencionada XVII CSE, a propuesta mía, uno de ellos da la conferencia inaugural), pero, dado el estado en que se encuentra el ámbito que les es más específico, la economía real, y lo poco que han ayudado a prevenirlo, arreglarlo o siquiera entenderlo, no creo que estén en condiciones de tirar ni la primera piedra ni la última, y sí que harían bien en dar un repaso más detenido a lo que ya se ha hecho antes de su desembarco.

PISA y sus descontentos: matar al mensajero

Un nada sorprendente manifiesto firmado por medio centenar de académicos sugiere que las pruebas PISA están echando a perder los sistemas educativos al provocar que todo se centre en los tests, que sólo se piense a corto plazo, que se olvide lo que es difícil de medir, que se ponga todo el énfasis en la preparación para el empleo, a la vez que sirven al negocio de algunas empresas privadas y dañan directamente a niños y aulas. En el pasaje más melodramático se denuncia que "el nuevo régimen PISA [sic], con su ciclo continuo de evaluación global, hace daño a nuestros niños y empobrece nuestras aulas, dado que implica inevitablemente más y más largas series de tests de respuesta múltiple, más lecciones diseñadas por los vendedores y menos autonomía de los profesores. Así, PISA ha aumentado todavía más el ya elevado estrés en las escuelas, lo que pone en peligro el bienestar de estudiantes y profesores." Luego se despacha acusando a la OCDE de colonialismo educativo, sugiere reducir la influencia de psicómetras, estadísticos y economistas y dar más peso a otros grupos profesionales y disciplinas, incluir a toda serie de organizaciones nacionales, internacionales y sectoriales... así como publicar los costes de la prueba y estimar si no estarían mejor dedicados a otros fines, saltarse la próxima ronda, dar cuenta del sospechado oscuro papel de intereses privados, etc.

A mí me parece que PISA hay que tomárselo con mucha tranquilidad y cierta distancia, como también había que hacerlo antes con TIMMS, PIRLS y otras pruebas y como habrá que hacerlo con las que vengan, pero también con el máximo interés. Los sociólogos estamos más que acostumbrados al debate entre métodos de investigación cuantitativos y cualitativos, sabemos que cada uno de ellos tiene como punto fuerte lo que el otro tiene como punto débil y, si algo hemos aprendido, es que no podemos prescindir de ninguno de los dos. Pero el problema de este manifiesto es, sencillamente, que pide arrojar por la borda un potente instrumento de información y conocimiento en aras de no se sabe qué. Por un lado, parece querer decir que la información aportada por PISA y los análisis que permite están de más, porque ya sabemos lo que tenemos que saber; por otro, que PISA es un inmenso artefacto que por sí mismo es capaz de estropear lo que dice iluminar.

Sin embargo, si hay algo que el mundo de la educación necesita como el aire es luz y transparencia, y PISA puede aportar mucho al respecto. Ya sabemos que no mide lo que no mide, que mide lo que mide y que se puede discutir cómo lo mide: adelante, pues, con el diálogo y la crítica. En el peor de los casos, PISA -como otras pruebas menos ambiciosas- aporta un instrumento de observación objetivo, es decir, que no procede directamente de los interesados en dar una visión particular, sea beatífica o apocalíptica, de la realidad. Además, permite hacer comparaciones relativamente rigurosas, y la comparación es la primera forma de conocimiento en general y, mucho más, en particular, en ámbitos como el de la educación, donde todo es tan incierto no hay manera de saber a priori qué es un resultado adecuado.

Visto desde España, podría parecer, por ejemplo, que PISA ha traído una visión catastrofista de la situación, pero nada más lejos de la realidad. Primero, porque en este país de indignados de siempre, el catastrofismo en la educación arranca al menos de los setenta del siglo pasado (¿no se acuerda nadie de la LGE, aquella ley que, según tantos, nació muerta?) y, si tiene una fuente identificable, es cierto sector del profesorado y del periodismo, como he argumentado en otras ocasiones (por ejemplo, aquí y aquí y aquí). Segundo, porque ya nos bastaban las cifras de fracaso y abandono para ser catastrofistas, o al menos para estar hondamente preocupados, y, si algo ha añadido PISA, ha sido la posibilidad de cuestionar su necesidad,

Otro hilo conductor de las críticas a PISA han sido, son y serán los malhadados rankings. Es curioso que esa obsesión florezca precisamente en un medio en general, y una profesión en particular, que han basado en otros rankings buena parte de su retórica colectiva. ¿O es que no hemos dicho y oído una y otra vez que había que aumentar  gasto en educación porque estábamos no sé cuántas décimas por debajo de tal o cual media, subir los salarios docentes porque en tal o cual sitio ganaban más, reducir las ratios porque en algún lugar eran menores, etc., etc.? ¿O será sólo que unos rankings, los buenos, sirven para exigir y otros, los malos, para que nos exijan?

En un manifiesto fundamentalmente anglo, no es de extrañar que se vincule PISA al high stakes testing, es decir, a la prominencia de tests con discutibles consecuencias para alumnos, profesores y centros, como en la tan discutida política educativa estadounidense. Pero aun esto me parece inadecuado, pues la obsesión norteamericana por los tests es ya casi secular (arranca en los años veinte del siglo veinte) y su acelerón actual es anterior a PISA (empezó en los ochenta, tras el informe A Nation at Risk). Es verdad, eso sí, que todo instrumento de evaluación presenta riesgos de convertirse en el único norte, como indican la ley de Campbell, o de Goodhart, o la crítica de Lucas, y hay que permanecer en guardia contra ello, pero dejarlo todo a su suerte no es una opción. De hecho, si algo falta en el mundo educativo son transparencia,  información fiable, rendición de cuentas y evaluación de resultados.

Los firmantes del manifiesto son numerosos y diversos: desde el siempre interesante Stephen Ball, pasando por el previsible Henry Giroux, hasta la arrepentida Diane Ravitch. Muchos ya han ofrecido y todos podrían ofrecer críticas de PISA más sofisticadas que lo que permite un documento que ha de firmar tanta gente, pero, como suele suceder, el resultado final tiene su propia lógica. Habent sua fata libelli, y el destino de este manifiesto es engrosar la lista de protestas, por no decir ventoleras, de una institución y una profesión a las que no les gusta ser escrutadas ni tener que dar explicaciones.