Otra mirada a PIRLS y PISA. Lo que se nos oculta

©didactica2013fisicayquimica.blogspot.com

logo escaneado 2

Introducción

En esta entrada, sostengo  la necesidad de que los docentes vayamos más allá de la mera valoración estadística de resultados comparativos entre países y comunidades autónomas que se nos suele ofrecer de los resultados PIRLS y PISA: “X puntos por encima o por debajo de, media, significaciones estadísticas, etc.”. Dice un viejo proverbio castellano que “toda comparación es odiosa, pero en el caso de los recurrentes datos estadísticos PIRLS-PISA que a los docentes se nos revelan en múltiples y “sesudas” publicaciones, esas comparaciones pueden llegar a ser algo más que odiosas, son curiosas, sospechosas y peligrosas por aburridas y anestesiantes para los docentes y para el aprendizaje de la comprensión lectora por parte de nuestros alumnos.
En mi opinión, existen aspectos esenciales que se nos ocultan, que no alcanzamos  a ver,  y que tenemos la responsabilidad de intentar desvelar. 

El cuadro diagnóstico que dibujan estas evaluaciones internacionales nos muestra claramente la existencia de dos brechas de alfabetización importantes, que separan a aquellos alumnos que han sido enseñados a aprender a comprender, de aquellos otros que no lo han sido:

  • La brecha de alfabetización básica
  • Y  la denominada brecha digital.

Ambas interaccionan entre sí, y  cada una puede dañar o deteriorar a la otra.

Por una parte, PIRLS y PISA tienen como objetivo esencial el medir el desempeño del alumnado de 9/10 años (4º de Educación Primaria) y de 15 años, en destrezas o procesos cognitivos de lectura tales como obtener información, hacer inferencias, interpretar e integrar, o analizar y evaluar el contenido de los textos que se les plantean.  En otras palabras, lo que se evalúa no solo es lo que aprenden los estudiantes al leer,  sino  lo que ellos hacen con esa información

Por otra, estos estudios internacionales “deberían servir para dirigir la acción, no para recrearse en el paisaje”, tal como cita J.A. Marina. Según se establece en el marco común acordado, los datos de PIRLS-PISA tienen la finalidad de “proporcionar a los países que participan aquellos datos o elementos de juicio que les permiten respaldar el establecimiento de objetivos y metas educativas, la definición de políticas, y la adopción de medidas de reforma e impulso educativo”. Es decir, se pretende que los resultados de estas evaluaciones internacionales puedan orientar la lógica toma de decisiones que deberían llevar a cabo los responsables educativos de los distintos países que intervienen, como, de hecho, así están haciendo varios países de la OCDE y Latinoamérica,  delimitando aquellas competencias más adecuadas y relevantes que deben ser reforzadas en sus respectivos sistemas educativos. Como se señala en el documento  “Informe PISA 2009: Superación del entorno social y equidad en las oportunidades y resultados de aprendizaje”, países como Corea, que en menos de una década ha sido capaz de duplicar la proporción de alumnos con resultados de excelencia en comprensión lectora, o Polonia que redujo drásticamente los resultados de sus alumnos situados en niveles bajos de rendimiento, y otros como Israel, Italia, Portugal, Brasil, Chile, Méjico y Turquía, que se han acercado sus resultados a la media de la OCDE, son un vivo ejemplo de gestores educativos que dirigen la acción y deciden aportar soluciones al problema que nos ocupa.

Sin embargo, en nuestro país, tras 4 evaluaciones llevadas a cabo, más de una década desde que PISA PIRLS comenzaran en el año 2000/2001 a publicar los resultados de sus evaluaciones para  estimar las referidas destrezas de comprensión lectora, desconozco que alguna institución oficial, o independiente y profesional  haya asumido la responsabilidad de orientar en la toma de decisiones oportunas, para la mejora del sistema educativo general, y la competencia lectora en particular).

Es así, y uno tiene que concluir que los últimos Informes PISA-2012PIRLS-2011 y PISA-ERA 2009 sobre la competencia lectora en medios electrónicos, y las valoraciones que se publican sobre ellos,  suponen para quien tenga el atrevimiento de leerlos un ejercicio distractor, nada entretenido y absurdo de comparación/contraste de resultados entre países y comunidades autónomas.  Distractor, en el sentido literal de la palabra: “actividad que distrae la atención mental o concentración sobre un tema o asunto, como método muy usado en política o en publicidad, para hurtar a la gente un conocimiento importante”.  Y, para animar esta entrada y pedirte que sigas leyendo, como una apelación al ridículo de esta situación, fue divertido encontrar hace unos días, un tweet de un colega “dedicado a los metaestudiosos del Informe PISA”, y que recomiendo expresamente:


YouTube Direkt"Un burdo rumor"."Dedicado a los metaestudiosos del Informa PISA"@Joaquin_Sevilla

En consecuencia, como dice Krahe en el video, para no “someterlo todo al sistema métrico“, en esta entrada me propongo ofrecer otra mirada al significado de los datos PIRLS Y PISA. Una mirada que, ante la situación de fracaso educativo y económico que estos resultados suponen para la sociedad española, pretende profundizar algo más en su significado educativo y pedagógico, a la luz de la investigación educativa y la experiencia escolar.

Más concretamente, me detendré en los datos de PIRLS, dada la importancia que para el desarrollo de la comprensión lectora tienen en el alumnado de 4º curso de Educación Primaria, como un aprendizaje básico para crear ciudadanos que en el futuro puedan integrarse plenamente en esta sociedad digitalizada del siglo XXI.

1.   ¿Qué significado tienen los datos PIRLS?

A la luz de la declaración de intenciones acordada por todos los países participantes en estas evaluaciones internacionales, que plantea entre otras cosas que “los datos que se proporcionan permiten respaldar el establecimiento de objetivos y metas educativas, la definición de políticas y la adopción de medidas de reforma e impulso educativo”, convendría señalar en principio que en un país como el nuestro, cuyas autoridades están a veces más preocupada en la escuela por cuestiones ajenas al aprendizaje, los resultados de estas evaluaciones suelen acabar convirtiéndose en papel mojado, en cosa inútil. Cualquier informe que se repase de estas evaluaciones, apela obsesivamente al lugar común de la estadística.

Sin embargo, la constante y pertinaz realidad de datos que nos ofrecen estas evaluaciones internacionales sobre el grado de aprendizaje de la comprensión lectora de los estudiantes de 4º curso, claramente significa:

  • Que nuestros alumnos presentan un escaso nivel de alfabetización básica en los procesos estratégicos a utilizar para la comprensión de textos a los 9/10 años, sin necesidad de comparación con otros países industrializados de nuestro entorno.
  • Que para prepararlos para la sociedad digitalizada del siglo XXI,  es necesario antes equiparlos desde el 1er curso de Educación Primaria con destrezas cognitivas y metacognitivas que les capaciten en tareas de comprensión y de resolución de los problemas que la lectura les plantea, para ser en el futuro individuos creativos e innovadores.

2.   Las 2 brechas de alfabetización que PIRLS Y PISA nos desvelan

Partiendo de la idea de que los cimientos de todo aprendizaje están en una óptima alfabetización inicial de los alumnos, es necesario resaltar que alfabetizar significa algo más que enseñar a decodificar palabras y tener una buena velocidad lectora supuestamente para facilitar la comprensión del texto.  Alfabetizar requiere dotar al lector de herramientas de la mente y enseñarle a inferir el significado de palabras, para elaborar una interpretación del texto, o para evaluar su contenido críticamente, tanto cuando se trabaja con textos continuos (narrativos, expositivos), como con textos discontinuos (tablas y gráficos, mapas, diagramas, formularios, etc.). Y estas destrezas deben comenzar a trabajarse desde el primer curso de Educación Primaria.

En este sentido, entiendo que las pruebas PIRLS, PISA y PISA-ERA nos descubren, de un modo dramático,  dos brechas de alfabetización que nuestros escolares sufren, que además la investigación de las  últimas décadas viene planteando, y que la propia experiencia profesional de muchos docentes avala.  

  • La brecha de alfabetización básica, que se da con crudeza en 4º de Educación Primaria, y que se define como aquella que separa hacia los 9/10 años a los alumnos que sólo han aprendido a leer, de aquellos otros que leen para aprender
  • La brecha digital, caracterizada por establecer una separación entre aquellos alumnos que, con un buena competencia en  comprensión lectora y con la ayuda de un adulto expertohan aprendido  a usar los medios digitales para aprender y producir conocimiento, de aquello otros que “sólo han aprendido a navegar”.

Detengámonos un poco más en estas dos situaciones dramáticas para el aprendizaje general del alumnado.

La brecha de alfabetización básica en 4º de Educación Primaria:  

PIRLS, (Estudio Internacional de Progreso en Comprensión Lectora), mide las tendencias en el rendimiento en comprensión lectora del alumnado de 4º curso de Educación Primaria en un momento que es extraordinariamente importante para su aprendizaje. Es en ese momento (de acuerdo con Mullis, I.V.S. et al., 2009),  cuando los alumnos suelen ya haber aprendido a leer, y ahora están ya leyendo para aprender el nuevo lenguaje académico de las ciencias sociales, naturales o matemáticas a las que ahora se enfrentan.

Sin embargo, lo que PIRLS nos descubre, reiteradamente validado por la investigación educativa, y corroborado por la propia práctica de muchos docentes en el aula (Chall, 1990, 2000; Sanacore y otros 2009), es que cuando los estudiantes se incorporan al 2º Ciclo de Educación Primaria (3º/4º curso) muchos de ellos, sobre todo aquellos de contextos sociales de bajo nivel socioeconómico, experimentan un bajón, una dramática caída en su competencia lectora, caracterizada por el desinterés por la lectura y el bajo rendimiento en pruebas de vocabulario y comprensión lectora. Es lo que Chall (1996), y más recientemente Sanacore (2009) definen como “the fourth-grade slump

¿Por qué se da este bajón en el rendimiento lector en 4º de Educación Primaria?

Como hemos señalado, entre los 6 y los 11 años los niños deben llevar a cabo una esperable, equilibrada y programada transición entre aprender a leer y leer para aprender. Básicamente, porque es durante estas edades cuando deben fundamentar sus esquemas de conocimiento y su vocabulario,  para enfrentarse con éxito a las demandas de la comprensión de textos informativos.

En el primer tramo, que suele dura entre el 1º y 2º curso de Educación Primaria, (que tristemente algunos alumnos lo viven durante toda esta etapa educativa), ocurre que  la mayoría de materiales de lectura que suelen usarse para el desarrollo de comprensión lectora son textos de naturaleza narrativa, aun cuando existe una importante población de alumnos que están más interesados por los textos de carácter informativo, y no se atiende este interés.

Es en el desarrollo del segundo tramo de esa transición, el de leer para aprender, cuando se espera que durante el 4º año los estudiantes “comiencena comprender la información de los nuevos textos de naturaleza  expositiva que el Currículo oficial les exige. Todos conocemos que esos textos contienen un vocabulario más abstracto y complicado para los alumnos que el de los de tipo narrativo, y también sabemos que es en ese momento cuando muchos alumnos experimentan esa dramáticacaída” en su rendimiento en comprensión lectora: la que PIRLS refleja año tras año en sus evaluaciones en pruebas en las que un 50% son textos de carácter informativo.

Obviamente, esta brecha alfabetizadora básica no viene motivada por una pobre enseñanza de las habilidades de decodificación, que en español son muy fáciles de adquirir, sino por una escasa y no sistemática instrucción directa desde los primeros cursos de Educación Primaria en  procesos estratégicos de comprensión  que ayuden a los estudiantes a descubrir y manejar el nuevo vocabulario académico de asignaturas como Conocimiento del Medio, Matemáticas, Ciencias de la Naturaleza, etc.Un dato importante a tener en cuenta:  Por ejemplo, dado que el vocabulario es una variable altamente correlacionada con el desempeño en comprensión lectora (Beck y otros, 2002; Naggy & Scott, 2000), aquellos alumnos de 4º grado que no hayan aprendido a utilizar determinadas estrategias específicas para clarificar el significado de palabras  desconocidas en los textos, como releer, avanzar en la lectura, o segmentar dichas palabras para detectar pistas del significado de las mismas, no llegarán a apoderarse de lo que viene en llamarse “el nuevo lenguaje académico” y “el contenido” de los textos informativos  con los que ahora trabajan.  Estos estudiantes irremediablemente están abocados a formar parte de esa pléyade de estudiantes que PIRLS detecta en cada evaluación, situándolos en los niveles muy bajo, bajo e intermedio de su escala de competencias. 

Así, de acuerdo con la figura 1, y teniendo en cuenta los niveles muy bajo, bajo e intermedio, de los 8.580 alumnos de 4º de Primaria que España presentó, el 69% de ellos (5.920) no alcanzan las destrezas que PIRLS requiere para estar situados en el nivel alto (sin incluir las referidas al nivel avanzado), y que cataloga como destrezas en las que los estudiantes: a) localizan y distinguen información relevante en un texto denso o una tabla completa, b) hacen inferencias sobre conexiones lógicas para dar explicaciones y razones, c) integran información textual y visual para interpretar las relaciones entre ideas, y d) evalúan el contenido y los elementos textuales para hacer una generalización”.

No es mi intención convertir esta reflexión en comparaciones que opino no aportan nada al problema que tenemos, pero en nuestro entorno europeo hay otros países con, supuestamente menor inversión económica en educación, que muestran un menor porcentaje de estudiantes en este tramo de desarrollo de destrezas de comprensión lectora, tales como Bulgaria (55%), Rumanía (68%), Croacia (37%) Eslovenia (58%), o Portugal (53%). Por el contrario, estos mismos países mantienen un porcentaje más elevado de alumnos en los niveles alto y muy alto de habilidades cognitivas al leer, en comparación con el nuestro.  

Figura 1: Porcentajes de alumnos por niveles PIRLS (ordenados por nivel muy bajo)

Figura 1: Porcentajes de alumnos por niveles PIRLS (ordenados por nivel muy bajo)

De un modo manifiesto, ese 69% de alumnos que no aprendido a manejar esas destrezas, son el reflejo alarmante de una costosa brecha de alfabetización básica para todos, que exige la toma de decisiones oportunas y atajar esta situación, para no recrearnos en el paisaje estadístico que “nos ciega”, y que impide a muchos niños superar sus dificultades de comprensión lectora, abocándoles a una escasa o nula integración plena en la sociedad del conocimiento en la que viven.

En resumen, si no somos capaces de crear entre todos un enfoque de aprendizaje de la lectura, propio de la escuela del siglo XXI,  muy diferente al que durante siglos hemos estado utilizando en Educación Primaria, basado en la enseñanza directa y explícita de estrategias de comprensión lectora, con el uso equilibrado de textos narrativos e informativos ya desde el 1er curso de esta etapa, me temo que tardaremos muchos años más en superar esta brecha de alfabetización, que condena a muchos estudiantes al fracaso escolar, y a la propia sociedad al retraso económico. Un dato, en Finlandia los alumnos aprenden a manejar ambos tipos de texto desde el 1er año de escolaridad.

Relación entre la brecha de alfabetización básica y la digital

Finalmente, y como ya hemos comentado anteriormente, la brecha de alfabetización básica tiene un alto grado de interacción con la denominada brecha digital. Una y otra se relacionan. Cada una puede deteriorar o perjudicar el desarrollo de la otra.  A menor nivel de alfabetización básica, mayor será la brecha digital en la población escolar, por simple incapacidad del alumno para saber gestionar la comprensión de los textos multimedia.  Por el contrario, a menor nivel de competencia en el manejo de medios digitales para aprender y producir conocimiento con la ayuda directa del docente, mayor será la muestra de alumnos que tengan como hábito “no leer para aprender”.

Andrés Calero

@acalero1

Beck, I.L., McKeown, M.G., & Kucan, L. (2002) Bringing words to life: Robust vocabulary instruction. New York: Guilford Press.

Chall, J. (1996). Stages of reading development, 2nd edition. Forth Worth, TX: Hartcourt Brace.

Chall, J. (2000) The academic achievement challenge: What really works in the classroom. New York: Guilford.

Mullis, I. V.S., Martin, M. O. et al. (2009). TIMSS 2011 Assessment Frameworks . TIMSS & PIRLS International  Study  Center.  Lynch  School  of  Education, Boston College.  http://www.iea.nl/

Nagy,W., & J. Scott (2000). Vocabulary processes. En D. Pearson, R. Barr, M. Kamill & P. Moshentall (eds) Handbook of Reading Research, 269-284, N.J. Lawrence Erlbaum Associates, Innc.  

Sanacore, J. & Palumbo, A. (2009) Understanding the fourth-grade slump: Our point of view. En The Educational Forum, 73: 67-74. 

7 comments for “Otra mirada a PIRLS y PISA. Lo que se nos oculta

  1. 18 enero, 2014 at 09:11

    Excelente reflexión, gracias!.
    Cuarto de Primaria es como el Triángulo de las Bermudas de la Educación Primaria. En los informes psicopedagògicos, Planes individuales, traspasos de información, este comentario “nivel de cuarto”, es demoledor. No son analfabetos, pero necesitan en el mejor de los casos, una traducción a lo concreto de lo que se lee y explica, porque de lo contrario no pueden comprender. Y estoy hablando de alumnos de la ESO. Entonces en demasiadas ocasiones atribuimos este drama a características cognitivas individuales, y no al hecho de no haber puesto cuando se evidenciaba la brecha las medidas compensatorias oportunas. Debemos concentrar más esfuerzos en mejorar la educación primaria, más formación de padres y profesores en esas etapas, más recursos para llevar a cabos las orientaciones que se realizan.
    Tu artículo merece muchas relecturas y un mejor comentario, considera éste como inicial .Dejemos de lamentarnos, y pasemos a la acción!.

    • acalero1
      5 febrero, 2014 at 17:58

      Gracias Elvira por tu comentario.

      Llevas razón en lo que planteas. Además, la peor parte de este declive en rendimiento lector en 4* grado lo sufre el alumnado de bajó nivel socioeconómico. Existen estudios que muestran que en los dos primeros cursos esta brecha de nivel lector entre alumnos de distinto origen social apenas es perceptible. Sin embargo, cuando se enfrentan al nuevo vocabulario académico de los contenidos de los textos informativos que deben manejar, ese abismo entre ellos surge con fuerza, y se mantiene a lo largo del resto de la etapa de escolaridad obligatoria, incrementándose además de un modo dramático.
      Como tú dices, es mucho el esfuerzo conjunto que tenemos que hacer aún entre padres y profesores.
      Saludos
      A. Calero

  2. Luisa
    27 febrero, 2014 at 07:47

    Totalmente de acuerdo.
    Podemos empezar los maestros descodificando esos cromos de poKemon o de fútbol que esos niños y niñas de 4º de primaria entienden a la perfección para transferir con ellos hacia otros textos, igual de complejos como lo son esos cromos (al menos para mí…) explicándoles claramente lo que esperamos de ellos en las evaluaciones diagnósticas. ;)

  3. Óscar Rodríguez
    15 mayo, 2014 at 22:39

    Excelente blog, no soy profesor pero me ofrecí de voluntario para darle cursos de regularización de matemáticas a jóvenes en mi Iglesia. Para enorme sorpresa mía, me encuentro que no saben leer, es decir, no entienden lo que leen. Esto obviamente dificulta en gran medida la enseñanza de matemáticas (Álgebra, trigonometría, geometría analítica y cálculo) y noto con tristeza que esto genera frustración entre mis alumnos. Mi pregunta es ¿cómo puedo ayudar a mis alumnos a mejorar su capacidad de comprender lo que leen?

    • acalero1
      16 mayo, 2014 at 09:32

      Gracias Óscar por su comentario. Valoro en mucho su decisión de llevar a cabo un trabajo voluntario con el alumnado que me comenta.
      En mi opinión, sin duda sus observaciones resaltan una de las carencias que muchos sistemas educativos poseen a la hora del aprendizaje de la lectura. Es el hecho de que durante la mayor parte del siglo pasado, y por desgracia parte de éste, muchos docentes hemos estado más preocupados porque los alumnos “aprendan a leer”, a decodificar, a descifrar y a verbalizar el texto escrito, que por “leer para aprender”. La famosa “guerra de los métodos” era la única preocupación teórica de las instituciones universitarias de formación del profesorado y, en consecuencia, los docentes hemos estado más distraído intelectualmente por ella que por enseñar a los estudiantes a cómo comprender.
      En este sentido, “leer para aprender” conlleva inevitablemente que el estudiante “aprenda a cómo comprender” los textos que se le presentan. Ésta debería ser la tarea más importante a llevar a cabo desde el primer curso de Educación Primaria. Sin embargo, si Vd. observa el tipo de lectura que el alumnado de esta etapa educativa realiza en las escuelas de su país (entre los 6 y los 11 años), es posible que encuentre que mayoritariamente se trata de textos narrativos, no de textos expositivos. Existen investigaciones llevadas a cabo en la última década, que muestran que el tiempo dedicado a la lectura en voz alta por parte del docente, o a la lectura individual de los estudiantes de textos expositivos (ciencias sociales, naturales, matemáticas…) es casi inexistente. Duke (2000) descubre que sólo 3,6 minutos por día es el tiempo destinado a leer ese tipo de textos en el 1er cursos de Primaria. Como Vd conoce, estos textos son más complicados de leer que los narrativos, dado que poseen un vocabulario técnico, más abstracto y menos familiar para el alumnado. Cuando estos alumnos habituados a las narraciones comienzan en 3º ó 4º de esta etapa educativa a enfrentarse a estos textos no saben leerlos, simplemente porque no los entienden. Nadie se ha preocupado de familiarizarlos con ellos, con el vocabulario que contienen, o con las estrategias de conocimiento más adecuadas a utilizar para comprenderlos.
      Sin duda, el nivel de vocabulario, y el uso de estrategias de comprensión lectora son las herramientas intelectuales básicas más importantes para comprender estos textos. De hecho, la investigación actual muestra que el lector de Primaria necesita conocer el significado de entre el 90 ò el 95% de las palabras de un texto para poder comprenderlo. Si un estudiante conoce el 90% del vocabulario de cualquier texto, es fácil que use ese conocimiento para descifrar el otro 10% de palabras desconocidas con el manejo de estrategias cognitivas que los maestros deben haberle enseñado. Por el contrario, si su conocimiento del vocabulario del texto es inferior al 90%, su comprensión lectora será deficitaria.
      En definitiva, entiendo el problema con el que Vd se encuentra, y mi sugerencia es que comience compensando, en la medida de lo posible, las deficiencias de vocabulario de sus estudiantes y lea con ellos. Mientras Vd. les lee el texto, modele cómo lo está comprendiendo. Los alumnos valoran en mucho, y aprenden de la lectura experta que realiza el adulto cuando, mientras les lee, está reflexionando en voz alta sobre cómo es capaz de descubrir el significado de algunas palabras desconocidas. Ésta es una estrategia muy importante para que ellos aprendan a comprender.
      De ese modo, además, los alumnos irán construyendo “conocimiento del contenido específico”, un aspecto importante sobre el que apoyarse en nuevas situaciones de resolución de problemas.
      Saludos cordiales
      A. Calero

  4. Óscar Rodríguez
    16 mayo, 2014 at 01:07

    Escribo desde la ciudad de Querétaro, capital del estado que lleva el mismo nombre y pertenece a México. Antes que nada, agradezco la gentileza de sus comentarios.
    Mire usted, lamentablemente en mi país el sistema educativo es obsoleto y en franca desventaja dentro del bloque de países emergentes.
    Adicionalmente, nuestros maestros están más preocupados en la política que en su labor.
    Aunado a lo anterior, la comunicación”digital” que practican los mexicanos deteriora notablemente la capacidad de escritura, pues usan abreviaturas que nada tiene que ver con nuestro idioma.
    Percibo un carente vocabulario y la creciente mezcla infame del inglés que deteriora, de manera creciente y constante la capacidad de comunicación y entendimiento de textos entre los jóvenes principalmente.
    Cuando inicié los cursos nunca me imaginé de lo grave de la situación, al principio pensé que se trataba de casos aislados,pero me alarmé de la generalización del problema.Como puede imaginarse, el aprendizaje para éstos jóvenes de escuelas públicas es todo un reto, que se traduce en una alta tasa de deserción y por ende un futuro incierto en un mundo sumamente competitivo.
    Es por ello que recurro a usted para solicitar de su valiosa ayuda.

    Reciba mis felicitaciones

Deja un comentario