Por qué el ‘efecto de un curso’ de PISA no mide realmente lo que se aprende en un año escolar

¿Qué mide el Proyecto Internacional de Evaluación del Alumnado (PISA, por sus siglas en inglés) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE)? Sus creadores lo definen como la literacy (alfabetización, en su traducción literal) de los estudiantes de 15 años en distintas materias. Esta “alfabetización” se puede entender como la capacidad de comprender y aplicar en entornos de la vida cotidiana destrezas en lectura, matemáticas y ciencias.

¿Pero hasta qué punto se puede atribuir únicamente a la escuela el desarrollo de esta capacidad? Se aprende en la escuela, pero también en otros contextos de la vida. La competencia lectora se puede desarrollar leyendo por ocio o con juegos de rol. La matemática, en juegos de ordenador o de mesa. La científica, consumiendo divulgación científica o jugando a experimentar.

Las pruebas PISA intentan establecer cuánto aprenden los estudiantes en un año de escolarización en cada país, concepto al que denominan “efecto de un curso”. Se estima empleando una serie de métodos estadísticos que explicaré a continuación. Pero, como veremos, se corre el riesgo de que esta estimación pueda ser más un “artefacto” estadístico que una realidad sustantiva.

Si fuese cierto que el efecto de un curso de escolarización es de 20 puntos, como se desprende en el último informe PISA, su principal hallazgo sería lo poco eficaz que resulta un curso como medio para mejorar las competencias educativas. Es decir, que los estudiantes se “alfabetizan” o mejoran su capacidad de aplicar en la vida real sus destrezas en lectura o matemáticas al margen, en gran medida, de la enseñanza formal en el aula.

Cómo se puntúan las pruebas de PISA

Para que los resultados de la prueba puedan ser comparables entre distintos países, con diferentes sistemas educativos y distintos currículos, la prueba se diseña en el marco de un modelo de evaluación psicométrica denominado teoría de la respuesta al ítem.

Las puntuaciones se calibran estadísticamente con una curva “normal” (o campana gaussiana), que determina la media y la desviación típica. En el año 2000, por ejemplo, la media era 500 y la desviación típica 100. Por tanto, un 500 no tiene nada que ver con un 5 en un examen: nos indica que aproximadamente dos de cada tres estudiantes de la OCDE obtienen puntuaciones entre 400 y 600 puntos.

¿Cómo interpretar estos puntos? La OCDE ha optado por definir ocho grupos y asociar cada uno de ellos a un nivel de competencias, en intervalos de unos 60-70 puntos. El resultado por debajo de 410-420 puntos, la frontera inferior del nivel 2, indica que el estudiante no cuenta con un mínimo de competencias para afrontar con cierto éxito la vida adulta.

El efecto de un curso

La OCDE propone otra estrategia para darle sustancia a estas cifras tan abstractas: el efecto de un curso de escolarización. Pero esto es un problema, pues la prueba no está diseñada para estudiar dicho efecto, pues solo se realiza a alumnado de 15 años. Lo que hace es comparar al alumnado de esa edad que está en distintos cursos.

Para estimar las diferencias entre un curso y otro, la OCDE procede con una metodología de “residuo”, que consiste en atribuir al efecto de un año todo aquello que no puede atribuirse a otras causas. Se diseña un modelo estadístico con todas las características en las que difieren los que están en un curso y en otro (origen social, estatus migratorio y sexo, básicamente), y las diferencias que no se explican por dichas características se atribuyen al año de la escolarización.

El procedimiento, por tanto, consiste en una simulación estadística, en la que se establece que si dos estudiantes de 15 años, uno en 4º y otro en 3º, son iguales en origen socioeconómico y cultural, sexo y estatus migratorio (y la composición social del centro en el que estudian), las diferencias entre ellos se atribuyen a que están en cursos distintos.

Pero en el propio informe se reconoce que no necesariamente lo que están estudiando unos y otros estudiantes es lo mismo, pues, según los países, pueden cursar currículos distintos (por ejemplo, en España, a los 15 años se puede estar en diferentes cursos: en diferentes cursos de la ESO, en FP Básica, o en el Programa de Mejora del Aprendizaje y el Rendimiento hasta el curso 21/22, en que se realiza PISA).

Este método de “residuo” hace que el efecto del curso (grade effect) sea variable, tanto por oleada (o periodo en el que se realizan las pruebas) como por país. La evolución de la puntuación estimada en España ha pasado de unos 40 puntos en 2003 a 20 puntos en 2022.

Si bien el propio informe (en su página 165) avisa de que esta puntuación es específica de cada país y cada oleada, en la nota de prensa resumida de 2022 no se tienen en cuenta estas advertencias y se presentan las variaciones entre 2018 y 2022 en términos de “cursos” (absurdo, dado que entre oleadas cambia el tamaño del efecto). Como consecuencia, en la opinión pública, e incluso entre expertos, ha dominado la idea de que en 2022, “20 puntos de PISA equivalen a un año de escolarización” para todos los países. Para que nos hagamos una idea, en otros años que se muestran las estimaciones por países, en España, por ejemplo, se atribuyen 61 puntos al efecto de curso en 2012, mientras que el promedio de la OCDE es de 41.

El efecto devaluado de un año de escolarización

Veinte puntos es un efecto pequeño. Al interpretar un efecto pequeño con una magnitud tan grande como un curso escolar, estamos trivializando los hallazgos educativos. Por un lado, magnificamos pequeñas diferencias. Por otro, atribuimos grandes efectos a políticas educativas, no tan efectivas. Y, además, contribuimos al tremendismo educativo, pues a poco que haya diferencia ya hablamos de “medio curso de escolarización” a una distancia que en cualquier orden de nuestra vida nos parece corta –“medio curso”, es decir 10 puntos (0,1 de desviación típica), es como comparar entre una persona de 1,70 m. y otra de 1,69 m–.

Por todos estos problemas, parece más sensato mantener el criterio bien asentado en la investigación educativa de considerar que el efecto de un curso está entre 0,5 y 0,7 desviaciones típicas. Aplicado a la métrica de PISA, equivale a unos 50 - 70 puntos, más alineado con las oleadas anteriores, de unos 40 puntos.

¿Qué ocurrió en la última oleada?

Faltaría explicar por qué se ha devaluado tanto el efecto de un año de escolarización. Quizá debido a que la actividad presencial de las escuelas se suspendió durante semanas: a curso más corto, menor el efecto del curso.

O quizá a que se han producido cambios estructurales en cómo el origen social, el sexo y la inmigración influyen en marcar diferencias entre el alumnado. En este caso, atribuimos solo a la escuela la reducción de diferencias por estas características entre el alumnado que está en un curso u otro.

En este sentido, debe considerarse que el alumnado de las oleadas de 2018 y 2022 ha cursado toda su educación obligatoria tras la Gran Recesión de 2008. Habría que explorar si el empobrecimiento de las familias, así como los recortes en inversión por estudiante, pudieron afectar al rendimiento de la escolarización.

Si bien a comienzos del ciclo depresivo hay evidencia de que las familias compensaron los recortes en educación, al alargarse la situación la recesión sí ha dañado la calidad educativa, bien de las escuelas, bien de las familias (más empobrecidas y estresadas por la crisis).

José Saturnino Martínez Martínez García, Titular de Universidad y Director de la Agencia Canaria de Calidad Universitaria y Evaluación Educativa, Universidad de La Laguna

Este artículo fue publicado originalmente en The Conversation. Lea el original.