La Organización para la Cooperación y el Desarrollo Económicos (OCDE) difundirá mañana el ranking mundial, perofuentes del organismo admitieron que hay dudas sobre las muestras del país, que podrían no ser representativas. Se habrían excluido estudiantes o escuelas que se debieron haber incluido.
Al mismo tiempo, e independientemente de los sostenido desde el propio organismo, lo cierto es que referentes docentes e intelectuales ya habían puesto en discusión la objetividad de los estudios PISA, reimpulsados por el actual gobierno luego de que el anterior cuestionara sus resultados tras rankear mal en la escala de países.
Mañana, cuando se conozca el ranking de las pruebas de evaluación educativa PISA tomadas en 2015, los resultados argentinos llegarán con polémica. El eje del debate serán los cambios significativos que presentó la muestra de escuelas que se sometió a evaluación en su última edición y la duda acerca de cuán representativos son los resultados del país.
Andreas Schleicher, el hombre fuerte de las pruebas PISA, responsable de la Dirección de Educación y Habilidades de OCDE fue citado por La Nación, ante cuyo medio sostuvo: “La omisión de escuelas del marco muestral tiene el potencial de afectar la representatividad de la muestra”, señaló. “La OCDE descubrió que, efectivamente, un número significativo de escuelas no fue incluido en el listado, y por esta razón no podemos descartar la posibilidad de que los resultados para la Argentina hayan sido afectados. Es imposible saber, sin embargo, en qué dirección son afectados.”
Schleicher también señaló que se discutió la posibilidad de incluir los resultados de la Argentina en el reporte que se divulgará mañana con una salvedad o asterisco. ¿El objetivo? Subrayar los problemas en la comparación de los resultados entre PISA 2015 y PISA 2012.
Schleicher también reconoció que se llegó a tener en cuenta la posibilidad de eliminar a la Argentina del reporte 2015: “Habría sido algo sin precedente. No obstante, puede que haya sido considerado por los distintos participantes en la discusión un escenario hipotético antes de que se comprendieran las razones y el alcance de las omisiones”.
¿Mejoría educativa? Desde fines de junio, cuando la OCDE empezó la revisión de las muestras evaluadas, circularon diversas versiones sobre el desempeño de la Argentina y de la fiabilidad de los resultados de las últimas PISA.
Según una alta fuente del Ministerio de Educación de la ciudad de Buenos Aires, los resultados en PISA 2015 mostrarían una mejora. Hasta la última edición, hace tres años, la tendencia indicaba un estancamiento desde la caída abrupta en los niveles de aprendizaje, en la edición de 2006. También los resultados de CABA, que se presenta a la evaluación en forma independiente, habrían mejorado.
Las pruebas PISA se toman a alumnos de 15 años de todo el mundo desde 2000 cada tres años. Según Schleicher, la revisión de la muestra no se decidió debido a la constatación de una mejora de los resultados en los estudiantes argentinos: “Todas las discusiones con las autoridades argentinas tuvieron lugar antes de que los resultados se divulgaran”.
El mencinado diario también le consultó a Schleicher sobre la posibilidad de una alteración intencional de la muestra para obtener mejores resultados. “No tenemos evidencia de que haya habido una adulteración intencional de las muestras”, contestó.
Tema sensible
Sin embargo, desde hace más de cinco meses, cuando la OCDE comenzó con la revisión del muestreo, se extendió un manto de sospecha con relación a la confiabilidad de los resultados, según las fuentes consultadas por el mencionado diario.
“Va a haber un escándalo internacional con PISA. Se fraguaron resultados.” Así lo confirmó desde la Casa Rosada, en off the record, una alta e irreprochable fuente del Gobierno el 24 de junio pasado, cuando comenzó esta investigación.
Un referente indiscutido en el mundo de la estadística educativa, en estricta reserva, confirmó la inquietud del Gobierno. El 27 de junio decía ante La Nación: “Se excluyeron estudiantes o escuelas que se debieron haber incluido”.
La misma fuente planteaba: “A lo mejor el gobierno anterior le dio a la OCDE una población escolar adulterada. La OCDE no está en condiciones de saber si la base de datos que la Argentina le da está mal”.
Un especialista en educación con buen vínculo con el ministro Esteban Bullrich, que también exigió off the record, señaló: “La Argentina terminó haciendo una muestra con otras escuelas a las que les va mejor para que les diera mejor”.
Fuentes oficiales de los ministerios de Educación nacional y porteño le bajan la temperatura a la polémica. Desde la Ciudad, la ministra Soledad Acuña se refirió a las dudas que surgirán con los resultados que se difundirán mañana a nivel global. Sin embargo, no planteó en ningún momento la posibilidad de una manipulación intencional, sino un problema de orden técnico.
“Vamos a tener un lío -dijo Acuña-. Lo que más me duele de PISA es que vamos a poner en discusión algo que habíamos ganado en términos de la importancia de evaluar.” Remató: “Significa retroceder cinco pasos por una herramienta mal usada”.
La secretaria de Evaluación Educativa de la Nación, Elena Duro, consultada repetidamente por LA NACION en estos meses y por última vez ayer, se negó sistemáticamente a responder sobre el tema y subrayó constantemente el carácter confidencial del procesamiento de los resultados de PISA.
Omisión y razones
La prudencia de las fuentes se entiende: las PISA son las evaluaciones con mayor legitimidad, aun con cuestionamientos a sus rankings. Son una herramienta estadística clave que define la política educativa de países en todo el mundo. Cualquier duda acerca de su precisión tiene impacto profundo. Aun cuando no hubiera manipulación, una muestra poco representativa impacta de algún modo en la credibilidad del proceso general de la evaluación.
Según explicó Schleicher, la elaboración del listado total de escuelas sobre las que luego la OCDE elige al azar cuáles efectivamente serán parte de la evaluación es responsabilidad de las autoridades nacionales. En ese listado estuvo el problema.
Los cambios en la muestra se vinculan con “la reestructuración de las escuelas fuera de la región de la ciudad”. Se refiere a la desaparición de la EGB y el Polimodal, que modificó la estructuración de las escuelas. “La información que sirvió de base para seleccionar la muestra implicó un declive significativo en la proporción de alumnos de 15 años elegibles para participar en PISA, matriculados en séptimo grado hacia delante, con respecto a otras rondas de PISA”, explicó el experto de la OCDE.
Schleicher confirmó que desde junio la OCDE y sus proveedores internacionales especializados en muestreo “han estado en contacto con las autoridades argentinas”.
El ex ministro de Educación de la Nación Alberto Sileoni mantuvo contacto vía correo electrónico con Schleicher. “Le expliqué que habíamos pasado por un proceso de transformación del sistema educativo secundario y el listado de escuelas coincidió con eso”, argumentó.
Sobre los trascendidos de una posible mejora, Sileoni sostuvo: “No me extrañaría: después de estos años de política, es posible una mejora. Ya hubo una entre 2006 y 2009 y después se dio una estabilización que algunos llaman estancamiento”.de los resultados de PISA.
Malas noticias
Aun cuando los resultados muestren una mejora, no serán buenas noticias para la Argentina. Una fuente especializada en educación de un organismo de crédito mundial lo explicó así: “Es muy serio que se rompa la comparabilidad en una serie estadística”. Implica la imposibilidad de contrastar avances y retrocesos en el sistema educativo argentino y en las políticas implementadas.
La OCDE garantizó que los resultados obtenidos son precisos respecto de la muestra recogida. Así lo explicó Franceso Avvisati, analista de PISA en la OCDE: “Nuestras respuestas se refieren estrictamente a la necesidad de evaluar la calidad de la muestra”.
Responsabilidad en la selección de los alumnos
La responsabilidad en el armado del “marco muestral problemático” es otro tema de la polémica sobre el que respondió Andreas Schleicher. Si el listado de escuelas -según la OCDE- tuvo omisiones significativas, el muestreo al azar basado en ese listado arrastrará esos errores.
-¿Cuál de las partes involucradas -la anterior gestión educativa o la OCDE- es responsable de la composición de las muestras?
-El responsable de proveer el listado completo de escuelas es el centro nacional en la Argentina [Nota del editor: las autoridades educativas argentinas]. La OCDE es responsable de seleccionar al azar las escuelas participantes.
-¿Quién es responsable de la implementación de las muestras y la evaluación en sí?
-El centro nacional en la Argentina es responsable de contactar a las escuelas seleccionadas para elaborar una lista completa de estudiantes y coordinar la implementación.