Rango Finito

fotoscódigoobservatorioshermanocerdo temas plots

exámenes

PISA nos pisa

En esta entrada de su blog, Arthur Charpentier intenta evaluar qué tan “elitista” es la educación francesa de acuerdo a los resultados del examen PISA (concluye que no particularmente). Inspirado en sus cálculos organicé algunas gráficas intentando visualizar/evidenciar desigualdades en los resultados de PISA 2012 con énfasis en Colombia. Por lo pronto sólo hay gráficas y muy poco comentario (tal vez porque prefiero no forzar interpretaciones y me gustaría, más bien, conversarlas por acá si alguno se anima). El código que genera el documento está acá.

Aquí, por ejemplo, está una gráfica que permite comparar las distribuciones de puntajes en matemática para varios países (diferenciadas por sexo):

Distribuciones puntajes PISA 2012

En el documento hay otras formas con diferentes énfasis de hacer esta misma comparación.

18

Hoy quería explicar bien, haciendo los cálculos, de dónde salen los componentes principales del Análisis de Componentes Principales pero el catarro no me dejó. Diré en cambio que este es un método de exploración estadística multidimensional que, en su versión más básica, toma un colección de vectores de dimensión alta y encuentra hiperplanos encajados de dimensiones bajas en los cuales los vectores se proyecten preservando en esa sombra tanta estructura como sea posible. Cuando las condiciones son favorables se puede reducir la dimensión hasta un punto donde sea posible graficarla y así apreciar cómo se relacionan los dotos y también qué pasa con las correspondientes dimensiones cuando se aplanan.

Para seguir con las gráficas educativas tomé la tabla de los datos de SABER 11 por áreas por colegios y le apliqué un análisis de componentes principales para intentar verlos en un plano (en el contexto de lo dicho arriba, aquí cada vector es un colegio y sus dimensiones corresponden a sus resultados promedio en cada una de las ocho áreas). La correlación es tan alta entre las áreas que bastan dos dimensiones para capturar el 90% de la varianza de los datos.

Aquí está una gráfica de todos los colegios proyectados en este plano:

pca

La gracia del análisis de componentes principales es mirar cómo se ven otros factores conocidos en ese nuevo espacio que intenta atrapar todas las dimensiones al tiempo. Aquí, por ejemplo, están sólo los colegios públicos:

pca-publicos

Realmente los ejes de este plano no tienen ningún significado así que nada nos dice que un punto esté bajo cero o sobre cero en tal o cual eje. Para eso tendríamos que proyectar las dimensiones originales en este plano y así intentar detectar relaciones más precisas entre los puntos y los factores considerados. Antes de llegar allá, miremos los colegios privados:

pca-privados

A diferencia de los públicos, que se concentran fuertemente en una zona, los privados están mucho más dispersos, aunque la mayoría también se acumula en más o menos la misma área. El tercer cuadrante es prácticamente exclusivo de colegios privados. Para intentar entender qué es lo que los diferencia a nivel de puntajes en las áreas necesitamos proyectar las dimensiones originales en este plano. Eso es lo que hago a continuación:

pca-todos

Esta gráfica parece sugerir que el inglés, la matemática, el lenguaje y la filosofía inciden fuertemente en la dispersión hacia la izquierda y abajo que diferencia a ciertos colegios privados de la masa homogénea general. Esto refuerza lo detectado acá. Los colegios públicos, en cambio, se encuentran mayoritariamente concentrados por debajo del promedio (el origen del plano) en casi en todas las áreas.

Un ejercicio pendiente es conseguir algún índice de condición socioeconómica de los estudiantes de cada colegio y repetir el ejercicio para ver cómo se distribuyen los diferentes “estratos” en el plano y con respecto a cada área.

(Como siempre, clic en las imágenes para verlas más grandes.)

5

Hoy publicaron esto sobre las pruebas Pisa en politikón. Punto clave:

Lo que sí que puede hacer PISA es mostrar que países con alumnos con altas diferencias socioeconómicas consiguen que sus alumnos no tengan diferencias en sus rendimientos educativos y que, además los tengan elevados. Este sería el caso de Japón, Corea, Canadá, Suiza y los Países Bajos, para poner algunos ejemplos. Parece que una de las principales características que todos estos países tienen en común – y que en España le queda camino para recorrer- es la autonomía de centro sobre el contenido curricular. El hecho que cada centro educativo pueda decidir sobre el currículum en función de las características de su alumnado facilita la mejora de sus competencias. Igualmente, otra de las características que estos países con “buena nota” y poca desigualdad disfrutan es de un amplio sistema de evaluación con el objetivo de mejorar y no de controlar.

Ahí lo importante es entender que esa autonomía no implica abandono (que es como parece que se implementa en Colombia) sino, al contrario, acompañamiento muy cercano a través de la formación y asesoría permanente de maestros y directivos, así como estándares mínimos en cuanto a instalaciones físicas y libros disponibles. Estas vainas no se mejoran con declaraciones de intenciones sino con inversión sustanciosa y muy bien organizada.

Melo escribe acá sobre los resultados de Pisa para Colombia.

Como siempre con estos exámenes lo clave es no quedarse en el análisis superficial de rankings de mejores y peores (en últimas medio intrascendentes) y pensar en qué es lo que esos datos, al ser estudiados a fondo, pueden aportar para el diseño nacional de políticas de educación. En el caso particular de Pisa los resultados incluyen información valiosa sobre las condiciones socioeconómicas de los estudiantes y su relación con la escuela. Para saber que en Colombia la educación no anda bien no se necesita mirar los rankings de Pisa. Lo justo sería aprovechar la información detallada que acompaña los resultados para ofrecer un diagnóstico más profundo del problema.