Rango Finito

fotoscódigoobservatorioshermanocerdo temas plots

pisa

PISA nos pisa

En esta entrada de su blog, Arthur Charpentier intenta evaluar qué tan “elitista” es la educación francesa de acuerdo a los resultados del examen PISA (concluye que no particularmente). Inspirado en sus cálculos organicé algunas gráficas intentando visualizar/evidenciar desigualdades en los resultados de PISA 2012 con énfasis en Colombia. Por lo pronto sólo hay gráficas y muy poco comentario (tal vez porque prefiero no forzar interpretaciones y me gustaría, más bien, conversarlas por acá si alguno se anima). El código que genera el documento está acá.

Aquí, por ejemplo, está una gráfica que permite comparar las distribuciones de puntajes en matemática para varios países (diferenciadas por sexo):

Distribuciones puntajes PISA 2012

En el documento hay otras formas con diferentes énfasis de hacer esta misma comparación.

1

Los resultados de Pisa merecen atención pero también cuidado en su interpretación. Pisa, como todo examen, evalúa un contenido dado. Se parte del supuesto de que este contenido es estándar. Se asume que el diseño del examen toma en cuenta sesgos culturales. ¿Qué tanto? Es difícil de saber. Sin duda Pisa se acomoda mejor al sistema educativo de ciertos países que a otros. En últimas lo que Pisa mide es la cercanía del sistema educativo de un país al ideal que la organización propone. No creo que las personas al frente de la educación colombiana tengan claro cuál es ese ideal que Pisa promueve implícitamente con su examen. (Es discutible (o debería serlo) que ese sea un objetivo que debamos adoptar, por cierto.) Ni siquiera creo que esas personas tengan algún objetivo claro en mente. La verdad es que el sistema educativo colombiano está tan a la deriva y su existencia es tan difusa que es casi imposible tomar los resultados de Pisa como demostración de algo distinto a su abandono. La capacidad del examen para evaluar algo profundo (estilo “la capacidad de los muchachos para resolver problemas” — de paso: ¿cómo se puede esperar medir con un examen escrito la capacidad para resolver problemas cotidianos de unos muchachos que no saben leer ni escribir?) es contingente a que contemos con un sistema educativo relativamente organizado y mínimamente funcional, cosa que en Colombia, no nos mintamos, todavía no existe. En tanto que la calidad del sistema educativo dependa de la buena voluntad de héroes anónimos dispersos rodeados de un mar picado de mediocridad los resultados lamentables en las pruebas Pisa no hablarán de maestros ni de estudiantes ni de colegios sino de la ineptitud de los políticos y funcionarios y su desprecio más que evidente por el futuro del grueso de los colombianos.

14

Recuerdo que la introducción del determinante en el curso de álgebra lineal que tomé en la universidad me pareció artificiosa. Nunca entendí del todo por qué ese procedimiento recursivo tan complicado y medio salido de la nada tenía esas propiedades tan agradables. O tal vez sí lo entendí, pero a fuerza de darle vueltas y vueltas más adelante en muchos contextos diferentes. Hace poco mencioné mi incomodidad con los determinantes en Twitter y Federico Ardila me respondió con un enlace a este artículo de Sheldon Axler escrito en 1994 donde ofrece una aproximación muy agradable a varios resultados importantes de álgebra lineal sin recurrir a determinantes. Fluye muy bien. Al final define el determinante como el producto (contando multiplicidades) de los valores propios, lo que se siente muchísimo más apropiado.

*

Al respecto del dato de ayer (que yo me apresuré a leer como machismo puro y duro), John Goodrick dejó en los comentarios un enlace a este artículo donde se observa que la amplitud de las brechas entre hombres y mujeres en los resultados de Pisa de matemática y lectura están inversamente relacionadas. O sea: donde hay más ventaja de los hombres sobre las mujeres en matemática la ventaja es estrecha entre las mujeres y los hombres en lectura (como en Colombia) y también al revés. ¿Por qué pasará eso?

Adenda: Olvidé mencionar que el artículo también correlaciona la amplitud de las brechas con índices de igualdad de género (reforzando un poco más la teoría del machismo como factor.)

*

Santiago Ortiz sugirió ayer que revisara las diferencias en resultados de Pisa discriminando por mes de nacimiento para ver si pasa algo parecido a lo que describe Gladwell en Outliers. Esta mañana me levanté intrigado y armé esto:

mesdenacimiento

Una mirada rápida parece sugerir que en Colombia no hay ventaja debida al mes de nacimiento. Sin embargo Santiago, que es curtido en estos asuntos de visualizar, me sugirió que lo ordenara arrancando en julio y terminando en junio. Obtuve esto:

meses-julio

¿Ven el salto?

*

Me gustaría explorar la posibilidad de armar una publicación en línea para público general que haga “periodismo de datos” (concepto en desarrollo) en español sobre asuntos sociales y políticos del mundo hispanohablante (o latinoamericano — o tal vez solo colombiano para empezar). La idea, muy escuetamente, sería ofrecer reportajes a fondo, bien editados y bien escritos (amenos, entretenidos, con alma) donde la narrativa estuviera parcialmente guiada por la existencia de bases de datos que ofrecieran alguna perspectiva particular sobre un tema (de coyuntura o no) y el contraste crítico entre los análisis de los datos (y la misma existencia de los datos) y las realidades que pretenden describir/comprimir (lo que implicaría además hacer reportería seria hablando con gente y demás, de eso que ya casi no se hace). De paso podría ser una buena plataforma para promover la liberación de bancos de datos públicos en nuestros países. Como sea, un proyecto con semejante ambición necesitaría plata pues dependería de infraestructura y un equipo de personas muy competentes. Durante el próximo año de pronto revise cómo se podría financiar y organizar algo así. Si tienen sugerencias al respecto las recibo en los comentarios.

*

No conocía PSPP, la alternativa libre a SPSS. Útil.

*

Ya es hora de que acepte que “la academia” no es para mí: tenemos prioridades y valores distintos. Me da pesar porque me gusta enseñar y hablar de matemática, pero supongo que haga lo que haga con mi vida siempre aparecerán otros espacios para enseñar y aprender ojalá más compatibles con lo que soy (o no soy).

*

Me contó Nicolás que en estos días de ventiscas heladas entró a la tienda una mujer colombiana huyendo del frío. Dijo que disculparan pero no entraba a comprar nada sino solo a escampar del hielo y ahí mismo se puso a llorar.

13

El resumen ejecutivo de los datos de Colombia en PISA 2012 preparado por el Icfes se concentra en comparar a Colombia con otros países evaluados en diferentes variables. Un dato clave (p. 13) que sirve para poner este gráfico en perspectiva: entre todos los países evaluados, Colombia es el país donde la ventaja de los muchachos sobre las muchachas en matemática es la mayor y también (por si acaso quedan dudas) es el país donde la ventaja de las muchachas sobre los muchachos en lectura es la menor después de Albania. El machismo colombiano y sus consecuencias.

12

Gráfica de libros en casa y la distribución de puntajes de los estudiantes colombianos en matemática y lectura:

libros
Clic para verla más grande

11

Los libros de hojas de cartón duro son ideales para esta edad. Resisten perfecto el trato característico de la motricidad fina en desarrollo. Laia elige uno y me pide que lo leamos. A veces ella pasa las páginas. Me enseña los dibujos con el dedo. Pide explicaciones. Hace sus ruidos. Reconoce gatos, elefantes y niños. Otras veces nos acostamos uno al lado del otro y yo llevo el control del libro. No le basta con que le muestre el libro sino que quiere que se lo lea, lo que implica por lo general traducir pequeñas frases o palabras pues tenemos pocos libros en español. Traducir o inventármelas. Algunos libros, la mayoría, tienen mejores dibujos que palabras así que no me importa tener libertad a ese nivel. De todos modos poco a poco necesitaremos más libros en español para que ella pueda aprender a leer. Además del libro de Isol a Laia le gustan los libros del elefante Élmer de David McKee. Tenemos dos traducidos al español: uno sobre el clima y uno sobre los animales. También tenemos algunos de Chigüiro de Ivar Da Coll. Esos son de hojas de papel así que requieren más cuidado. Había uno de animales de hojas compuestas de algo parecido a espuma que ella esencialmente se comió durante la ansiedad por morder que acompaña el nacimiento de los primeros dientes. La edición de hojas duras de Olivia, de Ian Falconer, ha sido muy apreciada. Y The Big Book of Words and Pictures de Ole Könnecke es un tesoro al que siempre se puede regresar con gusto. También tenemos algunos libros baratos de dibujos que le permito deshojar libremente. Cada tanto le leo unas páginas de alguna novela de Roald Dahl o de la edición con comentarios de Martin Gardner de Alicia. Todavía no le llaman mucho la atención. Prefiere los dibujos coloridos.

The-Big-Book-of-Words-and-Pictures-Muiscal-Instruments

*

Una serie más de gráficas de Pisa Colombia 2012 alrededor de una pregunta de autovaloración en matemática:

autovaloracion
En un eje su autovaloración y en el otro el puntaje que sacan en la prueba de matemática diferenciado por género.
autoevaluacion-genero
Fracción de muchachos y de muchachas en cada respuesta.
autovaloracion-total
Porcentaje en cada respuesta sin diferenciar por género.

10

Fiebre de Laia y poca cabeza en general. Sigo mirando los resultados de Pisa. Esta es una de esas gráficas que siempre me impresionan:

puntajes de pisa colombia
Puntajes de matemática y lectura de todos los colombianos evaluados por Pisa 2012, con un código de color los diferencio por género.

Y otra que me parece graciosa:

numeros propios
Los números propios son un concepto inventado por los evaluadores. Incluyen esa pregunta para medir overclaiming (¿traducción?) de los estudiantes. Clic para verla grande.

En su defensa, no siempre son así de descarados (o de pronto “números propios” suena muy cercano a otros conceptos de uso común y los confunde):

escsubj
Clic para verla grande. De nuevo, la escala subjuntiva es un invento de los evaluadores.

5

Hoy publicaron esto sobre las pruebas Pisa en politikón. Punto clave:

Lo que sí que puede hacer PISA es mostrar que países con alumnos con altas diferencias socioeconómicas consiguen que sus alumnos no tengan diferencias en sus rendimientos educativos y que, además los tengan elevados. Este sería el caso de Japón, Corea, Canadá, Suiza y los Países Bajos, para poner algunos ejemplos. Parece que una de las principales características que todos estos países tienen en común – y que en España le queda camino para recorrer- es la autonomía de centro sobre el contenido curricular. El hecho que cada centro educativo pueda decidir sobre el currículum en función de las características de su alumnado facilita la mejora de sus competencias. Igualmente, otra de las características que estos países con “buena nota” y poca desigualdad disfrutan es de un amplio sistema de evaluación con el objetivo de mejorar y no de controlar.

Ahí lo importante es entender que esa autonomía no implica abandono (que es como parece que se implementa en Colombia) sino, al contrario, acompañamiento muy cercano a través de la formación y asesoría permanente de maestros y directivos, así como estándares mínimos en cuanto a instalaciones físicas y libros disponibles. Estas vainas no se mejoran con declaraciones de intenciones sino con inversión sustanciosa y muy bien organizada.

Melo escribe acá sobre los resultados de Pisa para Colombia.

Como siempre con estos exámenes lo clave es no quedarse en el análisis superficial de rankings de mejores y peores (en últimas medio intrascendentes) y pensar en qué es lo que esos datos, al ser estudiados a fondo, pueden aportar para el diseño nacional de políticas de educación. En el caso particular de Pisa los resultados incluyen información valiosa sobre las condiciones socioeconómicas de los estudiantes y su relación con la escuela. Para saber que en Colombia la educación no anda bien no se necesita mirar los rankings de Pisa. Lo justo sería aprovechar la información detallada que acompaña los resultados para ofrecer un diagnóstico más profundo del problema.

Pisa Nostra

Las pruebas internacionales Pisa no sólo evalúan a los estudiantes sino que los clasifican socioeconómicamente con mucho detalle. La prueba está acompañada de una encuesta con la cual se pretende conocer las condiciones de vida de los evaluados tanto dentro como fuera del colegio. Los resultados de Colombia son discutidos recurrentemente en los medios como prueba definitiva de la baja calidad de nuestro sistema escolar. En la columna del sábado pasado, Julio César Londoño explica el mal puntaje en lenguaje con una serie de estadísticas sobre los niveles de lectura nacionales. Coincidencialmente, las pruebas Pisa preguntan a los estudiantes evaluados si leen por placer. ¿Cómo le va a Colombia?

Algo así como el 62% de los niños colombianos evaluados y un 75% de las niñas colombianas evaluadas leen por placer. En promedio, Colombia supera en esta estadística a países como Canadá, Finlandia, Francia, Noruega, Alemania o Japón. ¿Intrigante? Claro. ¿Explicable? Tal vez. ¿Qué está pasando? ¿Cómo es posible que niños colombianos que generalmente no cuentan con libros en casa ni con bibliotecas accesibles (según Londoño “en el 47% de los hogares colombianos hay menos de cinco libros y en el 22% hay cero libros”) digan que leen por placer? Hipótesis: los niños colombianos responden lo que creen que esperan que respondan. Están entrenados en la complacencia como técnica de supervivencia escolar.

¿Tengo pruebas? No realmente. Pero en Pisa también le preguntan a los estudiantes qué tan frecuentemente el profesor debe esperar para que se haga silencio en clase. A continuación la tabla de resultados que cuenta el porcentaje de evaluados que aseguraron que eso no pasaba o pasaba sólo de vez en cuando:

silencio en clase pisa

Es decir, 81% de los niños colombianos evaluados no sufren interrupciones frecuentes en clase. Algo muy difícil de creer pero de nuevo explicable con la hipótesis de la complacencia como regla principal de supervivencia: la escuela colombiana promueve la idea de que el silencio respetuoso hacia el profesor es la situación deseable así que los niños responden acorde. En esta tabla también viene bien notar que Finlandia, un país reconocido mundialmente por la calidad de su sistema educativo, reporta el tercer porcentaje más bajo (63%). De pronto esa disciplina superficial de guardar silencio y asentir no es tan importante.

(De paso, aquí una nota de Daniel Vaughan sobre los valores que los padres colombianos quieren que sus hijos tengan. El comentario al final sobre las observaciones de Gadwell al respecto del accidente de Avianca en 1990 es particularmente relevante.)