INVESTIGACIÓN DOCENTE

Recomiendo leer

Tweet

«Poor proxies for learning» se puede traducir al español como «malos sustitutos para el aprendizaje» o «malos indicadores para el aprendizaje». Esta expresión se utiliza para referirse a métodos, indicadores o herramientas que se utilizan para medir o fomentar el aprendizaje, pero que en realidad no reflejan de manera precisa o efectiva el verdadero proceso o progreso del aprendizaje. En esta entrada desarrollamos la clásica e imprescindible idea de Rob Coe en su charla inaugural de la Universidad de Durham. El original lo podéis encontrar aquí.

«Soy profesor y me interesé en la investigación educativa, terminando por dedicarme a ella. La mayoría de mis investigaciones han abordado cuestiones directamente relevantes para la práctica o la política: quiero mejorar la educación para niños y jóvenes. Sé que no hay nada especial en eso; la pregunta difícil es: ¿Cómo?»

En cierto nivel, el análisis puede empezar de manera bastante sombría: los estándares no han subido; la enseñanza no ha mejorado; la investigación que ha intentado apoyar la mejora generalmente no ha tenido éxito; incluso identificar qué escuelas y maestros son buenos es más difícil de lo que pensábamos.

Pero, y es un gran PERO, Rob Coe se manifiesta optimista sobre nuestra capacidad para aprender de lo que no ha funcionado, no seguir repitiendo los mismos errores y usar el conocimiento que tenemos sobre lo que parece más probable que haga una diferencia.

Experiencia: ¿Han subido realmente los estándares educativos?

El autor quiere dejar claro que no pretende criticar a los maestros ni a nadie más que trabaje en la educación. Fue maestro y sabe lo duro que trabajan los maestros, lo comprometidos que están en hacer lo mejor por, y obtener lo mejor de, sus estudiantes, sin importar los desafíos que enfrenten.

Sin embargo, si es cierto que a pesar de los enormes esfuerzos que hemos hecho para mejorar la educación no ha cambiado mucho, hay lecciones importantes que debemos aprender. Una sería que el esfuerzo y las buenas intenciones no son suficientes; tenemos que trabajar de manera más inteligente, no solo más duro. Otra sería que debemos mirar cuidadosamente las estrategias que hemos estado usando para mejorar y reemplazarlas por otras diferentes. Una tercera lección es que puede ser necesario un enfoque más crítico y realista para la evaluación.

Desafortunadamente, no es posible una respuesta clara y definitiva a la pregunta de si los estándares han subido. Y es posible que no estemos de acuerdo sobre lo que entendemos por ‘estándares’ o cómo deben medirse. La evidencia que tenemos es fragmentaria e insuficiente, pero es la mejor que tenemos.

PISA, PIRLS y TIMSS, se han vuelto cada vez más prominentes como indicadores de nuestra posición en la tabla de rendimiento internacional. Estos estudios no están diseñados para evaluar el cambio a lo largo del tiempo y su interpretación y uso es inevitablemente problemático (ver por ejemplo Jerrim, 2011). Sin embargo, proporcionan una fuente de evidencia, basada en un proceso de desarrollo de evaluación de alta calidad.

Si los estándares no han subido realmente, entonces seguramente se deduce que no ha habido una mejora sistémica en las escuelas. Por supuesto, algunas escuelas habrán mejorado, pero quizás tantas como hayan empeorado. Una vez más, la afirmación de que, en general, las escuelas no han mejorado parece estar en desacuerdo con la prevalencia de afirmaciones sobre la mejora escolar de una amplia gama de fuentes.

Y es que resulta fácil aumentar la confusión sobre la mejora escolar. Por ejemplo:

Cómo hacer que parezca que un proyecto de mejora ha funcionado:

1. Espere un mal año o elija escuelas con bajo rendimiento para comenzar. La mayoría de las cosas se autocorrigen o vuelven a las expectativas (puede atribuirse el crédito por esto).

2. Emprenda cualquier iniciativa y pregunte a todos los que pusieron esfuerzo en ella si sienten que funcionó. Nadie quiere sentir que su esfuerzo fue en vano.

3. Defina ‘mejora’ en términos de percepciones y calificaciones de los maestros. NO realice ninguna evaluación adecuada: pueden decepcionar.

4. Estudie solo escuelas o maestros que reconozcan un problema y estén dispuestos a asumir una iniciativa. Probablemente mejorarán haga lo que haga.

5. Realice algún tipo de evaluación, pero no permita que el diseño sea demasiado bueno: las evaluaciones de mala calidad tienen más probabilidades de mostrar resultados positivos.

6. Si ocurre alguna mejora en cualquier aspecto del rendimiento, enfoque la atención en eso en lugar de en cualquier área o escuela que no haya mejorado o que haya empeorado (¡no las mencione!).

7. Dedique algún esfuerzo a la mercadotecnia y presentación de la escuela. Una vez que empiece a reclutar mejores estudiantes, las cosas mejorarán.

Hasta que se vuelva rutinario que las iniciativas de mejora escolar se evalúen utilizando diseños que descarten al menos estas explicaciones, el estado de nuestro conocimiento sobre cómo mejorar las escuelas seguirá siendo limitado.

1. ¿Podemos interpretar el valor añadido (u otras formas de calcular la ‘eficacia’) como un efecto causal de la escuela o el maestro?

2. Si es así, ¿son las características asociadas con esa efectividad alterables de manera que conduzcan (causalmente) a la mejora?

La investigación en eficacia escolar ha interpretado rutinariamente las ganancias en las puntuaciones de las pruebas de los estudiantes como el ‘efecto’ de la escuela o el maestro. Por ejemplo, una de las formas más simples para que un maestro logre puntajes altos de valor añadido es seguir a un maestro cuyo valor inicial sea bajo. Los datos de valor añadido pueden no responder a sus preguntas, pero pueden ayudarle a formular mejores preguntas.

Características como ‘liderazgo fuerte’, ‘altas expectativas’, ‘clima positivo’ y un ‘enfoque en la enseñanza y el aprendizaje’ son típicamente encontradas. No importa que estas características a menudo solo estén vagamente definidas (Coe y Fitz-Gibbon, 1998) y que estas correlaciones generalmente sean bastante bajas (Scheerens, 2000, 2012): ¿nos ayuda realmente saberlas?

Esperanza

Nuestra estrategia, por lo tanto, debería ser hacer las mejores elecciones que podamos basadas en la mejor evidencia disponible, probarlas con una mente abierta y ver si funcionan. Si lo hacen, podemos seguir haciéndolo; si no, aprenderemos de esa experiencia y probaremos otra cosa.

Para el autor, hay cuatro estrategias que vale la pena intentar.

1. Pensar intensamente en el aprendizaje

Este proceso de desafiar y reconstruir nuestros entendimientos o esquemas a la luz de nueva evidencia o experiencia también es parte de muchas teorías del aprendizaje.

Parte del desafío para mí es entender por qué estos enfoques ‘ineficaces’ son tan fuertemente creídos para beneficiar el aprendizaje por muchos de aquellos cuya experiencia está arraigada en el aula. La mejor respuesta que he encontrado es que esas estrategias tienen de hecho beneficios, pero para resultados que confundimos con el aprendizaje real en lugar de con el aprendizaje verdadero.

‘He enseñado’ se convierte en un proxy para ‘ellos han aprendido’, sin necesidad de ninguna verificación independiente de lo que (si acaso) realmente se ha aprendido.

Malas aproximaciones para el Aprendizaje (fácilmente observables, pero no informan realmente sobre el aprendizaje).

1. Los estudiantes están ocupados: se hace mucho trabajo (especialmente trabajo escrito).

2. Los estudiantes están comprometidos, interesados, motivados.

3. Los estudiantes reciben atención: retroalimentación, explicaciones.

4. El aula está ordenada, tranquila, bajo control.

5. El currículo se ha ‘cubierto’ (es decir, presentado a los estudiantes de alguna forma).

6. (Al menos algunos) estudiantes han dado respuestas correctas (independientemente de si realmente las entendieron o podrían reproducirlas de manera independiente).

Los maestros aceptan fácilmente malos proxies para el aprendizaje, en lugar de buscar evidencia directa y válida del verdadero aprendizaje (¡lo cual es mucho más difícil!).

El aprendizaje ocurre cuando las personas tienen que pensar intensamente.

Los estudiantes «estaban pensando en cómo terminar rápido o cómo obtener la respuesta con el menor esfuerzo posible».

Esto lleva a la primera recomendación: Enfoca la enseñanza realmente en el aprendizaje. La pregunta difícil aquí es: ¿Cómo? Lo cual lleva a la segunda estrategia.

2. Invertir en desarrollo profesional efectivo

Las medidas del rendimiento de los maestros típicamente mejoran durante los primeros años de sus carreras, y luego se estabilizan después de 3-5 años (Rockoff, 2004; Kukla-Acevedo, 2009). No sabemos mucho sobre el impacto de la formación de los maestros en los resultados de aprendizaje de los estudiantes, pero lo que sabemos sugiere dos cosas importantes: que los tipos correctos de formación pueden producir grandes beneficios para los estudiantes, y que la mayoría de la formación que realizan los maestros no es de este tipo (Joyce y Showers, 2002; Yoon et al, 2007; Wei et al, 2009; Cordingley y Bell, 2012).

Como escribió el gran Dylan Wiliam (2007),

«Saber qué es diferente de saber cómo. Pero en el modelo de aprendizaje que domina el desarrollo profesional de los maestros (así como la mayoría de la educación formal), asumimos que si enseñamos el saber qué, entonces el saber cómo seguirá. Reunimos a los maestros en habitaciones y traemos expertos para explicar lo que necesita cambiar, y luego nos decepcionamos cuando tales eventos tienen poco o ningún efecto en la práctica de los maestros. Este modelo de desarrollo profesional asume que lo que los maestros carecen es conocimiento. En su mayor parte, esto simplemente no es el caso. Los últimos 30 años han demostrado concluyentemente que puedes cambiar el pensamiento de los maestros sobre algo sin cambiar lo que esos maestros hacen en las aulas».

¿Qué tipo de desarrollo profesional ayuda a los estudiantes? Debe ser…

1. Intenso: al menos 15 horas de contacto, preferiblemente 50.

2. Sostenido: durante al menos dos cursos.

3. Enfocado en el contenido: en el conocimiento del contenido de la materia de los maestros y cómo los estudiantes lo aprenden.

4. Activo: oportunidades para probarlo y discutirlo.

5. Apoyado: retroalimentación externa y redes para mejorar y sostener.

6. Basado en evidencia: promueve estrategias respaldadas por evidencia de evaluación robusta.

Por ejemplo, si queremos que los niños aprendan el valor posicional, escritura persuasiva, composición musical o balanceo de ecuaciones químicas, podríamos comenzar explicando lo que tienen que hacer, pero también demostrándolo, haciendo que lo hagan (con bastante estructura y apoyo al principio, luego reduciéndolo gradualmente), proporcionando retroalimentación para corregir y reforzar, haciéndoles practicar, practicar, practicar hasta que esté realmente seguro, y todo el tiempo evaluando su rendimiento, revisando e interviniendo según sea necesario. Por el contrario, si queremos que los maestros aprendan cosas difíciles como usar la evaluación formativa, la disciplina positiva o cómo enseñar álgebra, a menudo no pasamos de solo explicar lo que tienen que hacer. Para una profesión tan dedicada al aprendizaje de los demás, los maestros parecen reflexionar poco sobre su propio aprendizaje.

Pasar a un modelo donde este tipo de formación sea rutinaria requeriría algunos grandes cambios culturales: un reconocimiento más general de que enseñar bien es difícil y necesita ser aprendido; una expectativa de que la formación de los maestros debería conducir a beneficios para los estudiantes; y un énfasis en evaluar el impacto de dicha formación en los resultados de los estudiantes.

3. Evaluar la calidad de la enseñanza

Si vamos a capitalizar los beneficios del desarrollo profesional, entonces necesitamos tanto poder dirigir ese desarrollo a áreas de necesidad como poder evaluar su impacto.

Todas las preocupaciones sobre medir la ‘eficacia’ que ya he expresado siguen siendo relevantes. Pero eso no significa que una evaluación constructiva (incluida la autoevaluación) de la calidad de la enseñanza no deba estar informada por, entre otras cosas, evidencia de las ganancias en los puntajes de las pruebas. El Proyecto de Medidas de Enseñanza Efectiva (MET) de la Fundación Gates ha hecho recientemente progresos importantes en demostrar los beneficios de usar múltiples medidas de eficacia (ver http://www.metproject.org/reports.php). Entre sus principales fuentes de evidencia están las calificaciones de los estudiantes pero también la observación en el aula.

Hay una amplia gama de evidencia de investigación sobre los impactos positivos de dar retroalimentación a los maestros sobre su rendimiento (por ejemplo, Coe, 1998, 2002; Hattie y Timperley, 2007; Hattie, 2009).

La tercera recomendación es: Usar múltiples fuentes de evidencia validada para apoyar la evaluación diagnóstica y constructiva de la calidad del maestro.

4. Evaluar el impacto de los cambios

La recomendación final está relacionada con la anterior en el sentido de que también se enfoca en la evaluación, pero esta se relaciona con evaluar el impacto de las intervenciones. En algunos aspectos, esta es la más importante de las cuatro. Sin evaluación, las tres anteriores son solo sugerencias plausibles más, con la misma procedencia que todos los otros cambios que afirmo que no han funcionado.

El mensaje de esta entrada no es ‘Lo que hemos hecho hasta ahora no ha funcionado, así que intentemos algunas cosas diferentes’, sino ‘Lo que hemos hecho hasta ahora no ha funcionado, así que intentemos algunas cosas diferentes y esta vez evaluemos adecuadamente si funcionan o no’.

Muchos educadores son amantes de la novedad; es una gran fortaleza y una debilidad. Invertimos un gran esfuerzo y costo en implementar nuevas ideas, y es probable que algunas de ellas traigan una mejora genuina. Sin embargo, también es probable que algunas, tal vez tantas como, conduzcan al deterioro. Muchas, por supuesto, no hacen ninguna diferencia real. Y en la mayoría de los casos no sabremos cuáles son cuáles.

Esto no debería deprimirnos; simplemente nos dice que no podemos juzgar si algo funciona sin evaluarlo adecuadamente.

La cuarta y última recomendación es: Siempre que hagamos un cambio debemos tratar de evaluar su impacto lo más rigurosamente posible.

Conclusiones

Hemos afirmado que no podemos afirmar que los estándares educativos hayan subido, que los intentos de mejorar la educación han fracasado en gran medida y que incluso cuando creemos que podemos identificar las mejores escuelas, «sabemos tantas cosas que simplemente no son así».

En realidad, no importa si acepta o no este análisis; de cualquier manera, deberíamos buscar las mejores estrategias para lograr una mejora real.