Cinco pasos para evaluar proyectos de educación

En este artículo encontrarás un material muy útil que entrega lineamientos claros acerca de cómo evaluar proyectos de educación. Se trata de la nueva Guía del BID para hacer evaluaciones de impacto en proyectos de educación, la cual viene explicada en cinco pasos. No son caminos sencillos, pero si se toman uno por uno, te ahorrará un montón de tiempo la próxima vez que debas tomar una decisión importante en la escuela. Esta nueva Guía para la evaluación de impacto en educación usando diseños experimentales, elaborada por Rosángela Bando proporciona un punto de partida para hacer las preguntas correctas y elegir las herramientas adecuadas. En cinco pasos.

Paso uno. El primer paso es entender qué sabemos y tratar de determinar lo que se desconoce. Este paso requiere recoger en el camino lo que ya se domina.

En esta sección, la Guía proporciona un marco para pensar acerca de la educación, su importancia, la evidencia de lo que importa para su calidad y el marco causal con el fin de evaluar los efectos de un programa comparando los resultados con y sin el programa, centrándonos en los supuestos necesarios para identificar el efecto promedio del tratamiento.

El lector debe tener en cuenta que estas directrices se centran en la asignación al azar y no se discuten otros métodos. Si quieres dar ese paso lateral, hay que ir a este libro.

Paso dos. Después de averiguar lo que se sabe, es importante especificar la pregunta principal de la investigación. En este paso, la Guía proporciona orientación sobre cómo definir la hipótesis de la evaluación: el por qué, el quién, el qué, el cuándo, el dónde y el cómo.

Una única evaluación no puede contestar todas las preguntas, por lo que este paso establece los criterios para responder con qué finalidad se utilizará la evaluación, y su relevancia. La unidad de análisis también es importante.

La autora recomienda el uso de datos individuales, porque los datos intra-escuela tienden a tener más variación que los datos entre escuelas.

El cuándo también es fundamental: los efectos no son constantes en el tiempo y pueden desaparecer. Hay que programar el momento de la evaluación en función de cuándo se espera que el programa logre cambios. Pero si la cadena causal está suelta o la muestra no describe la población vuelve al paso uno.

Paso Tres. La tercera sección establece un marco para la selección de la muestra y el montaje de la evaluación de impacto aleatoria. En esta etapa, la autora resume y presenta las principales fórmulas y la lógica de los cálculos de potencia, introduce aleatorización por bloques o estratificada y proporciona una lista de chequeo útil (Listas de verificación)

Paso Cuatro. En esta etapa se espera que tenga conocimiento de casi todo lo que se sabe sobre su tema, que tenga una idea de una cosa que usted no sabe aún y para la cual tiene una buena pregunta, que ya domine las fórmulas y los cálculos y qué teoría del cambio no hace agua.

Ahora lo que necesita son datos. Esta sección proporciona una visión general muy útil de las fuentes de datos, en particular de las pruebas estandarizadas de educación ENLACE, PISA, ONE, Prova Brasil, SIMCE, SABER, TIMSS y PIRLS, su uso potencial en su propia evaluación y cómo sus propios datos pueden ser construidos consistentemente con algunas de estas fuentes de datos.

Paso Cinco. Con los datos en la mano, ahora es el momento de analizar los números. En esta sección se proporciona orientación sobre la forma de calcular los efectos del programa, analizar grupos de interés específicos, cómo interpretar los resultados y cómo enfrentar temas relativos a la validez externa de la evaluación, a desviaciones posibles del diseño original, y a cambios de la muestra.

Ahí los tienes. Cinco pasos. Ahora a empezar a recorrer el camino. Fuente.