Evaluación
La evaluación convencional frente a los nuevos modelos de evaluación auténtica
27 Septiembre, 2012
"Durante los últimos veinte años, han ido apareciendo nuevas tendencias en evaluación que tratan de responder a las demandas que la evaluación convencional, basada en el uso de tests estandarizados no ha logrado cubrir. Estas demandas han tenido un especial protagonismo en el ámbito educativo, donde el problema de la evaluación del logro escolar ha sido objeto de numerosas investigaciones y publicaciones que ofrecen alternativas al uso de tests de elección múltiple. El término evaluación auténtica agrupa todo este conjunto de alternativas, y se define por oposición a la evaluación estandarizada, a la cual considera no-auténtica e incapaz de detectar el verdadero aprendizaje. Desde este nuevo modelo se reivindica la importancia del contexto, el realismo de las demandas, de la situación instruccional, y un mayor protagonismo del proceso frente a los resultados. A lo largo del trabajo se ofrece una discusión sobre las ventajas, inconvenientes y aplicación de ambos modelos”
La evaluación convencional frente a los nuevos modelos de evaluación auténtica
- Escrito por: Amaia Bravo Arteaga y Jorge Fernández del Valle; Universidad de Oviedo
Críticas a la evaluación estandarizada
A la luz de estas preocupaciones, en los últimos años se han multiplicado las experiencias, investigaciones y artículos donde se mencionan otros tipos de evaluación que suelen etiquetarse como «auténticos», «alternativos», «directos», «basados en actuaciones ». Todos ellos pretenden superar las críticas dirigidas a los métodos de evaluación estandarizados. A continuación se describen algunas de las críticas citadas con mayor frecuencia: 1. Miden sólo conocimiento declarativo y no procedimental (Mehrens, 1992). Los ítems suelen referirse al recuerdo de hechos y resultados y rara vez evalúan estrategias o habilidades procedimentales. 2. Se centran en el resultado y no en el proceso (Mumford, Baughman, Supinski y Andersen, 1998). No pueden explicar el porqué de las diferentes ejecuciones, ni el proceso por el cual llegan a obtener un resultado cor recto o incorrecto. 3. No cubren adecuadamente el dominio evaluado (Mehrens, 1992; Wiggins, 1991). Esta crítica, dirigida a la validez de contenido, no se centra exclusivamente en este tipo de medición. Muchas alternativas a los tests siguen sin representar adecuadamente lo que se pretende evaluar. 4. Existen diferentes habilidades e incluso inteligencias que no son evaluadas por este tipo de tests. Desde la teoría de Gardner de las inteligencias múltiples, donde incluye junto a las tradicionales inteligencias lingüística, lógico-matemática y espacial, las inteligencias corporal-kinestésica, musical, interpersonal e intrapersonal, se sugiere un sistema de evaluación con medidas más auténticas. También Powell (1990) critica la limitación del contenido de estos tests a las áreas académicas. 5. Son medidas relativas (Powell, 1990). Los tests clasifican a las personas dentro del grupo de referencia según la puntuación obtenida, pero en muchas ocasiones el objetivo de la evaluación no es clasificar, sino averiguar lo que ha aprendido el estudiante, o su nivel de dominio en una tarea o campo concreto, independientemente del nivel de su grupo. Además, se debe añadir la dificultad de conseguir una adecuada muestra de referencia. 6. La estandarización supone una muestra homogénea. Sin embargo, la muestra evaluada es heterogénea, con diferente dominio del lenguaje, actitudes y valores. 7. El formato de elección múltiple limita las evaluaciones y supone otras habilidades distintas a las evaluadas (Powell, 1990) . Las inferencias realizadas suponen habilidades subyacentes a las respuestas del test. Además, con frecuencia dependen demasiado de las habilidades verbales de las personas evaluadas o en una única forma de ver el mundo, lo cual perjudica los resultados obtenidos por algunos grupos. 8. Se alejan de las verdaderas demandas contextuales (Mumford, Baughman, Supinski y Anderson, 1998). Al buscar simplicidad y estandarización, el diseño de estos tests hace difícil detectar cómo la gente desarrolla habilidades específicas en ambientes complejos, más reales. Este tipo de evaluación no ofrece a los estudiantes la oportunidad de mostrar sus verdaderas competencias (Johnston, 1987; Newman, 1990). Los objetivos son homogeneizados y no representan adecuadamente los intereses de cada estudiante en su currículum; la puntuación también se centraliza y se basa en criterios establecidos por personas que no conocen a los estudiantes, sus metas, o sus oportunidades de aprendizaje. Cada vez son más las ra zones que impulsan a los expertos en el campo de la medición a buscar alternativas. Bajo la precisión, objetividad y ahorro en tiempo y dinero que ofrece el uso de tests estandarizados, se realizan selecciones que re flejan sólo una o pocas dimensiones de las dife rencias individuales, no se mide a «toda la persona», cuando es precisamente «toda la persona» la que es contratada para un trabajo o seleccionada para realizar determinada tarea .Nuevas alternativas: la evaluación auténtica
Con el fin de superar estos problemas han ido apareciendo nuevas tendencias en evaluación bajo la denominación de evaluación auténtica, que es definida por sus defensores por oposición a la evaluación tradicional (no-auténtica), a la que culpan de algunos de los problemas del actual sistema educativo, donde no se detecta el verdadero aprendizaje. Este término agrupa todo un conjunto de alternativas a la evaluación tradicional, donde la respuesta no está limitada a la elección de una de las alternativas presentadas y donde el contexto es significativo. La persona evaluada hace, creao produce algo durante un tiempo suficiente para poder evaluar el proceso, el resultado o ambos (Messick, 1998). En los tests tradicionales la respuesta era correcta o incorrecta, sin posibilidad de conocer el proceso por el cual esa opción era elegida. Algunos autores apuntan otros requerimientos para hablar de evaluación auténtica: la tarea debe dejar libertad al examinado; el material estimular no debe estar estandarizado; han de ser las propias personas evaluadas las que elijan el momento de actuar para estar verdaderamente motivados; incluso, y especialmente en el ámbito educativo, el evaluador debe conocer a las personas que está evaluando, sus circunstancias vitales y su historia de ejecución de la tarea (Sackett, 1998). El nuevo modelo se centra en actuaciones más realistas, siendo su objetivo evaluar en una escala absoluta (no relativa según el grupo de referencia) cómo las personas dominan tareas específicas. Prácticamente cualquier alternativa al test de lápiz y papel entraría dentro del nuevo modelo: respuestas abiertas (construidas) frente a la mera elección de una alternativa; ensayos; realización de tareas que pueden simular el desempeño de un trabajo o ser verdaderas muestras del trabajo que está realizando la persona evaluada (portafolio, en el ámbito educativo). Todos ellos, son indicadores más convincentes de lo que realmente sabe un estudiante o un candidato para desempeñar un trabajo. Siempre ha existido este tipo de medidas, pero ahora se proponen como un nuevo sistema de evaluación a gran escala. Hasta ahora se buscaban evaluaciones baratas, breves, fáciles de puntuar y objetivas, el nuevo modelo tiene características muy diferentes: 1. Se realizan observaciones y registros de la ejecución de tareas pertenecientes a un dominio específico, que proporcionan una base para hacer inferencias sobre las personas, sin pretender evaluar habilidades subyacentes. 2. La demanda se asemeja más a una situación instruccional real, donde se presenta un problema, pero no alternativas cerradas para resolverlo. La persona evaluada, no sólo tiene que acabar de definir el problema, sino además elaborar su respuesta. 3. Superan la simplicidad de las preguntas de alternativa múltiple, requiriendo que la persona actúe en situaciones más complejas y reales. 4. Los resultados son percibidos como más válidos por los profesores, representan mejor los verdaderos conocimientos y habilidades del alumno. 5. Pueden examinarse tanto el proceso como el resultado. 6. Se observa la calidad de la ejecución observada, sin valorar tanto la restrictiva estandarización de otras evaluaciones. Para poner en práctica este modelo, es necesario superar importantes retos a los que se enfrentan tanto profesores como investigadores: las aulas son pequeñas, no se dispone de los materiales necesarios y las escuelas tienen esquemas de trabajo muy delimitados. Sin embargo, con más o menos dificultades, cada vez son más las experiencias donde la evaluación se aparta de los cánones de la estandarización para reflejar las características del nuevo modelo. Dos ejemplos de su puesta en marcha son: la propuesta de Solano-Flores y Shavelson (1997) para evaluar la realización de una tarea y el uso del portafolio en el ámbito educativo. Solano-Flores y Shavelson configuran el proceso de evaluación a través de tres componentes y tres dimensiones. Los componentes necesarios son siempre: a) una tarea donde se presenta un problema bien contextualizado, cuya solución requiere el uso de materiales concretos que han de ser utilizados por los estudiantes; b) un medio para recoger las respuestas de los estudiantes (grabaciones, gráficos que reflejan la solución, redacción de conclusiones…) y c) un sistema de puntuación,con el fin de valorar el razonamiento y exactitud de las respuestas. Las dimensiones tienen un carácter metodológico y práctico, y se encuentran muy vinculadas unas a otras: a) el contenido hace referencia a aspectos como la adecuada representación del dominio, asegurar que los contenidos sean significativos y comprensibles para las personas evaluadas y que exista una amplia va riedad de soluciones de dife rente grado de corrección; b) el equipamiento, tiene en cuenta los materiales y recursos disponibles; y c) la puesta en práctica, alude a la disponibilidad de las condiciones físicas y de tiempo necesarias, la fiabilidad interjueces, el tiempo para realizar la tarea o el entrenamiento con el sistema de puntuación. Son frecuentes las tensiones entre las dimensiones debido a su mutua influencia, por ejemplo, si se reduce el coste de los mat e riales pueden aumentar los erro res de medida, y si estos son de alta calidad el coste puede ser muy alto. Se trata de un proceso cíclico, donde es imposible optimizarlas todas, se debe buscar la combinación que maximiza las ventajas y minimiza los inconvenientes . El proceso comienza identificando las actuaciones que demuestran el dominio de ciertas habilidades y seleccionando las tareas que pueden licitarlas. Decididos los aspectos re l at ivos a cada dimensión, el pro blema o tarea se presenta a las personas que se van a evaluar, y se van registrando los pasos que realizan durante el ejercicio. Las observaciones o registros son valorados por un grupo de jueces, expertos en el campo, quienes evalúan la expresión de dichas habilidades y todo el proceso de ejecución de la tarea. Esta propuesta es una opción entre muchas de cómo llevar a la práctica la filosofía de la evaluación auténtica, ahora bien, la alternativa que más atención ha recibido, especialmente en el contexto educativo, es el portafolio. Se trata de un método muy útil en este ámbito y que representa un buen ejemplo para explicar algunas características del nuevo modelo. Arter y Spandel (1991), lo definen como el grupo de trabajos realizados intencionalmente por el estudiante, donde se muestran sus lo gros en una o más áreas. Según Meisels y Steele (1991), el portafolio permite a los estudiantes participar en la evaluación de su propio trabajo, permite seguir mejor la pista de su desarrollo y proporciona una base para realizar una evaluación cualitativa de todos los lo gros de cada niño. El portafolio recoge múltiples pruebas de trabajo: redacciones, cuentos, dibujos, libros leídos, vídeos, fotografías, grabaciones,… Idealmente, debería incluir distintos tipos de observaciones (Grace y Shores, 1991): a) Registros de actividades, hechos e intervenciones espontáneas realizadas por el estudiante, sin ser juzgadas. Dan una idea de su progreso diario. b) Inventario de objetivos. Es una de las herramientas más útiles para seguir el progreso de los estudiantes, donde se especifican diferentes objetivos educativos, entre ellos los diferentes pasos para la adquisición de habilidades. En general, las observaciones se basan en actividades cotidianas de clase . c) Escalas de evaluación. Son apropiadas cuando el comportamiento observado tiene diferentes aspectos o componentes. d) Preguntas y peticiones. Una de las maneras más directas de recoger información es preguntar directamente al alumno sobre su opinión o conocimientos sobre un tema determinado. Demuestra no sólo sus conocimientos sino también sus habilidades lingüísticas. e) Tests de prueba. Ayudan a identificar las habilidades y conocimientos adquiridos, con el fin de guiar la planificación del proceso de enseñanza. El portafolio supone un buen ejemplo de lo que se viene llamando evaluación auténtica. Es un método que permite conocer mejor a los estudiantes y sus verdaderos logros, además de ofrecerles una visión más realista de las demandas que recibirán fuera del ámbito escolar. Un estudio de Calfee y Perfumo (1993) sobre la utilización del portafolio y basado en la opinión de los profesores, reveló dos aspectos importantes: por un lado, los profesores reconocen haber introducido el portafolio a su práctica educativa como un intento de renovación personal, impulsados por un nuevo compromiso que ha incrementado su estatus, haciéndoles más responsables de su propia instrucción; por otra parte, reconocen que los fundamentos técnicos de esta evaluación son aún débiles, todavía no está claro cómo medir los logros conseguidos.Limitaciones de los nuevos modelos
A pesar de todas las ventajas mencionadas, no son pocos los problemas asociados a estas alternativas en evaluación: 1. Son métodos mucho más costosos. Al mayor coste económico, hay que añadir el tiempo, siendo además mucho menor el número de personas que pueden ser evaluadas simultáneamente. 2. Dificultad de elaborar evaluaciones paralelas. A diferencia de los tests, encontrar tareas cuyos requerimientos sean idénticos es muy difícil. 3. Falta de acuerdo en los constructos que han de evaluarse en el proceso de resolución de problemas. 4. El uso de jueces para puntuar la ejecución de tareas supone mayor subjetividad. La probabilidad de error aumenta y el coste es mayor. Aunque se entrene a los jueces y se les muestren ejemplos de una buena y mala ejecución, los jueces no siempre siguen estas reglas. Sus evaluaciones están sometidas a factores situacionales, características de los examinados y asunciones del estereotipo de lo que es una buena ejecución. 5. La compleja naturaleza de muchos ejercicios . Esta complejidad no sólo hace que la evaluación sea más cara y difícil de puntuar, sino que dificulta la obtención de una muestra adecuada de la expresión de estas habilidades. Por otro lado, el tiempo no puede a largarse más de dos horas, para aseg u rar un buen rendimiento, y esto limita el número de tareas a un máximo de tres o cuatro, lo que difícilmente asegura una adecuada representación de esa habilidad. 6. El efecto del contexto en la evaluación. Separar la influencia del contexto de evaluación de la ejecución realizada es muy difícil. Los resultados pueden verse influidos por la presencia de otras personas y en el caso concreto del portafolio, nos encontramos con el problema de cómo averiguar si las muestras presentadas han sido realizadas por el niño. 7. Generalización de las inferencias. Al centrarse en habilidades específicas es difícil generalizar a otros dominios. Se requerirían evaluaciones muy amplias, extendidas a diferentes dominios, lo que encarecería el coste y se perdería efectividad. Los métodos utilizados en este modelo no son novedosos, de hecho responden al tipo de evaluación que se ha realizado dentro del aula durante muchos años, la novedad se encuentra en su aplicación a las evaluaciones a gran escala, y es aquí donde aparecen sus limitaciones. Aspectos como la validez y fiabilidad de las mediciones tienen gran relevancia, lo que es válido dentro del aula, puede no serlo en una evaluación a gran escala. Muchos autores han tratado el problema de la validación de estas mediciones, sin embargo, no sucede lo mismo con la fiabilidad, olvidada por los defensores de la evaluación auténtica.
Tabla 1 Diferencias entre las dos líneas de evaluación (Mumford, Baughman, Supinski y Anderson, 1998) |
||
EVALUACIÓN TRADICIONAL |
EVALUACIÓN AUTÉNTICA |
|
OBJETIVO | • Clasificar a las personas en función de la puntuación alcanzada en el test. | • Evaluar el nivel de desarrollo de la habilidad a través de la actuación manifestada. . |
MEDIDA | • Tareas muy específicas y concretas (ítems). • Las respuestas señalan habilidades subyacentes. • Puntuación objetiva. | • Tareas más amplias (ej. resolución de un problema). • Las respuestas señalan el dominio de una/s habilidad/es. • Puntuación a partir del juicio de expertos. |
INFERENCIAS | • Discrimina a las personas en función del nivel alcanzado en cierta habilidad a partir de las puntuaciones obtenidas. | • Discrimina a las personas en función del dominio demostrado en habilidades específicas |
DESARROLLO | • Especificar los constructos que se pretenden evaluar con el test. • Ítems que maximicen la discriminación entre las personas. • Ítems relacionados entre sí. | • Especificar el tipo de actuación y conocimiento relevantes para cierta habilidad. • Tareas realistas y referidas a un dominio específico. |
VENTAJAS | • Coste bajo. • Puntuación objetiva. • Fiabilidad. • Imparcialidad. • Validez predictiva. • Generalización de inferencias. • Validez de constructo. | • Puntuación en escala absoluta según el criterio de referencia (dominio de habilidad). • Recoge la complejidad de las habilidades. • Refleja las diferencias cualitativas. • Buena información diagnóstica. • Alta validez ecológica. |
DESVENTAJAS | • Puntuación en escala relativa, según grupo normativo. • No recoge toda la complejidad de las habilidades evaluadas. • Insensible a las diferencias cualitativas. • Limitada información diagnóstica. • No está directamente relacionado con los conocimientos y habilidades del mundo real. | • Coste alto. • Puntuación subjetiva. • Muestra del dominio no representativa. • Efectos del contexto sobre las puntuaciones. • Escasa generalización de las inferencias. • Injusta para las personas pertenecientes a bajo nivel socioeconómico. |