"En el siguiente artículo se describen los elementos necesarios de tomar en cuenta, según el autor, para atender a la necesidad de alcanzar una evaluación que aspire a poseer un amplio margen de credibilidad, que lleve al directivo o evaluador a lograr una mejor y mayor interpretación e intervención en la realidad educativa, y con ello la promoción de una educación de calidad”

Evaluación educativa. Elementos para su diseño operativo dentro del aula

1. Escrito por: Manuel Villarruel Fuentes. Profesor-Investigador, Instituto Tecnológico Agropecuario n°. 18, México

1. Introducción

Dentro de los procesos que llevan a la obtención de los estándares de calidad definidos como necesarios dentro de las instituciones de educación superior (IES), se destaca, por su particular importancia, la evaluación del proceso de enseñanza-aprendizaje (E-A), el cual, a pesar de encontrarse preconfigurado dentro de la propuesta curricular formal, lo cierto es que sólo puede ser explicado a partir de las múltiples experiencias que tienen lugar dentro del acto educativo, mismo que se conforma cotidianamente por la amalgama de situaciones que confrontan alumnos y maestros, dentro de un espacio que les es común y que comparten bajo normas preestablecidas de convivencia psicológica y social (política, económica y cultural). Es así como el binomio maestro-alumno delimita y precisa sus roles dentro y fuera del salón de clases, atendiendo por un lado las demandas de una educación institucionalizada, pero paralelamente, configurando un escenario alternativo, cuya estructura se construye atendiendo a relaciones de poder, de negociación y de choque, las cuales dan vida a su práctica educativa. Es por ello que diagnosticar en torno a lo que ocurre dentro de los espacios académicos, particularmente en el aula¹, lleva implícito el sello de la complejidad; es en términos más precisos, un acercamiento a la intimidad educativa, entendiendo a ésta como la expresión del currículo vivido y en la acción.

Con base en lo anterior, a continuación se describen los elementos que deberán de ser tomados en cuenta para atender la necesidad de alcanzar una evaluación que aspire poseer un amplio margen de credibilidad, la cual lleve al directivo o evaluador lograr una mejor y mayor interpretación e intervención en la realidad educativa, y con ello a la aceptación de la calidad como un bien común y deseable.

2. Ubicación paradigmática y conceptual

Toda evaluación, sin importar el nivel y la profundidad con la cual se realice, tiene tras de sí una visión particular de lo educativo, una postura epistemológica en torno al conocimiento, la enseñanza y el aprendizaje, pero también una definición de sociedad, de hombre, de familia y de los fines que la educación debe tener. Es por ello que antes de iniciar un proceso que lleve a tratar de explicar lo que ocurre dentro del acto educativo es preciso definir, con la mayor claridad posible, el enfoque conceptual bajo el cual se vislumbran la situaciones problemáticas, y a partir de ello, cómo será construido el abordaje metodológico, cómo serán analizados y discutidos los resultados y sobre todo, cómo serán estructuradas las conclusiones y recomendaciones.

Ningún acto educativo está exento de cierto grado de intención, de una ideología dominante, misma que permea y delimita el derrotero que habrá de seguirse dentro de la acción; el reconocimiento de este hecho define por sí sólo la necesidad de explicar, apoyados en sólidos marcos teóricos, los cómo, dónde, cuándo, pero sobre todo el por qué realizar de una u otra forma una evaluación. Soslayar este principio puede conducir a un complejo pero inútil ejercicio academicista, el cual no puede ser entendido sino como el producto de la inexperiencia y/o el desconocimiento de lo que se planea hacer.

Es por ello que buscando dar coherencia a los enfoques bajo los cuales puede ser abordada una evaluación, a continuación se establecen algunas de las estrategias a seguir, a fin de ubicar conceptualmente el fenómeno, tomando posición en torno a lo que será la estrategia de abordaje. Se propone efectuar:

1. El análisis de la misión y la visión institucional.
2. La identificación del papel asignado al docente, alumno, escuela y sociedad dentro del proyecto educativo y/o del plan de estudios.
3. La identificación de la naturaleza de los objetivos contenidos dentro de la propuesta curricular y/o plan de estudios (informativos-formativos).
4. El análisis de las acepciones conceptuales explicitadas dentro de los perfiles de ingreso y egreso propuestos dentro de currículo formal.
5. El análisis de los marcos situacionales explicitados dentro de cada programa de estudio, asignatura o módulo.
6. Finalmente, si esto no fuera suficiente, la revisión de las estrategias y acciones detalladas en torno a la enseñanza, así como a las experiencias y sitios de aprendizaje y los criterios empleados para la evaluación.

Si se toman en cuentan estas recomendaciones, se estará en posición de ubicar la perspectiva curricular bajo la cual se sustenta el fenómeno educativo que será evaluado. Otro aspecto que nunca puede ser sobrevalorado es aquel que postula una visión conceptual de la calidad. Polisémico por excelencia, dicho constructo tiende matizar cualquier apreciación que se tenga de la educación. No es lo mismo hablar de calidad en la educación bajo enfoques positivistas, humanistas, psicoanalistas u holistas, como tampoco bajo referentes cuantitativos o cualitativos. Es por ello que el evaluador debe tener clara la idea de lo que para él es la calidad, a fin de orientar bajo sus auspicios los abordajes modélicos a desarrollar. Del cúmulo de definiciones y acepciones que actualmente se manejan en la literatura especializada, destacan los enfoques de Harvey y Green², quienes han aportado una visión integral en torno a dicho concepto. Dichos autores establecen que la calidad se manifiesta en cinco vertientes: Calidad como fenómeno excepcional., Calidad como perfección o coherencia., Calidad como ajuste a un propósito, Calidad como relación costo-beneficio, Calidad como transformación (cambio cualitativo). Un evaluador deberá, dentro de su enfoque modélico, considerar estas expresiones de la calidad, para lo cual es conveniente:

• Asumir una actitud pragmática, empleando por separado varios de estos criterios; o
• Asumir una actitud ecléctica, procurando establecer con claridad relaciones de coherencia e integralidad entre los componentes del sistema, cuidando de alcanzar el más alto nivel de acercamiento con la realidad.

Esta última estrategia es la más recomendable, aunque requiere de un alto grado de definición conceptual y dominio de abstracciones para operarla. Es importante insistir en que sin reflexión epistemológica y conceptual no existe evaluación. López Gil y Regnasco³, citando a Morin establecen que: “el problema no es meramente epistemológico sino ético. El pensamiento reductor unidimensional no es inofensivo; tarde o temprano desemboca en acciones ciegas, que al actuar sobre el tejido de lo real conduce a consecuencias incontrolables...”

3. Ubicación contextual

Muchas de las situaciones problemáticas que pueden ser observadas dentro del proceso E-A se derivan directamente de los contextos multivariados que caracterizan a un sistema o nivel en lo particular. Si a esto se le suma las condiciones socioeconómicas, culturales y políticas que definen las posturas personales y de grupo tanto de maestros como de alumnos, aunado al efecto que el entorno físico y social ejerce en su conjunto (sinergia), entonces es posible entender (y atender) la complejidad de un fenómeno que como ya es conocido suele ser irrepetible en tiempo y espacio.

Bajo estas premisas es fácil comprender cómo cada grupo de alumnos y maestros manifiestan en su quehacer educativo un cúmulo de variables, mismas que se explican no sólo por el efecto de la causalidad, sino por el de la interrelación, la correlación y la covariación entre otras, configurándose de esta manera el normal indeterminismo observable en su práctica educativa. Sin embargo, pese a esto, es posible encontrar “constantes” dentro de los grupos, obtenidas éstas a partir de identificaciones a priori de los perfiles (cognitivos, psicológicos, conductuales, emotivos, de capacidades, etc.) que posean en lo individual y en lo colectivo. Con base en ello, antes de efectuar una evaluación dentro de los grupos se plantea la necesidad de contar con:

1. Una caracterización de sus perfiles de ingreso, y en el caso de tratarse de grupos de semestres o años avanzados, del desempeño académico mostrado. En todos los casos se deberá prestar atención a sus lugares de origen geográfico y cultural, su estrato social y económico y sus perfiles psicológicos (personalidad).
2. La identificación del tipo de escuela de procedencia (particular o pública, rural o urbana), la modalidad educativa bajo la cual se desempeñó (escolarizada, semiescolarizada, abierta) y la perspectiva pedagógica bajo la cual se sustentó su formación previa (conductista, humanista, holística, etc).
3. Una clara definición de los estilos de aprendizaje -auditiva, visual, kinestésica, etc.-que cada alumno en lo particular, y el grupo en lo general, posean.
4. Un diagnóstico preliminar sobre los hábitos de estudio de los alumnos.
5. Una identificación de los estilos y usos didácticos de cada maestro (tecnología educativa, tradicionalista, escuela nueva, etc.).
6. Los perfiles profesiográficos de los maestros y su curriculum universitario y profesional.

Es de particular importancia el considerar que ninguna evaluación puede ni debe realizarse al margen de las realidades de la dinámica institucional. El reconocer las particularidades de los diversos ambientes escolares, permitirá ubicar los hallazgos encontrados dentro de un sustrato u origen común, el cual puede explicar hasta dónde las situaciones diagnosticadas son inducidas y hasta dónde son el producto inevitable del concurso de los fenómenos y su interacción, e incluso permiten visualizar eventualidades producto del azar (hechos no explicables a priori y posteriori ).

4. Objetivos de la evaluación

Educar es hacer operante una filosofía, y con ello, no sólo una forma de percibir la realidad empírica, sino de interpretar, a la luz de las creencias, los mitos y las utopías, aquello que se asume como cierto. Así ha sido y así será siempre. No existen actos educativos exentos de intención. Todo propuesta educativa es un proyecto social, con arraigo cultural, donde los seres humanos acuerdan reglas de convivencia racional, estableciendo para ello códigos lingüísticos y simbolismos tribales, que a decir de Vain4 explican los rituales escolares y las prácticas educativas que tienen lugar dentro de las escuelas (y en el salón de clases en particular). Es a partir de esa coexistencia, que aspira a ser integradora, que paulatinamente se configuran estructuras jerárquicas que delimitan cotos de poder. Es ahí donde las decisiones y los actos que les proceden no necesariamente son aceptadas por todos, aunque basta con una mayoría para que el proceso se continúe.

Es aquí donde aparece lo político, y donde las viejas visiones positivistas dejan de ser hegemónicas, para convertirse en complementarias.

Con base en ello, antes de empezar a efectuar la evaluación habrá que contestar estas preguntas:

¿Para qué evaluar?. Precisa el grado de intención de la intervención educativa.

¿A quién van a dirigirse los resultados de la evaluación?. Clarifica a los destinatarios, no sólo de la información a generar, sino también de los resultados y las decisiones que serán tomadas.

¿Qué evaluar?. Delimita el campo problemático al que habrá de enfrentarse el evaluador, atendiendo el carácter multifactorial de lo educativo. Con base en ello, ningún estudio o investigación evaluativa podrá ser considerada totalizadora.

¿Con qué nivel de profundidad?. Define el alcance y limitaciones que tendrá la evaluación.

La respuesta a esta última interrogante estará supeditada al carácter de la evaluación: exploratorio, descriptivo, explicativo o de comprensión; en todo caso su fin último siempre será la toma de decisiones buscando la innovación o el cambio, iniciando por interpretar y/o valorar lo que sucede dentro del acto educativo.

Partiendo de las respuestas a estas interrogantes se podrá dar atención al cómo, cuándo y dónde evaluar, incógnitas que se detallan posteriormente; sin embargo, es importante no olvidar que el objetivo superior de la evaluación es aportar elementos para entender bajo qué condiciones ocurren los fenómenos educativos, precisando en lo posible las interacciones entre ellos, explicando sus manifestaciones en un marco contextual multivariado, alcanzando mayores niveles de comprensión en torno a las imbricaciones del sistema y sus expresiones en la realidad cotidiana.

5. Selección de la estructura de evaluación

Existen varias vertientes de acceso disponibles, y ampliamente documentadas, para efectuar la evaluación^5-6.

• Contexto-Entrada-Proceso-Salida
• Entrada-Proceso-Salida
• Entrada-Salida
• Proceso-Salida
• Salida
• Proceso

Entendiendo a la “Entrada” como los “Insumos” y a la “Salida” como el “Producto”. Dicha diversidad de abordajes metodológicos obviamente presentan ventajas y desventajas, siendo el primero de ellos el que más se acerca al concepto de integralidad que exigen los fenómenos educativos, motivo por el cual es el que se toma como base en este documento para su desglose y precisión, explicitándolo, con fines didácticos, en cuatro momentos (el primero ya referido líneas atrás), haciendo hincapié en la necesidad de su complementariedad.

CON BASE EN EL PRODUCTO.

Bajo los referentes de esta perspectiva, lo más importante resulta ser la obtención de objetivos finalistas o terminales, mismos que guardan relación directa con la idea de que una educación de calidad debe estar representada por todo aquello que en su conjunto refleja la eficacia o efectividad del sistema y/o proceso. Sitúa a los elementos de “salida” (en este caso a los alumnos) como el mejor indicador del éxito alcanzado entre lo planeado y lo obtenido. Tiene la ventaja de que puede ser realizada sin mayores contratiempos, ya que es de carácter eminentemente cuantitativa, pudiendo ser monitoreada en los alumnos a partir de sus logros académicos, mismos que reflejan el grado de cumplimiento con lo programado y sistematizado de antemano por el maestro, la institución educativa, el sistema, etc., contrastando posteriormente los “productos”, medidos y registrados, con aquellos que fueron definidos de antemano como necesarios para un perfil de egreso a alcanzar, suponiendo que éstos resumen en lo general la calidad bajo la cual opera la oferta educativa institucional. Es, por definición, de naturaleza fáctica e instrumental. Tiene el inconveniente de excluir de su marco de referencia aquellos rasgos o atributos que se definen por su naturaleza como cualitativos (motivación, valores, habilidades sociales, empatía, aptitudes, etc.), por lo cual tiende a ser en principio descriptiva, buscando a posteriori interpretar el cómo (explicación), sin llegar al por qué (comprensión) del fenómeno (proyecto educativo, práctica educativa, rendimiento escolar, etc.). Si se contempla la clasificación evaluativa que alude a los tres momentos del proceso ya ampliamente conocidos (inicial, formativa y sumativa), ésta estaría ubicada en el último eslabón. Operativamente está orientada a la acumulación de referencias numéricas de aquello que se asume como “lo más importante”, para lo cual se vale de la identificación de variables de operacionalización directa (ejemplo: avances programáticos, horas de clase impartidas, asistencias a clases, prácticas realizadas, informes entregados y todo aquello que tenga que ver con la previa planeación y sistematización de la práctica educativa de alumnos y maestros). Privilegia el “nivel” por encima del “desarrollo”, por lo cual calificativos como “bueno” o “malo”, “positivo” o “negativo” son frecuentes en sus conclusiones. Responde a las premisas de una práctica educativa institucionalizada, formal y en muchas ocasiones, justificadora.

CON BASE EN EL PROCESO.

Denominada también como “formativa”, se caracteriza por tener un propósito regulador, permitiendo la reorientación del proceso E-A a través de la retroalimentación. Tiene un carácter más auscultador de lo que ocurre durante el mismo, por lo cual permite identificar las fallas y errores que pudieran estar incidiendo en la buena marcha del proceso, sin tener que esperar hasta el final para identificarlos y atenderlos, hecho que de concretarse así se dificultaría al no estar en condiciones de detectar a tiempo las causas del problema. Es de naturaleza valorativa, sin dejar por ello de ser instrumental, descriptiva y/o explicativa, pero sí llegando a la búsqueda de representaciones isomórficas de la realidad, entendiendo el proceso en una dimensión que no sólo es horizontal y vertical, sino espiral, donde cada avance en el desarrollo, como expresión de lo que acontece, es gradual y progresivo, con una expresión espacial y temporal definida por el cúmulo de eventos que confluyen en marcado dinamismo al acto educativo. Es así como se debe considerar dentro de este tipo de evaluación aspectos que van más allá de la simple referencia numérica directa, para lo cual se contempla la correlación entre los resultados de la evaluación, la coevaluación y la autoevaluación. Para el caso del proceso E-A, es recomendable atender no sólo qué se enseña y se aprende, sino cómo y bajo qué circunstancias se enseña y se aprende, para lo cual se precisa por una parte del conocimiento de los estilos y modos de actuación pedagógica de los maestros y alumnos (mismos que ya fueron mencionados en un apartado anterior), así como también los escenarios académicos en que se concreta la práctica educativa (contexto). Es importante señalar que en ambos casos, un elemento clave para alcanzar el éxito, sin importar el modelo emplear, lo representan los elementos o factores de entrada (insumos). Ninguna evaluación debe ser realizada sin la consideración a priori de los elementos generadores del proceso. El concurso de los hechos sólo puede ser descrito, explicado, comprendido o valorado tomando en cuenta los referentes que proporcionan los recursos de entrada; es decir, aquello con lo que se cuenta para cumplir o concretar una actividad académica (tarea didáctica, práctica pedagógica, etc.). Ejemplo: sin un programa de formación docente operando en el plantel resulta inapropiado considerar dentro de la evaluación el nivel de habilidades para la docencia de un maestro, a menos que se trate sólo de diagnosticar. Un aporte interesante a los procesos de evaluación docente es el planteado por Héctor Valdéz Veloz⁷, quien señala cuatro modelos para medir la eficiencia del maestro, los cuales han surgido de la investigación realizada en varios países:

• Modelo centrado en el perfil del docente. Consiste en contrastar los logros alcanzados por un maestro en función de los rasgos y características explicitados en un perfil deseado y considerado como ideal. Tiene el inconveniente de que puede llegar a ser utópico.
• Modelo centrado en los resultados obtenidos. Es decir, en los logros alcanzados a través de su proceso de enseñanza, los cuales pueden ser monitoreados a partir “de lo que hacen sus alumnos”. Presenta la desventaja de centrar en el maestro toda la responsabilidad del proceso.
• Modelo centrado en el comportamiento del docente en el aula. Tiene como eje central la identificación de los comportamientos definidos a priori como necesarios en el maestro, considerados como adecuados para que los alumnos alcancen el éxito académico deseado. Su mayor debilidad consiste en que los registros son extremadamente subjetivos, lo cual compromete su eficacia.
• Modelo de la práctica reflexiva. De carácter más fenomenológico, busca un acercamiento con la realidad cotidiana donde tiene lugar el acto educativo. Considera a la enseñanza como un proceso donde se identifican y resuelven problemas por parte de los maestros, bajo el círculo virtuoso de la reflexión-acción-reflexión. La evaluación se sustenta en juicios de valor, de ahí el origen de sus críticas.

Nuevamente es importante insistir en la necesidad de ubicar (conceptual y contextualmente) todo proceso de evaluación, sea cual sea el modelo que se decida emplear. Así como tener siempre en mente la respuesta a la siguiente pregunta: ¿Para qué evaluar?: 1) Para contratar, certificar, calificar, promover, censurar; ó 2) Para innovar, con base en el conocimiento de las realidades que tienen lugar dentro del plantel o sistema educativo.

6. Los evaluadores y el ambiente de evaluación

En sentido estricto, quien toma las decisiones debe ser quien evalúe. Así lo establecen los cánones. Sin embargo, siempre debe encontrarse apoyado por un experto en asuntos educativos, a fin de no caer en ambigüedades e imprecisiones. Para hacer una evaluación de calidad no basta con un administrador o jefe de área bien intencionado, se requiere como ya se ha mencionado, de una visión amplia y prospectiva de aquello que se involucra dentro de los fenómenos educativos. Muchas evaluaciones efectuadas por personas inexpertas y sin formación generan interpretaciones espurias, mismas que tergiversan los hechos y conllevan al caos. Un ejemplo clásico lo representan las evaluaciones docentes sustentadas única y exclusivamente en la opinión de los alumnos, que si bien como ya se mencionó es una de las dimensiones más válidas, y hasta ahora insustituible, también es cierto que posee una enorme carga de subjetividad, condicionada entre otros factores por los perfiles psicoeducativos de los propios educandos, así como los ambientes donde tiene lugar la evaluación. En este mismo tenor se encuentran las evaluaciones de los alumnos apoyadas en test estandarizados o pruebas objetivas, las cuales en realidad no “miden” lo que dicen medir, sobre todo por encontrarse en muchas ocasiones descontextualizadas, o bien, porque son excesivamente analíticas.

En lo que respecta a los ambientes o contextos de evaluación, habrá que puntualizar que éstos son por naturaleza cambiantes, y por ende heterogéneos. Se debe prestar especial atención a los tiempos y formas de “aplicar” la evaluación. No es lo mismo evaluar el desempeño de docentes y alumnos inmediatamente después de finalizar un semestre escolar que tres o cuatro meses después de terminado éste, o bien cerca de los exámenes extraordinarios. En el primero de los casos los alumnos mostrarán imprecisiones al momento de recordar detalles de la práctica educativa de sus maestros, y éstos por su parte, pueden estar incorporando algunas innovaciones que antes no estuvieron considerando. Por otra parte se requiere considerar de antemano:

1) Que los objetivos de la evaluación deben ser conocidos por los sujetos a evaluar; 2) Que los evaluadores deben ser entrenados para tal fin, ya que se trata de un proceso ordenado y riguroso, nunca fortuito o intuitivo; 3) Que toda evaluación genera una carga de tensión en los sujetos a evaluar; 4) Que la confidencialidad de los resultados debe ser requisito insoslayable; 5) Que una actitud inadecuada de los evaluadores puede derivar en violencia simbólica; 6) Que ninguna evaluación debe ser condicionada o sus resultados inducidos; 7) Que se debe procurar la generación de zonas de confort al momento de aplicar la evaluación (tiempos, horarios, recintos, etc.).

7. Los instrumentos de evaluación: Definición de categorías, dimensiones, indicadores e items

El mayor reto que enfrenta el evaluador es el de definir cómo “interrogar” fidedignamente a la realidad.

Es bien sabido que la información recabada está en relación directa con la forma en que fue obtenida. Muchos trabajos de evaluación fracasan por no saber (o poder) apropiarse de aquello que interesa del fenómeno, con lo cual se amplían los márgenes del error, y con ello el principio de incertidumbre que siempre acompaña a esta actividad. En este aspecto vale insistir en que no existe, por sofisticado que parezca, ningún instrumento (test, prueba, cuestionario, etc.) que mida al 100% lo que dice medir. El proceso se complica aún más cuando la evaluación trasciende la simple medición y se ubica en un plano más abstracto, atendiendo atributos y cualidades inherentes a los fenómenos educativos, emitiendo juicios de valor y contrastando los resultados con la realidad más mediata. Con base en estas premisas, a continuación se presentan algunas recomendaciones tendientes a alcanzar un mayor “control” sobre las estrategias y acciones denominadas de “campo”.

Lo primero que habrá que considerar es que los instrumentos deben estar orientados a “medir” o “valorar”, dependiendo del referente paradigmático (producto-proceso, ecológico, histórico-cultural, etc.) que los sustente. Sin embargo, no se descarta la posibilidad de la coexistencia paradigmática, en cuyo caso, se deberá prestar especial cuidado a la naturaleza de las variables en cuestión (cuantitativas-cualitativas). Una vez seleccionadas y tipificadas las variables que se considerarán dentro de cada dimensión, el siguiente paso consiste en establecer el grado de intensidad y la dirección con la cual se abordarán éstas, para lo cual habrá que elegir entre cuatro posibles opciones:

• Exploratorias. Estudio (caracterización) de una variable.
• Descriptivas. Estudio de una variable en una constante.
• Correlacionales. Relación e interacción entre dos o más variables.
• Explicativas. Asociación multifactorial.

Cabe destacar que en educación no todas las variables son de operacionalización directa (variables sintéticas o teórico-abstractas), motivo por el cual se debe tener mucho cuidado cuando se tome la decisión de “convertir” una variable cualitativa en cuantitativa. De entrada se sugiere no forzar dicha transformación a fin en no caer en distorsiones de lo que la realidad es, sobre todo si se tienen que construir o diseñar “escalas”. Un problema similar lo representa la definición de los niveles de medición a emplear (nominal, ordinal, intervalar y de razón), los cuales están relacionados con la intensidad del estudio. En caso de no contar con la experiencia y formación requerida en este campo, la sugerencia es consultar a un experto. Es importante no pasar por alto que ninguna escala, por bien diseñada que parezca (Thurstone, Likert, Stephenson, etc.) puede aprehender la realidad en su totalidad. Al tomar en cuenta dichas requisiciones se estará en condiciones de manejar adecuadamente el diseño de trabajo en campo. Sin embargo, no se debe pasar por alto que todo ejercicio de evaluación parte de la selección de aquello que se quiere o necesita conocer, con lo cual se define aquella parte del fenómeno educativo que será objeto de estudio, dejando para un segundo momento diversos aspectos del mismo. Es por ello que comúnmente se afirma que “elegir es rechazar”; mucho de lo que percibimos de la realidad educativa parte de aquello que sabemos con respecto de lo que observamos, es por esto que siempre un experto en educación podrá efectuar un mejor planteamiento y delimitación del fenómeno a partir de su mejor y mayor conocimiento de lo educativo. Buscando orientar al administrador educativo o directivo de área, así como al novel evaluador, a manera de ejemplo a continuación se desglosa una relación de categorías, dimensiones e indicadores para evaluar a los docentes y alumnos.

CATEGORÍAS:

Refiriere a aquellos conceptos generales que permiten identificar las características o propiedades fundamentales del fenómeno objeto de evaluación. Ejemplo: Profesionalismo docente-Proceso enseñanza-aprendizaje-Rendimiento académico de alumnos- Formación de egresados- iderazgo directivo-Calidad en el proceso administrativo-Entorno social, político y económico.

DIMENSIONES:

Formas en que se desagrega una categoría; dicho de otra manera, son los componentes que pueden integrar a cada categoría. Ejemplos: Docentes: Habilidades para la docencia, Autovaloración del desempeño, Opinión de los alumnos, Conocimientos disciplinarios, Opinión de pares, Aptitud social, Aptitud personal, Curriculum académico-funcional, Nivel de actualización, Contexto áulico, Curriculum científico (práctica científica), Práctica educativa Alumnos: Nivel de dominio cognitivo (disciplinar), Nivel de inteligencia-creatividad (kinestésica, espacial, intrapersonal, interpersonal, lógico-formal, ecológica, etc.), Nivel de habilidades para las ciencias, Hábitos de estudio, Nivel de capacidades, Perfil psicoeducativo. En ambos casos: Aprovechamiento de los recursos disponibles, Nivel de empatía y organización productiva, Compromiso institucional, Inteligencia emocional.

INDICADORES:

Características distintivas del fenómeno objeto de estudio, las cuales son susceptibles de identificarse y medirse en un plano operativo, a partir de las cuales se obtienen los datos definidos como necesarios para la evaluación. Expresan la operacionalización de las variables incluidas en la evaluación y con ellos se construyen o elaboran los instrumentos de medición. Siguiendo con los ejemplos, a continuación se presenta una serie de indicadores derivados de la categoría profesionalismo docente, en su dimensión práctica educativa, la cual a decir de Gimeno Sacristán⁸, es el criterio que debe orientar todo ejercicio de evaluación dirigida al maestro. CATEGORÍA: Profesionalismo Docente DIMENSIÓN: Práctica Educativa

INDICADORES DIRECTOS:

Material didáctico empleado, Actualización de sus fuentes de consulta, Nivel de calidad en su actualización profesional, Dominio disciplinar de la asignatura que imparte, Planeación y ejecución del curso, Tareas didácticas o prácticas pedagógicas, Relación teórica-práctica efectiva, Material didáctico elaborado, Manejo del tiempo de clase, No. de alumnos atendidos, Entrega oportuna de informes

INDICADORES INDIRECTOS:

Interés, vocación, compromiso, responsabilidad, expectativas (autoevaluación y coevaluación), Nivel del discurso en clase, Dominio de recursos y materiales didácticos, Nivel de improvisación en ambientes de aprendizaje, Promoción del aprendizaje, Eficiencia y productividad educativa, Calidad en la supervisión de tareas didácticas y prácticas pedagógicas, Nivel de intencionalidad de sus objetivos formativos y su concreción, Dominio de habilidades verbal y escrita, Nivel de motivación promovida en el alumno, Nivel de habilidades prácticas y metacognitivas, Seguridad en su ejercicio docente, Nivel de empatía y autorregulación, Capacidad para solucionar conflictos en clase. Estos son sólo algunos ejemplos de los indicadores que pueden ser considerados en una evaluación, muchos de los cuales como es fácil observar se encuentran relacionados: unos sirven de antecedente, mientras que otros son consecuentes. No se debe pasar por alto que dependiendo del enfoque y la orientación que se le dé a la evaluación, una indicador puede llegar a asumirse como dimensión y ésta por su parte como una categoría, ya que finalmente todas son consideradas como variables. La recomendación es proceder con cautela, revisando concienzudamente la literatura especializada en caso de duda, a fin de no caer en errores al problematizar. Una estrategia que a probado su eficacia en la práctica es la de elaborar una matriz de evaluación⁹, la cual se construye con base en aquellas categorías, dimensiones e indicadores que resulten de interés para el evaluador. Un ejemplo de ella se muestra a continuación.

CATEGORÍA: Profesionalismo Docente
DIMENSIÓN: Práctica educativa del maestro
TIPO DE EVALUACIÓN: Especificar (diagnóstica, formativa o sumaria)
Indicador	Tipo de Variable (1)	Definición conceptual	Definición operativa	Nivel de medición	Tipo de Estudio (2)	Criterio de Apreciación (3)	Técnica de Evaluación (4)	Manejo de los datos (5)
Supervisión de tareas didáctica y prácticas pedagógicas

1= cualitativa -cuantitativa; 2= longitudinal, transversal, exploratorio, descriptivo, exposfacto, cuasiexperimental, experimental, etc.; 3= medición, valoración, ambas; 4= cuaderno de campo, bitácora de clase, lista de control, escalas (precisar), etnografía, autoinforme, discurso, documentos oficiales, narraciones, video, interpretación sociocultural, etc.; 5= paramétrico, no paramétrico..

Es conveniente precisar que en todos los casos existen fuentes de variación que resultan en la práctica difíciles de controlar, incluso siquiera identificar. Tal es el ejemplo de la “opinión de los alumnos”, procedimiento a todas luces “subjetivo, susceptible a factores no directamente relacionados con la calidad de las tareas docentes”... sobre todo si “se considera que los estudiantes tienen escasa o ninguna experiencia para evaluar los aspectos cualitativos de la enseñanza”¹⁰. En este mismo sentido se encuentra la “opinión de pares”, la cual a pesar de tener un mayor fundamento que la anterior, tiene el inconveniente de que aun dichos pares no tienen un testimonio claro y directo del acto docente, sobre todo el que acontece dentro del aula. Aunado a esto se encuentra la opinión de los jefes inmediatos, a los cuales muchas veces se les confiere la responsabilidad de realizar una evaluación de los maestros asignados a sus áreas; esto sin lugar a dudas es correcto, con la salvedad de que un gran número de administradores educativos emplean para hacerlo sólo criterios normativos, estandarizados, con lo cual parcializan la realidad, e incluso propician conductas de simulación por parte de los docentes.

Es por estas razones que se debe tener especial cuidado en considerar el mayor número de dimensiones e indicadores que sea posible cuando se trate de evaluar, especialmente al referirse a la práctica educativa de maestros y alumnos.

Una vez seleccionados las categorías, dimensiones e indicadores, el siguiente paso será elegir el instrumento que permita alcanzar amplios niveles de confiabilidad y validez en los resultados. Para ello, se puede recurrir al uso de pruebas estandarizadas, o bien, al diseño de los mismos. Existen actualmente una gran cantidad de test, cuestionarios, pruebas, etc., que afirman reunir estas condiciones; pese a esto, se deberá tener mucho cuidado en su selección, atendiendo de antemano la naturaleza de aquello que se desea medir y/o valorar. Está por demás advertir de los riesgos de emplear un burdo instrumento para “diseccionar la realidad”, así como el descontextualizar su aplicación asumiendo que en efecto su eficacia es universal. Una práctica que arroja buenos resultados consiste en “pilotear” el instrumento, es decir, aplicarlo a un número reducido de sujetos a fin de detectar cualquier falla en la redacción y/o selección de los ítems. Después de ello se corrige y se vuelve a aplicar; si existe una alta correlación entre los dos resultados obtenidos entonces se procederá a aplicarlo a toda la población o muestra.

8. Los sujetos de evaluación

Si se tiene la certeza de cuáles son los propósitos de la evaluación entonces se estará en condiciones de identificar a los sujetos objeto de evaluación. No está por demás recordar que éstos serán los “informantes clave”, y que de su correcta ubicación y selección dependerá en gran medida el éxito a alcanzar. En este sentido, en muchas ocasiones se piensa que la aleatorización es per sé, la estrategia unívoca e infalible por antonomasia; pero esto no es del todo cierto. Al igual que como ocurre en los trabajos de investigación científica donde las “muestras” son la forma más práctica y rentable de estimar a la población, en educación, si estás son válidas, confiables y sobre todo representativas, tampoco deberá existir ningún problema a posteori para llegar a conclusiones ciertas (al presentarse una estimación insesgada del error). Pero en educación a diferencia de otras disciplinas de conocimiento no siempre es así. En muchas ocasiones la naturaleza del fenómeno exige al evaluador “sesgar” la muestra a favor de los resultados, sin que ello signifique que se está cometiendo un error.

Algunos casos en los cuales esta estrategia resulta válida son:

• Al evaluar el desempeño académico del maestro. En cuyo caso se seleccionan sólo a los alumnos “regulares”, ya que son ellos quienes mejor conocen y valoran dicho desempeño.
• Al evaluar didácticamente una actividad práctica dentro del campo, taller o laboratorio. Seleccionando a los alumnos que siguieron todas las indicaciones y concluyeron todo el proceso.
• Al evaluar el nivel de aprovechamiento escolar de los alumnos. Analizando la calidad de las notas y bitácoras de clase, los reportes de prácticas y viajes de estudio, las tareas realizadas, etc., de aquellos que tuvieron un 100% de asistencia y participación.
• En estudios de caso. Al evaluar las causas de reprobación escolar o del éxito académico en alumnos de máximo rendimiento. En estas condiciones sólo se considerarán alumnos que hayan reprobado o que acrediten excelentes calificaciones respectivamente.

En todos los casos es recomendable, una vez seleccionados éstos y si el número de sujetos lo permite, seleccionar una muestra (o submuestra si ésta es ahora la población) al azar.

9. Presentación de resultados: Diferencia entre investigación y evaluación

Todo proceso evaluativo es, en esencia, un proceso de investigación. Sin embargo, la mayor diferencia estriba en que mientras la investigación científica parte de enunciados y axiomas de carácter legaliforme, los cuales definen supuestos a priori, bajo una estructura que exige la presentación de resultados y conclusiones con base exclusivamente en la evidencia empírica; la evaluación por su parte, incorpora elementos de análisis que definen interpretaciones valorativas en torno al fenómeno objeto de estudio. Esto no significa que la evaluación esté, conceptual y operativamente, por debajo de la investigación. Por el contrario, se vale de sus preceptos y definiciones operativas para llegar a interpretaciones que trascienden los hechos, hasta alcanzar un enfoque comprensivo, aunque para ello se tenga que recurrir a nuevas formas de abordaje metodológico.

En este sentido los resultados y conclusiones que se deriven del proceso evaluativo deberán estar matizadas por la opinión de todos los involucrados en él. Esto exige un esfuerzo loable por parte de los evaluadores, quienes sustentados en las premisas del enfoque asumido deberán aportar elementos que sirvan de soporte al mejoramiento del proceso educativo. No basta con sólo señalar errores y fallas, hay que asumir una postura propositiva que lleve al planteamiento de soluciones a partir de la toma de conciencia de los protagonistas del acto educativo (directivos, maestros, administradores, alumnos, etc.). Los resultados y sus conclusiones deben dejar entrever no sólo el hábil dominio de la información, sino el grado de intencionalidad con el cual se está manejando. La claridad debe ser uno de sus mayores atributos.

Para lograr dichos requisitos la información puede ser manejada y presentada (a juicio del evaluador), bajo la siguiente estructura: Mapas conceptuales, Cuadros de referencia rápida, Figuras (gráficas, fotografías, esquemas, etc.) , Tablas, Resúmenes, Paráfrasis, Informes ejecutivos, Informes técnicos, Artículos, Reportes de investigación, entre otros posibles, pudiendo existir una combinación de ellos. El desglose de contenidos temáticos y las formas de manejo de datos se ajustarán a la requisiciones de cada tipo de escrito. La decisión en torno a cómo se deberán presentar los resultados y las conclusiones estará en relación directa con el destinatario y la función que habrá de cumplir la evaluación (diagnosticar, investigar, sustentar decisiones, prospectivar). Es recomendable que siempre se acompañen de interpretaciones generales, a fin de orientar la visión del directivo o administrador (este punto será explicitado posteriormente), quedando para un segundo momento el desglose de los proyectos o programas de mejora.

Es conveniente no perder de vista que muchas evaluaciones internas son efectuadas por personal o equipos “amateur”¹¹, cuya mayor ventaja consiste en ser amplios conocedores de las realidades educativas del centro escolar; sin embargo, enfrentan la desventaja de su falta de preparación y experiencia en el campo. Esto puede ser subsanado con la asesoría de expertos.

10. Interpretación y conclusiones

Toda interpretación de la realidad educativa debe concretarse en conclusiones generales, las cuales serán claras y puntuales. No es recomendable intentar argumentar en torno a ellas, ya que éstas no son ideas sueltas sin fundamento, por el contrario, son depositarias de todo un sustento filosófico-conceptual concretado en la práctica, el cual fue previamente expuesto y discutido. Se recomienda que dichas aseveraciones no se acompañen de la ambigüedad que en muchas ocasiones se expresa al emplear frases como “creemos”, “nos parece”, “suponemos” . Todo aserto estará acompañado del soporte que la evidencia encontrada y utilizada proporcionó, misma que deberá estar explicitada dentro del documento base. Resultará una evaluación doblemente enriquecedora si se presentan una serie de recomendaciones en torno a las posibles mejoras a desarrollar dentro del plantel educativo, siempre y cuando éstas sean orientadoras de un plan más ambicioso de mejora continua.

11. Algunas consideraciones finales

a) El evaluador se hace, no nace. Se requiere de entrada un programa institucional para la formación de evaluadores; b) El éxito en la evaluación depende en gran medida del clima de confianza bajo el cual se desarrolle ésta; c) Aunque la medida es un rasgo imprescindible de la evaluación, evaluar no implica sólo medir, sino interpretar contextualmente dicha medida; d) En toda evaluación educativa es necesario hacer uso de instrumentos y técnicas emergentes, muchas de ellas derivadas del quehacer en las ciencias de la conducta, y no sólo de las llamadas “ciencias duras”; e) Si bien no existe evaluación sin medición (objetividad), lo cierto es que la valoración (subjetividad-intersubjetividad) es un elemento que distingue a los procesos evaluativos; f) La mala selección de variables e indicadores puede conducir a costosos errores, de impacto no sólo económico, sino político y social. Los buenos indicadores son de antemano promotores de una mejora educativa; g) Cada plantel, en función de sus contextos significativos multivariados¹², debe fijar criterios de calidad interna y externa, los cuales orientarán el curso de la evaluación; h) Los estudiantes y maestros no deben ser lo únicos evaluados. La calidad, eficacia o productividad de un centro educativo no depende sólo de un criterio o factor; i) La evaluación de proyectos o programas debe ir más allá de su impacto o sus resultados; j) La evaluación educativa para ser de calidad debe incluir elementos que lleven a la planificación, el perfeccionamiento, la innovación y certificación del proceso educativo; k) La mejora real de un sistema educativo no puede estar sustentada en un sólo tipo de evaluación, por lo cual la mejor decisión es emplear los tres disponibles, complementando sus resultados. Finalmente es importante destacar que toda evaluación para ser integral, deberá ser analítica, descriptiva, explicativa, normativa, valorativa y experimental. La verdadera evaluación no sólo consiste en categorizar individuos con base en lo que hacen, cosificándolos por su accionar, transformándolos en simples objetos de un proceso administrativo. La evaluación va más allá. Bajo el peso de su significancia social y su estigma ideológico, es el principio rector de una profunda reflexión que no se agota en la trivialidad de los números, sino que siendo depositaria de una realidad inmediata debe fortalecer la valoración, la creatividad y el protagonismo de todos los participantes en el proyecto educativo. Notas: ¹Se refiere a cualquier espacio físico (virtual o real) donde desde el punto de vista institucional se da el encuentro y la interacción entre el maestro, el alumno y el conocimiento, propiciándose con ello una forma de educación (formal, informal o no formal). ²Harvey, L. Y Green, D. 1993. Defining quality. Assessment and evaluation in higher education. 18 (1) 9-34. ³López, G. M. y Regnasco, M., 1996. en: Lóizaga, P. (compilador). Diccionario de pensadores contemporáneos. Edit. Emecé, Barcelona. ⁴Vain, P. 1997. Los rituales escolares y las prácticas educativas. Edit. Universitaria de Misiones. Buenos Aires Argentina. ⁵Shulman, L.S. 1986. Paradigms and research programs in the study of teaching: A contemporary perspective. En M.C. Wittrock (Ed.) Handbook of research on teaching, Macmillan, New York, pp. 3-36. ⁶De la Orden A. 1993. La escuela en la perspectiva del producto educativo. Reflexiones sobre evaluación de centros educativos. Bordón, 45 (3), 263-270. ⁷Valdéz V., H. Desarrollo escolar. Ponencia. Organización de Estados Iberoamericanos Para la Educación, la Ciencia y la Cultura. 23 y 25 de mayo de 2000. México ⁸Sacristán, G. 1988. El curriculum: una reflexión sobre su práctica. 7° Ed. Edit. Morata. España. ⁹También se denomina matriz de doble entrada o de exploración, aunque la estructura aquí presentada está diseñada expresamente para fines de evaluación. ¹⁰Rodríguez, R. 2000. Una nueva estrategia para evaluar la calidad del desempeño docente en las IES. Facultad de Medicina, UNAM. México. ¹¹Scriven, M. 1967. The methodology of evaluation. En R.E. Stake (Ed.) AERA Monograph series on curriculum evaluation No. 1, Rand McNally, Chicago. ¹²Villarruel, F. M. 2002. Modelo integral para la educación agrícola superior bajo contextos significativos multivariados. Memoria. Congreso Internacional. Fundación Internacional Para la Educación Superior Internacional. Boca del Río, Ver., México. Referencias: • HARVEY, L. Y GREEN, D. Defining quality. Assessment and evaluation in higher education. 18 (1) 9-34. • LÓPEZ, G. M. y Regnasco, M., 1996. en: Lóizaga, P. (compilador). Diccionario de pensadores contemporáneos. Edit. Emecé, Barcelona. 1993. • ORDEN, A. de la: La escuela en la perspectiva del producto educativo. Reflexiones sobre evaluación de centros educativos. Bordón, 45 (3), 263-270. 1993. • RODRÍGUEZ, R. Una nueva estrategia para evaluar la calidad del desempeño docente en las IES. Facultad de Medicina, UNAM. México. 2000. • SACRISTÁN, G. El curriculum: una reflexión sobre su práctica. 7° Ed. Edit. Morata. España. 1988. • SHULMAN, L.S. Paradigms and research programs in the study of teaching: A contemporary perspective. En M.C. Wittrock (Ed.) Handbook of research on teaching, Macmillan, New York, pp. 3-36. 1986. • SCRIVEN, M. The methodology of evaluation. En R.E. Stake (Ed.) AERA Monograph series on curriculum evaluation No. 1, Rand McNally, Chicago. 1967. • VAIN, P. Los rituales escolares y las prácticas educativas. Edit. Universitaria de Misiones. Buenos Aires Argentina. 1997. • VALDÉZ V., H. Desarrollo escolar. Ponencia. Organización de Estados Iberoamericanos Para la Educación, la Ciencia y la Cultura. 23 y 25 de mayo de 2000. México. • VILLARRUEL, F. M. Modelo integral para la educación agrícola superior bajo contextos significativos multivariados. Memoria. Congreso Internacional. Fundación Internacional Para la Educación Superior Internacional. Boca del Río, Veracruz, México. 2002. Fuente: www.rieoei.org