Perspectiva general de la evaluación adaptable

Arturo Ocampo López^[a]

Resumen

Las TIC actualmente están inmersas en el proceso de enseñanza/aprendizaje, siendo la evaluación de conocimientos un proceso que ha sido beneficiado al permitir una recuperación de resultados automática y rápidamente. La evaluación adaptativa computarizada también llamada CAT es una técnica que contiene 2 puntos principales; el primero: la forma de selección de las preguntas que se presentan al alumno, correspondiendo al nivel de dificultad según su desempeño durante la prueba y la segunda, la decisión finalizar la evaluación en cuanto se identifica el nivel de conocimientos de cada alumno de forma independiente.

Palabras clave: Evaluación Adaptable, Evaluación, Test adaptativo computarizado, CAT, TAI

Abstract

ICTs are now embedded in the teaching / learning process, being the evaluation a process that has been benefited allowed the automatic recovery of results. The adaptive assessment also called CAT is a technique which has two main points; the first: the way of selection of the questions are presentet to the students, corresponding to the level of difficulty according to their performance during the test and the second the decisión end evaluation when the level of knowladge per student is identified independently.

Keywords: Adaptive Assessment, Evaluation, Computerized Adaptive Test, CAT, TAI

Introducción

En el ámbito de la evaluación de los conocimientos adquiridos por los alumnos, comúnmente ésta se efectúa en papel, ya sea por medio de preguntas abiertas, de opción múltiple, etc., después los profesores evalúan las respuestas dadas por los alumnos. Este mecanismo, además de tedioso, suele ser imparcial por el criterio de evaluación del profesor, además que las evaluaciones se aplican en alumnos de diferentes grupos y profesores cuando entre ellos tienen diferentes niveles de conocimientos. Se ha comprobado que los resultados de estas evaluaciones no reflejan realmente el aprovechamiento de los alumnos, ya que lo ideal es crear una evaluación a la medida del alumno, pero esto es muy difícil de hacer estáticamente.

Existen diferentes metodologías en las cuales podemos ver realmente reflejado el aprovechamiento de los alumnos, una solución es hacer estas evaluaciones dinámicas (CAT; Computer Adaptive Testing  -  Test Adaptativo Computarizado). Una evaluación adaptativa, es una evaluación en la que la presentación de cada pregunta y la decisión de finalizar la evaluación son dinámicamente adaptadas según el rendimiento del estudiante, además, la evaluación se acaba justo cuando se ha especificado el nivel del alumno.

Para crear una evaluación adaptativa se requiere:

• 1) Colocar al alumno en un primer estado de conocimientos y comenzar a  evaluar.
• 2) Crear un algoritmo para la selección de las preguntas basándose en el desempeño del alumno.
• 3) Crear otro algoritmo para evaluar las respuestas dadas a cada pregunta.
• 4) Crear un modelador y visualizador del desempeño del alumno durante la evaluación.

Para ampliar la probabilidad de que un alumno apruebe satisfactoriamente la evaluación, es necesario que él, cuente con los conocimientos suficientes para presentar dicha evaluación, una forma de lograrlo, es captando su atención por medio de interfaces gráficas e intuitivamente fáciles de utilizar, para que se vea interesado en los temas que conforman la evaluación, esta ventaja ya se proporciona en la modalidad virtual, en la que la información del curso no solo se obtiene por parte de una profesor o asesor, sino de medios multimedia que fortalecen el aprendizaje.

Características de la evaluación.

Existen diferentes métodos de evaluación, por ejemplo los modelos clásicos de test (Evaluación o examen) se han centrado en la creación de diferentes evaluaciones para diferentes conjuntos de alumnos. Cada evaluación es diseñada de modo que un alumno con un conocimiento medio en la muestra, debe obtener una puntuación media. Tales modelos tienen 3 limitaciones, en el valor de los datos que se obtienen esta evaluación:

• La primera limitación de los modelos tradicionales (examen sobre papel) está relacionada con las estadísticas extraídas de las respuestas de los alumnos. De este modo, las estadísticas obtenidas a partir de una muestra de alumnos, son solamente aplicables a aquellos alumnos que tienen características similares a los de la muestra.
• La siguiente limitación es referente a la comparación de los alumnos de una muestra con aquellos alumnos pertenecientes a otra muestra. Esto es así, ya que resulta muy difícil comparar las estadísticas de distintos alumnos, a menos que éstos, sean evaluados por evaluaciones equivalentes. Tales comparaciones requerirán procedimientos complejos ya que no existe una relación lineal entre las estadísticas de los resultados en evaluaciones no equivalentes. Por otro lado, es extremadamente difícil, y raramente ocurre, que el diseñador del examen desarrolle evaluaciones equivalentes.
• La última limitación del modelo clásico está relacionada con la efectividad de la evaluación, es decir, si el examen mide de manera precisa el verdadero conocimiento del alumno. Aunque es sabido que la mayoría de las evaluaciones cometen un error entre lo que el alumno realmente sabe y lo que los resultados del éste reflejan, en el modelo clásico se supone que este error es el mismo para todos los alumnos. Así, aunque el nivel de conocimiento determinado en la evaluación es erróneo, se supone que la valoración del alumno en comparación con otros compañeros de la muestra es exacta, cosa que no ocurre.

Los métodos tradicionales de evaluación mediante exámenes, dependen del proceso estático para almacenar, manejar y analizar los datos, mientras que en la evaluación adaptativa este proceso es dinámico, este dinamismo lo proporciona de forma natural, el uso de plataformas de educación como es nuestro caso.

Una evaluación adaptativa, es una evaluación en el que la presentación de cada pregunta y la decisión de finalizar la evaluación son dinámicamente adaptadas según el rendimiento del estudiante. La naturaleza dinámica de estas evaluaciones, requiere:

• Un algoritmo para la selección de las preguntas a plantear al alumno que los exámenes tradicionales.
• Un algoritmo para evaluar las respuestas dadas a cada pregunta.
• Un algoritmo para evaluar el conjunto total de respuestas dadas por el alumno cuando finaliza el examen.
• Formar al estudiante para darle a conocer las consecuencias de no responder a preguntas, responder al azar, etc.

Estas evaluaciones proporcionan los siguientes beneficios frente a las evaluaciones tradicionales:

• El examen debe poder realizarse las veces que se desee, limitadas éstas sólo por el número de computadoras disponibles, restricciones del profesor de la materia, etc.
• El tiempo que ocupa el examen es típicamente más corto.
• El examen es administrado y evaluado de manera automática y podría emitir un informe sobre la valoración global del alumno de manera casi inmediata.
• Las preguntas presentadas al alumno, corresponden al nivel de éste: ni demasiado fáciles, ni demasiado difíciles.

La evaluación adaptativa trabaja del siguiente modo:

• La computadora determina el nivel inicial la evaluación dependiendo del conocimiento inicial estimado que posee el estudiante. El modo de estimar este conocimiento inicial puede ser: solicitar al alumno información sobre el nivel de conocimiento que él cree que tiene, o bien, haciendo una estimación inicial, con la evaluación de las primeras preguntas del examen, etc.
• Una vez que la estimación inicial es realizada, se procede a la estimación del nivel exacto del estudiante, para ello: la computadora elige aleatoriamente una pregunta del nivel adecuado del banco de elementos. Esta pregunta representará el punto intermedio en el nivel de dificultad de los elementos del banco, para el área que representa el examen.
• En función de las respuestas dadas, la computadora seleccionará la siguiente pregunta de las existentes en el banco, pudiendo ser más o menos difícil que la anterior.
• Una vez que la computadora ha estimado con exactitud el nivel del estudiante, emite su valoración y la evaluación acaba.

 Las distintas estrategias a tener en cuenta en las evaluaciones adaptatívas son:

• Enseñar a usar la computadora. Para que el alumno se familiarice con el entorno y la evaluación no pierda eficiencia (sobre todo en el caso de alumnos no acostumbrados a tratar con computadoras), en el caso de las plataformas de enseñanza virtual, la competencia del uso de las tics es inherente.
• Que la estrategia de seleccionar la siguiente pregunta en función de la respuesta a la pregunta previa, contemple la posibilidad de que el estudiante haya adivinado dicha respuesta. Por tanto, la evaluación no debe, simplemente, elegir una pregunta más difícil tras una respuesta correcta o una pregunta más fácil tras una respuesta errónea, sino que debe tratar otros factores que corresponden al algoritmo diseñado para esta tarea.
• Se deben responder las preguntas en el orden en el que se presentan. La computadora no permitirá pasar a la siguiente pregunta hasta que la actual haya sido contestada, y una vez que se haya contestado a la pregunta, no se podrá volver a ella de nuevo [1]

En otras palabras, el diagnóstico es uno de los procesos más importantes de cualquier evaluador. En términos más precisos, un CAT es un algoritmo iterativo que comienza con una estimación inicial del nivel de conocimiento del alumno y que tiene los siguientes pasos:

• Todas las preguntas que no se han administrado todavía son examinadas para determinar cuál será la mejor para ser propuesta a continuación, según el nivel de conocimiento estimado del alumno.
• La pregunta es planteada y el alumno responde.
• De acuerdo con la respuesta del alumno, se realiza una nueva estimación de su nivel de conocimiento. Los pasos del 1 al 3 se repiten hasta que se cumpla alguno de los criterios de terminación definidos [2].

Un ejemplo de la creación de un CAT, es el trabajo realizado en la Universidad Autónoma de Madrid, el cual evalúa el nivel de conocimientos de inglés escrito en castellano-parlantes. en donde se describe el proceso seguido para la elaboración del banco de preguntas, la comprobación de sus propiedades psicométricas y el ajuste obtenido al modelo logístico de tres parámetros. Se describen además las principales características del algoritmo adaptativo, que básicamente consiste en aplicar un método de estimación de máxima verosimilitud y un procedimiento de máxima información para la selección progresiva de las preguntas [3].

Esquema de Implementación.

La siguiente figura muestra de forma general cómo interactúa el sistema con los alumnos.

 

Figura 1. Diagrama de implementación.

 

Como se observa en la Figura 1, se cuenta con un módulo de evaluación adaptativa computarizada, que cuenta con un mecanismo de arranque, que sirve para iniciar la evaluación, las preguntas que se seleccionarán, estarán restringidas por las respuestas (rendimiento) de las anteriores, permitiendo con esto que al ser evaluadas se modele el desempeño que va teniendo durante la evaluación, de tal manera que al captarse cual es el nivel de conocimientos del alumno, se emitirá un reporte numérico y gráfico de su desempeño.

Bibliografía

[1] S. A. Rios, «Sistema de Evaluación de Tests para la TeleEducación,» de SIETTE: Intelligent Evaluation System using Test for TeleEducation, San Antonio, Texas, USA, 1998.

[2] R. Cornejo, E. Millan, J. L. Pérez y M. Trella, «Redalyc.org,» 2001. [En línea]. Available: http://www.redalyc.org/pdf/925/92551206.pdf. [Último acceso: 2014].

[3] J. Olea, F. Abad, V. Ponsoda y C. Xímenez, «Redalyc.org,» 2004. [En línea]. Available: http://www.redalyc.org/pdf/727/72716327.pdf. [Último acceso: 2014].

 

^[a] Universidad Autónoma del Estado de Hidalgo Dirección de Superación Académica. Carretera Pachuca-Actopan Km. 4 edificio Las Torres 3er. Piso Tel. 01( 771) 7172000 ext. 5603. arturo100852@hotmail.com