Herramientas de usuario

Herramientas del sitio


es:manual:analisis:cat

Test adaptativos informatizados

El término Test Adaptativos Informatizados (TAI) es una traducción directa del ingles Computer Adaptive Testing (CAT). La idea principal surge a raíz de la aplicación de los test mediante ordenador, en vez de la aplicación tradicional mediante papel y lápiz. Al ser el ordenador quién plantea las preguntas y las presenta por pantalla, el criterio de selección de preguntas y el criterio de finalización del test del Proceso de evaluacion pueden modificarse dinámicamente según las respuestas que haya dado el alumno a las preguntas anteriores. La idea consiste en que el ordenador puede evaluar dinámicamente el conocimiento del alumno de acuerdo a sus respuestas y a partir de este conocimiento estimado tomar decisiones sobre la siguiente pregunta a plantear o sobre terminar o continuar la evaluación.

Esta idea aparece en la década de 1980, como evolución de una idea anterior: los test ramificados, en los que se establecía un árbol de decisión fijo al administrar el test, y en los que se proponía al usuario la siguiente pregunta a contestar dependiendo de la opción que hubiera elegido al contestar la pregunta anterior.

Los Test Adaptativos Informatizados están generalmente asociados a la Teoría de Respuesta al Ítem, y en concreto al método de evaluación bayesiano que permite una estimación contínua del nivel de conocimiento del alumno conforme avanza el test, así como una evaluación del error o de la varianza de la distribución de probabilidad del nivel estimado. Estos valores se se usan respectivamente en el criterio de selección, y el criterio de finalización. Por ejemplo se puede seleccionar la pregunta tal que al administrarla a un alumno minimice la varianza esperada a posterior (EAP), o bien seleccionar la pregunta cuya dificultad sea mas próxima a la media o la moda de la distribución del conocimiento estimado, o bien que maximice una determinada función de información, etc. En cuanto al criterio de finalización se pueden establecer valores objetivo de la varianza, y terminar el test cuando ésta es menor de un cierto umbral, etc.

Desde el punto de vista psicométrico, la principal ventaja de los TAI es que con el mismo número de preguntas aumentan la fiabilidad del test, o lo que es equivalente, pueden alcanzar con menos preguntas la misma fiabilidad que test mas largos. Esta reducción suele cuantificarse del orden del 50&.

El mayor inconveniente que tienen los test adaptativos es que para que funcionen es necesario que las preguntas estén previamente calibradas, es decir, que se conozcan sus curvas características de manera fiable, lo que requiere haber realizado el test previamente a un número suficiente de alumnos (dependiendo del modelo, se estima necesario entre 100 y 500 sujetos para una buena calibración). Por otra parte, en los test adaptativos no se debe permitir dar marcha atrás y revisar las respuestas a preguntas ya realizadas.

Sin embargo, los Test Adaptativos Informatizados no necesariamente tienen que estar ligados a la Teoría de Respuesta al Ítem. Basta con establecer otros criterios de evaluación, selección y finalización adecuados para que un test muestre un comportamiento adaptativo. Evidentemente, si no se usa la TRI no podrá determinarse con precisión la fiabilidad del test, pero puede que la finalidad del test no sea la evaluación sino el entrenamiento, o la práctica, y que el comportamiento adaptativo se use simplemente para mejorar la experiencia del alumno. En este caso, criterios de selección alternativos pueden ser adecuados, sin necesidad de calibrar con precisión las preguntas.

Siette incluye distintas herramientas para facilitar la construcción de test que muestren un comportamiento adaptativo. Por una parte están implementados todos los mecanismos de la TRI, incluyendo la calibración de los ítems, y diversos criterios de selección y finalización del test basados en TRI. Ademas de estos criterios, Siette implementa algunos criterios aproximados que no requieren el uso de la TRI.

Por otra parte, Siette incluye mecanismos para implementar la ramificación, estableciendo ramas a nivel global, es decir, a nivel de preguntas, forzando la presentación de una pregunta dependiendo de la opción de respuesta a otra pregunta anterior (siempre que se dé esta contestación la siguiente pregunta será esta otra..) o nivel de test, estableciendo que para un determinado test debe aplicarse una determinada secuencia de preguntas estableciendo un árbol de decisión.

Finalmente, Siette implementa test encadenados, que es un mecanismo de macro adaptación, que consiste en concatenar varios test según los resultados obtenidos en el test anterior. Es decir, al finalizar un test, dependiendo de la calificación obtenida, se determina que otro test debe realizarse.

es/manual/analisis/cat.txt · Última modificación: 2022/07/13 10:08 por root

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki