Herramientas de usuario

Herramientas del sitio


es:help_test_callibration

¡Esta es una revisión vieja del documento!


Calibración

La pestaña de Calibración sirve para hallar los valores de los parámetros de las curvas características según el modelo de 1, 2, 3 o 4 parámetros. 1)

Inicialmente aparece un formulario con los siguientes campos:

Método de calibración

Hace referencia al sistema de calibracón que se va a usar. Actualmente se puede elegir entre los siguientes valores:

  • JICS: Es una acrónimo de Java Item Calibration System. Se trata de una parte de Siette que se ha implementado como un servicio web al que Siette llama componiendo el conjunto de datos en un fichero con formato XML. El sistema funciona mediante la técnica EM y en está adaptado a las características propias de Siette.
  • MULTILOG: En este caso el sistema de calibración es el conocido programa MULTILOG al que se accede a través de un servicio web (implementado en otro servidor). Siette componen un fichero de entrada en el formato que requiere este programa y lo envía para obtener un fichero de salida del cual extrae los datos de los parámetros.
  • Naive: Es un método simplificado que obtiene los valores de los parámetros mediante interpolación directa de los valores observados en cada uno de los niveles de conocimiento. Es simplemente el primer paso del algoritmo EM. Está integrado en Siette. Su ejecución tiene la ventaja de ser rápido y de funcionar con muy pocos datos. Sin embargo, tiene el inconveniente de que los resultados obtenidos son peores que con otros métodos.
  • XML: En realidad no se trata de un método de calibración sino simplemente de un modo para visualizar los datos que se usan en la calibración en formato XML.

Modelo de calibración

Hace referencia al modelo de la IRT que se usa en la calibración. Actualmente solo se soportan los modelos. 1PL, 2PL y 3PL. Su valor se aplica a cualquiera de los métodos de calibración del selector anterior.

Agrupar todas las sesiones de un mismo alumno

Cuando un alumno ha hecho mas de una sesión de un mismo test (o de un mismo tema), dependiendo de la configuración del test puede ocurrir, o no, que haya respondido a una misma pregunta en varias sesiones. Por ejemplo supongamos que un test se basa en un banco con 500 preguntas, pero en cada sesión solo se presentan 20 preguntas de forma aleatoria. Supongamos que las condiciones de acceso permiten repetir el test tres veces. Podría ocurrir que haya una pregunta (o mas) de las 500 que haya aparecido en dos (o mas) sesiones del mismo alumno. Tambien podría ocurrir que las preguntas planteadas en las tres sesiones fueran todas ellas diferentes. En este punto se plantean varias alternativas:

  1. Considerar que cada una de las sesiones de test son independientes, es decir, hacer como si se tratase de sesiones de distintos alumnos. Lo que en el ejemplo anterior supone usar 3 sesiones de 20 preguntas, ya sean con preguntas repetidas o no.
  2. Agrupar todas las sesiones de un alumno sobre la primera sesión, es decir, siguiendo con el ejemplo anterior, considerar que la primera sesión del alumno se extiende mediante mediante las preguntas de la segunda y la tercera sesión. Si en la segunda o en la tercera sesión contuviese una pregunta a la cual el alumno ya hubiera respondido en una sesión anterior, dicha respuesta se ignora. En consiguiente, para el caso del ejemplo se usarían los datos de una única sesión virtual con 60 preguntas, si no hay repeticiones, o con un número algo menor si las hubiese.
  3. Agrupar todas las sesiones de un alumno sobre la última sesión. es un proceso análogo al anterior pero en este caso se quedaría con la respuesta que se haya dado en la sesión mas reciente.

Seleccionar preguntas que hayan aparecido en al menos X sesiones

Con este campo se pretende desechar del proceso de evaluación aquellas preguntas que no se hayan presentado en un número mínimo de sesiones. En los test en los que se muestran siempre las mismas preguntas a los mismos alumnos y todos ellos las responden no hay problema para la calibración si hay un número suficiente de alumnos. Sin embargo, cuando el banco de preguntas del test es grande y solo se seleccionan unas pocas preguntas podría ocurrir que aunque haya muchos alumnos que hayan hecho el test algunas de las preguntas hayan aparecido pocas veces, por lo que no habrá datos suficientes para una buena calibración. Estableciendo este mínimo se descartan las sesiones que contienen están preguntas para permitir la calibración correcta del resto.

=== Seleccionar sesiones que contengan al menos X preguntasAnálogamente al anterior, podría ocurrir que algunas de las sesiones del test no hayan respondido a un número suficiente de preguntas. Estas sesiones podrían filtrarse previamente en la pestaña de selección de sesiones por criterios, de manera que no se tengan en cuenta, pero en cualquier caso, si se usa el selector anterior puede producirse el caso de que alguna de las sesiones quede por debajo del umbral. Es mejor desechar esta sesión para obtener mejores resultados en la calibración.

Ver fichero de datos de entrada

Informa a Siette de que antes de enviar el fichero lo muestre. Si se selecciona esta opción aparecerá una segunda subpestaña que muestra el fichero de datos antes de enviarlo. Si no se selecciona no aparecerá.

Una vez completado el formulario para realizar la calibración hay que pulsar el botón Exec que aparece en la parte superior derecha y que tras un breve periodo de espera debido al tiempo necesario para realizar la calibración deriva en la siguiente pestaña:

1)
En realidad cada uno de los modelos es una ampliación del anterior por lo que si por ejemplo se quiere usar el modelo de 2 parámetros basta con poner a cero los valores de los coeficientes de adivinanza y distracción, y si se quiere usar el modelo de Rasch de un solo parámetro, bastaría con poner el mismo valor (por ejemplo 1.0) en todos los valores del parámetro de discriminación.
es/help_test_callibration.1654100325.txt.gz · Última modificación: 2022/06/01 16:18 por root

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki