La pestaña de Calibración sirve para hallar los valores de los parámetros de las curvas características según el modelo de 1, 2, 3 o 4 parámetros. ¹⁾

Esta pestaña puede aparecer tanto si se accede a través de la sección de Test como de la sección de Temas. En el primer caso, el conjunto de ítems a calibrar son todos los ítems que han aparecido en alguna sesión del test. En el segundo el conjunto de ítems a calibrar son todos los ítems del tema. En este segundo caso se utilizan los datos de todos los test que hayan usado en su evaluación alguna de las preguntas correspondientes a este tema, descartando las demás preguntas que contenga el test y que pertenezcan a otros temas, y reevaluando la calificación finalmente obtenida en caso necesario.

Esta pestaña solo aparece si en las Preferencias del Test o del Tema se han seleccionado respectivamente las opciones “Ver tabla de resultados de todas las preguntas de un test, y “Ver tabla de resultados de todas las preguntas de un tema”.

El sistema muestra un espacio dividido a su vez en subpestañas, aunque inicialmente solo aparece la subpestaña de “Opciones”, al ejecutar el proceso de calibración se obtendrán las pestañas de “Datos de entrada” y “Rseultados”.

La primera subpestaña contiene un formulario con los siguientes campos:

Hace referencia al sistema de calibración que se va a usar. Actualmente se puede elegir entre los siguientes valores:

• JICS: Es una acrónimo de Java Item Calibration System. Se trata de una parte de Siette que se ha implementado como un servicio web al que Siette llama componiendo el conjunto de datos en un fichero con formato XML. El sistema funciona mediante la técnica EM y en está adaptado a las características propias de Siette.
• MULTILOG: En este caso el sistema de calibración es el conocido programa MULTILOG al que se accede a través de un servicio web (implementado en otro servidor). Siette componen un fichero de entrada en el formato que requiere este programa y lo envía para obtener un fichero de salida del cual extrae los datos de los parámetros.
• Naive: Es un método simplificado que obtiene los valores de los parámetros mediante interpolación directa de los valores observados en cada uno de los niveles de conocimiento. Es simplemente el primer paso del algoritmo EM. Está integrado en Siette. Su ejecución tiene la ventaja de ser rápido y de funcionar con muy pocos datos. Sin embargo, tiene el inconveniente de que los resultados obtenidos son peores que con otros métodos.
• XML: En realidad no se trata de un método de calibración sino simplemente de un modo para visualizar los datos que se usan en la calibración en formato XML.

Hace referencia al modelo de la IRT que se usa en la calibración. Actualmente solo se soportan los modelos. 1PL, 2PL y 3PL. Su valor se aplica a cualquiera de los métodos de calibración del selector anterior.

Cuando un alumno ha hecho mas de una sesión de un mismo test (o de un mismo tema), dependiendo de la configuración del test puede ocurrir, o no, que haya respondido a una misma pregunta en varias sesiones. Por ejemplo supongamos que un test se basa en un banco con 500 preguntas, pero en cada sesión solo se presentan 20 preguntas de forma aleatoria. Supongamos que las condiciones de acceso permiten repetir el test tres veces. Podría ocurrir que haya una pregunta (o mas) de las 500 que haya aparecido en dos (o mas) sesiones del mismo alumno. Tambien podría ocurrir que las preguntas planteadas en las tres sesiones fueran todas ellas diferentes. En este punto se plantean varias alternativas:

1. Considerar que cada una de las sesiones de test son independientes, es decir, hacer como si se tratase de sesiones de distintos alumnos. Lo que en el ejemplo anterior supone usar 3 sesiones de 20 preguntas, ya sean con preguntas repetidas o no.
2. Agrupar todas las sesiones de un alumno sobre la primera sesión, es decir, siguiendo con el ejemplo anterior, considerar que la primera sesión del alumno se extiende mediante mediante las preguntas de la segunda y la tercera sesión. Si en la segunda o en la tercera sesión contuviese una pregunta a la cual el alumno ya hubiera respondido en una sesión anterior, dicha respuesta se ignora. En consiguiente, para el caso del ejemplo se usarían los datos de una única sesión virtual con 60 preguntas, si no hay repeticiones, o con un número algo menor si las hubiese.
3. Agrupar todas las sesiones de un alumno sobre la última sesión. es un proceso análogo al anterior pero en este caso se quedaría con la respuesta que se haya dado en la sesión mas reciente.

Con este campo se pretende desechar del proceso de evaluación aquellas preguntas que no se hayan presentado en un número mínimo de sesiones. En los test en los que se muestran siempre las mismas preguntas a los mismos alumnos y todos ellos las responden no hay problema para la calibración si hay un número suficiente de alumnos. Sin embargo, cuando el banco de preguntas del test es grande y solo se seleccionan unas pocas preguntas podría ocurrir que aunque haya muchos alumnos que hayan hecho el test algunas de las preguntas hayan aparecido pocas veces, por lo que no habrá datos suficientes para una buena calibración. Estableciendo este mínimo se descartan las sesiones que contienen están preguntas para permitir la calibración correcta del resto.

=== Seleccionar sesiones que contengan al menos X preguntasAnálogamente al anterior, podría ocurrir que algunas de las sesiones del test no hayan respondido a un número suficiente de preguntas. Estas sesiones podrían filtrarse previamente en la pestaña de selección de sesiones por criterios, de manera que no se tengan en cuenta, pero en cualquier caso, si se usa el selector anterior puede producirse el caso de que alguna de las sesiones quede por debajo del umbral. Es mejor desechar esta sesión para obtener mejores resultados en la calibración.

Informa a Siette de que antes de enviar el fichero lo muestre. Si se selecciona esta opción aparecerá una segunda subpestaña que muestra el fichero de datos antes de enviarlo. Si no se selecciona no aparecerá.

Una vez completado el formulario para realizar la calibración hay que pulsar el botón que aparece en la parte superior derecha y que tras un breve periodo de espera debido al tiempo necesario para realizar la calibración deriva en la siguiente pestaña:

Esta ventana muestra un area de texto que contiene el fichero que se envía al sistema externo para la calibración de los datos. El formato depende del método de calibración que se halla seleccionado. La imagen anterior corresponde a los datos preparados para enviarlo a MULTILOG.

En la úlrima pestaña aparece el resultado de la calibración, es decir los parámetros de los ítems. Cada fila corresponde a un ítem, y en concreto a la curva característica asociada al tema que se está calibrando. Dada la estructura jerárquica de temas y subtemas que utiliza Siette un mismo ítem (pregunta) perteneciente a un tema tendrá una curva característica para el tema al que pertenece y para cada uno de los temas ascendientes en la jerarquía. Cada una de estas curvas (que pueden ser iguales o distintas) se usará cuando la pregunta forme parte de la evaluación del tema o de se haya incluido al ser descendiente del tema que se está evaluando.

Las dos primeras columnas muestran los identificadores del ítem y el tema. En el caso de la calibración de los datos de un test, el tema corresponde al tema raíz del test. En los casos de calibración de los ítem de un tema, será el propio tema el que se calibre.

En las siguientes columnas se muestran los datos de los parámetros que actualmente están almacenados. En las columnas de la derecha se muestran los datos obtenidos a partir de la calibración realizada. Esto permite comparar los nuevos resultados con los anteriores.

A la izquierda de cada columna aparece un “checkbox” que permite seleccionar las preguntas cuyos parámetros se quieran cambiar. En la parte superior del formulario aparecen cuatro botones:

• Seleccionar todos los ítems.
• Deseleccionar todos los ítems.
• Invertir la selección.
• Aplicar la modificación, es decir, reemplazar los valores anteriores por los nuevos valores solo para aquellos ítems que se hayan seleccionado.