Se llama calibración al proceso por el cual se obtienen las curvas características a partir de los datos de las respuestas de un conjunto de alumnos a un conjunto de preguntas.

Existen diversos procedimientos para calibrar los ítems. En general los métodos de calibración se basan en el algoritmo EM (del inlgés “Expectation-Maximization”) que consiste en suponer conocido el valor del nivel de conocimiento de un conjunto de alumnos y a partir de ellos hallar los parámetros que hacen que las curvas características se aproximen mejor a la distribución observada. Una vez obtenidos los parámetros, se aplican de nuevo las curvas con los valores obtenidos en el paso anterior para halar nuevos valores de los niveles de conocimiento de los alumnos y se repite el proceso hasta alcanzar unos valores estables o mejor dicho que difieran poco de una iteración a la siguiente.

En un test con $N$ preguntas que han realizado M alumnos, basado en el modelo 3PL hay $3N+M$ incógnitas, correspondientes a los parámetros $a_i$, $b_i$ y $c_i$, mas una incógnita $\theta_j$ por cada uno de los alumnos que han realizado el test. Para cada alumno se conoce su vector de respuestas a las preguntas $u_1, u_2 ... u_N$, lo que implica que la distribución de conocimiento del alumno $j$ viene dada por:

$$p_j(\theta|u_1; u_2; \cdots u_N)\propto L_j(\theta) = \prod_{i=1}^Np(u_i|\theta)^{u_i}(1-p(u_i|\theta))^{(1-u_i)}p(\theta)$$

donde $p(\theta)$ es la distribución a priori, que suele asumirse que es una distribución uniforme, o bien una distribución normal; y las probabilidades condicionales siguen la función logística: $$p(u_i|\theta) = c_i + (1-c_i)\frac{1}{1+e^{-Da(\theta-b_i)}}$$

y el nivel de conocimiento estimado de cada alumno $\hat\theta_j$ es el valor que hace máxima la distribución a posteiori, $p_j(\theta|u_1; u_2; \cdots u_N)$ o lo que es lo mismo, el máximo de la función de verosimilitud. Dicho máximo coincide con el máximo de la función tomando logaritmos y se alcanza cuando la primera derivada se anula, por lo que se intentan resolver las ecuaciones: $$\frac{\partial \ln(L_j(\theta))}{\partial \theta}=0$$ asignando valores a los parámetros $a_i$, $b_i$, y $c_i$.

Existen diversos métodos de calibración, mas o menos sofisticados, asumiendo distribuciones iniciales para los parámetros, y buscando minimizar distintos indicadores de distancia. Siette incluye algunos mecanismos de calibración simplificados, pero permite acceder a cualquier método de calibración externo a través de servicios web. En concreto, siette integra mediante servicios web un método propio denominado JICS (Java Item Calibration System), e integra también a traves de servicios web el sistema MULTILOG de Thiessen ¹⁾. Para realizar la calibración Siette prepara los datos en los formatos adecuados, los envía a través de un mensaje SOAP al servicio web; recibe la respuesta de éste y actualiza los parámetros de los ítems. Todo ello se realiza de forma transparente al usuario, por lo que aparentemente es como si Siette tuviera implementados estos programas.

Para efectuar la calibración hay que ir a la pestaña Calibración de la sección de Test, o de la sección de Temas, ya que una y otra realizan respectivamente la calibración de los ítems usados en el test o de todos los ítems definidos en el tema