La Teoría de Respuesta al Ítem (TRI) se desarrolla a partir de la década de los 60 del siglo XX como respuesta a las limitaciones del modelo basado en la Teoría clásica de los Test (TCT):

• En el modelo clásico, la puntuación obtenida $X$, e incluso la puntuación verdadera $V$ dependen del test. Para un mismo individuo y para un mismo tema, un test con preguntas mas difíciles dará un valor menor de la puntuación; un test con preguntas más fáciles dará una puntuación mayor, independientemente de la fiabilidad de los mismos. ¹⁾. Esto es así porque en el modelo de la TCT no se tiene en cuenta la dificultad de las preguntas, por lo que sólo mediante una combinación adecuada de preguntas fáciles y difíciles y un número considerable de preguntas se puede garantizar la validez del test. Por el contrario el modelo basado en TRI se basa en las curvas características de las preguntas que varían según la dificultad y otros parámetros que dependen exclusivamente de la pregunta.
• En el modelo clásico, no hay forma de medir si el modelo se ajusta o no a los datos obtenidos. Solo se puede medir la fiabilidad del modelo construyendo dos test distintos y basándose en la hipótesis de que ambos test son paralelos, es decir están compuestos por preguntas prácticamente iguales, cosa difícil de conseguir en la práctica, o al menos de poder dividir el test en mitades y que las preguntas de ambas mitades sean equivalentes. Por el contrario en la TRI existen indicadores del grado de ajuste del modelo a los datos obtenidos.

El modelo de la TRI requiere algunos supuestos adicionales:

• Unidimensionalidad: El modelo asume que la respuesta a una pregunta (ítem) depende solamente de una variable no observable directamente que toma valores en el intervalo $[-\infty,+\infty]$ a la que se denomina “nivel de conocimiento” y que se representa normalmente por la letra $\theta$. En la práctica se suele usar el intervalo $[-3,+3]$ asimilando los valores fuera de este intervalo a los extremos.
• Independencia local: Las preguntas de un test son independientes, o mejor dicho, la respuesta a una pregunta en un test no condiciona la respuesta a ninguna otra pregunta posterior, ni esta condicionada por ninguna respuesta anterior.²⁾.

La implementación que Siette hace sobre la TRI se basa en la aplicación de un modelo bayesiano. Dentro del campo de la Inteligencia Artificial, el modelo TRI puede considerarse como una red bayesiana de una sola capa en donde se aplica la fórmula de “Naive Bayes”, que viene dada al asumir que los ítem son independientes entre sí, es decir sus covarianzas son nulas.

La implementación que hace Siette de la TRI puede considerarse como un clasificador bayesiano. Las clases corresponden a una discretización del intervalo $[-\infty,+\infty]$. ³⁾. La clasificación se realiza aplicando la fórmula de Bayes para cada uno de los ítems, teniendo en cuenta la probabilidad condicionada de cada una de las posibles respuestas a la pregunta ⁴⁾.

Supongamos que hay C clases de niveles de conocimiento a los que denominamos $\theta_1, \theta_2, .. \theta_C$. Supongamos que el test se compone de $N$ preguntas, $u_1, u_2, .. u_N$, cada una de ellas con $J$ opciones de respuesta $u_{1_i}, u_{2_i} .. u_{J_i}$ entre las que el alumno debe elegir una en concreto. Es decir, se representa por $u_i=u_{k_i}$ el suceso que corresponde a que el alumno en la pregunta i-esima haya escogido la opción $k_i$ de respuesta y no cualquier otra de las posibles opciones. Aplicando N veces la regla de Bayes se obtiene:

$$p(\theta=\theta_c|u_1=u_{k_1}; u_2=u_{k_2}; \cdots u_N=u_{k_N})=\prod_{i=1}^N\frac{p(u_i=u_{k_i}|\theta_c)}{p(u_i=u_{k_i})}p(\theta_c)$$

en donde $\theta_c$ es una cualquiera de las C clases; $p(u_i=u_{k_i}|\theta_c)$ es la probabilidad condicionada de que un alumno de la clase $\theta_c$ elija precisamente la opción $u_{k_i}$ para la pregunta i-esima; y $p(\theta_c)$ es la probabilidad a priori de esta clase. ⁵⁾. El término $p(u_i=u_{k_i})$ del denominador no es necesario computarlo ya que se sabe que $$\sum_{c=1}^{C}{p(\theta=\theta_c|u_1=u_{k_1}; u_2=u_{k_2}; \cdots u_N=u_{k_N})} = 1$$ por lo que basta con hallar el numerador de esta fórmula para todas las posibles opciones de respuesta y normalizar al final de manera que la suma sea 1.

Siette implementa tambien los modelos clásicos de la TRI basados en variables y funciones continuas considerando para ello una discretización mucho mas fina (100 clases o mas), que es al fin y al cabo el mismo procedimiento que emplean los modelos de cálculo numérico de la TRI en otros sistemas. En concreto Siette puede implementar un modelo de 4 parámetros ⁶⁾, que puede adaptarse fácilmente a los modelos tradicionales en la TRI como son los modelos 3PL, 2PL o 1PL tambien llamado modelo de Rasch.

En estos casos la fórmula anterior se transforma en:$$p(\theta|u_1=u_{k_1}; u_2=u_{k_2}; \cdots u_N=u_{k_N})=\prod_{i=1}^N\frac{p(u_i=u_{k_i}|\theta)}{p(u_i=u_{k_i})}p(\theta)$$ en donde la probabilidad condicionada $p(u_i=u_{k_i}|\theta)$ es ahora una función contínua a la que se denomina curva característica de la respuesta $u_{k_i}$. En el caso general, la pregunta $u_i$ tendrá una curva característica distinta para cada una de las posibles opciones de respuesta, en cuyo caso se dice que se trata de un modelo politómico. Es habitual que para simplificar el modelo se recurra a una sola curva característica correspondiente a la opción de respuesta correcta, tomando como alternativa cualquier otra opción de respuesta, es decir se consideran solo dos opciones de respuesta: correcta o incorrecta (modelo dicotómico) y se define solamente la función correspondiente a la respuesta correcta que se representa como $p(u_i=1|\theta)$ ya que $p(u_i=0|\theta)=1-p(u_i=1|\theta)$ por lo que se usa la representación simplificada de la fómula de Bayes:$$p(\theta|u_1; u_2; \cdots u_N)=\prod_{i=1}^N\frac{p(u_i|\theta)^{u_i}(1-p(u_i|\theta))^{(1-u_i)}}{p(u_i)^{u_i}(1-p(u_i))^{(1-u_i)}}p(\theta)$$

en deonde $u_i$ toma valores 0 o 1 dependiendo de que la respuesta a la pregunta i-esima haya sido correcta o incorrecta. El exponente de los términos del producto indica que en cada caso, dependiendo de la respuesta correcta o incorrecta, se utilizará para el producto la función característica o su inversa.