Teoría de respuesta al ítem

La Teoría de Respuesta al Ítem (TRI) se desarrolla a partir de la década de los 60 del siglo XX como respuesta a las limitaciones del modelo basado en la Teoría clásica de los Test (TCT):

El modelo de la TRI requiere algunos supuestos adicionales:

La implementación que Siette hace sobre la TRI se basa en la aplicación de un modelo bayesiano. Dentro del campo de la Inteligencia Artificial, el modelo TRI puede considerarse como una red bayesiana de una sola capa en donde se aplica la fórmula de “Naive Bayes”, que viene dada al asumir que los ítem son independientes entre sí, es decir sus covarianzas son nulas.

La implementación que hace Siette de la TRI puede considerarse como un clasificador bayesiano. Las clases corresponden a una discretización del intervalo $[-\infty,+\infty]$. 3). La clasificación se realiza aplicando la fórmula de Bayes para cada uno de los ítems, teniendo en cuenta la probabilidad condicionada de cada una de las posibles respuestas a la pregunta 4).

Supongamos que hay C clases de niveles de conocimiento a los que denominamos $\theta_1, \theta_2, .. \theta_C$. Supongamos que el test se compone de $N$ preguntas, $u_1, u_2, .. u_N$, cada una de ellas con $J$ opciones de respuesta $u_{1_i}, u_{2_i} .. u_{J_i}$ entre las que el alumno debe elegir una en concreto. Es decir, se representa por $u_i=u_{k_i}$ el suceso que corresponde a que el alumno en la pregunta i-esima haya escogido la opción $k_i$ de respuesta y no cualquier otra de las posibles opciones. Aplicando N veces la regla de Bayes se obtiene:

$$p(\theta=\theta_c|u_1=u_{k_1}; u_2=u_{k_2}; \cdots u_N=u_{k_N})=\prod_{i=1}^N\frac{p(u_i=u_{k_i}|\theta_c)}{p(u_i=u_{k_i})}p(\theta_c)$$

en donde $\theta_c$ es una cualquiera de las C clases; $p(u_i=u_{k_i}|\theta_c)$ es la probabilidad condicionada de que un alumno de la clase $\theta_c$ elija precisamente la opción $u_{k_i}$ para la pregunta i-esima; y $p(\theta_c)$ es la probabilidad a priori de esta clase. 5). El término $p(u_i=u_{k_i})$ del denominador no es necesario computarlo ya que se sabe que $$\sum_{c=1}^{C}{p(\theta=\theta_c|u_1=u_{k_1}; u_2=u_{k_2}; \cdots u_N=u_{k_N})} = 1$$ por lo que basta con hallar el numerador de esta fórmula para todas las posibles opciones de respuesta y normalizar al final de manera que la suma sea 1.

Siette implementa tambien los modelos clásicos de la TRI basados en variables y funciones continuas considerando para ello una discretización mucho mas fina (100 clases o mas), que es al fin y al cabo el mismo procedimiento que emplean los modelos de cálculo numérico de la TRI en otros sistemas. En concreto Siette puede implementar un modelo de 4 parámetros 6), que puede adaptarse fácilmente a los modelos tradicionales en la TRI como son los modelos 3PL, 2PL o 1PL tambien llamado modelo de Rasch.

En estos casos la fórmula anterior se transforma en:$$p(\theta|u_1=u_{k_1}; u_2=u_{k_2}; \cdots u_N=u_{k_N})=\prod_{i=1}^N\frac{p(u_i=u_{k_i}|\theta)}{p(u_i=u_{k_i})}p(\theta)$$ en donde la probabilidad condicionada $p(u_i=u_{k_i}|\theta)$ es ahora una función contínua a la que se denomina curva característica de la respuesta $u_{k_i}$. En el caso general, la pregunta $u_i$ tendrá una curva característica distinta para cada una de las posibles opciones de respuesta, en cuyo caso se dice que se trata de un modelo politómico. Es habitual que para simplificar el modelo se recurra a una sola curva característica correspondiente a la opción de respuesta correcta, tomando como alternativa cualquier otra opción de respuesta, es decir se consideran solo dos opciones de respuesta: correcta o incorrecta (modelo dicotómico) y se define solamente la función correspondiente a la respuesta correcta que se representa como $p(u_i=1|\theta)$ ya que $p(u_i=0|\theta)=1-p(u_i=1|\theta)$ por lo que se usa la representación simplificada de la fómula de Bayes:$$p(\theta|u_1; u_2; \cdots u_N)=\prod_{i=1}^N\frac{p(u_i|\theta)^{u_i}(1-p(u_i|\theta))^{(1-u_i)}}{p(u_i)^{u_i}(1-p(u_i))^{(1-u_i)}}p(\theta)$$

en deonde $u_i$ toma valores 0 o 1 dependiendo de que la respuesta a la pregunta i-esima haya sido correcta o incorrecta. El exponente de los términos del producto indica que en cada caso, dependiendo de la respuesta correcta o incorrecta, se utilizará para el producto la función característica o su inversa.

1)
Por este motivo cuando se aplican la evaluación por puntos o porcentual no se debe hablar de nivel de conocimiento, sino de puntuación
2)
Puesto que Siette se basa en un extenso banco de ítems del que se pueden extraer ítems al azar, para garantizar que este supuesto se cumple en todos los test, se agrega el concepto de “ítem antagonistas”, que viene a indicar a Siette que no debe elegir un ítem si previamente se ha seleccionado otro que sea antagonista. La relación no necesariamente es simetrica, aunque por lo general sí lo es
3)
Por razones históricas el número de clases se fijó en 12, que es actualmente valor por defecto. Actualmente este valor se configura para cada asignatura mediante el parámetro “número de niveles de conocimiento”
4)
Siette utiliza curvas características de cada una de las respuesta posibles respuestas a una pregunta, es decir, un modelo politómico de curvas características, que puede adaptarse a los modelos dicotómicos mas habituales
5)
Normalmente se asume que la probabilidad a priori es la misma para cualquiera de las clases, o bien se estima en función de la población. La influencia de este término en el resultado se va reduciendo conforme aumenta el número de preguntas. Esto implica tambien que se requiera un mínimo de preguntas
6)
añade un cuarto parámetro llamado factor de distracción al modelo 3PL