Tabla de Contenidos
Criterios de evaluación
Se entiende por criterio de eavlaución el algoritmo por el cual a partir de las respuestas del alumno, dependiendo de las opciones de respuestas elegidas, se obtiene una calificación o nivel de conocimiento estimado.
Siette utiliza tres clases de modelos, con algunas variantes para cada uno de ellos:
Evaluación porcentual
Es el método más simple, se basa en contar el número de preguntas que han sido contestadas correctamente y dividir por el número total de preguntas. En este caso las preguntas no admiten crédito parcial, es decir, cada pregunta o bien es correcta o incorrecta, pero no puede considerarse parcialmente correcta.
Asimismo, el porcentaje de evaluación se establece siempre sobre el total de preguntas planteadas. Si el test tiene una longitud mayor y algunas preguntas no han llegado a presentarse la evaluación porcentual no tiene en cuenta estas preguntas, solo las preguntas presentadas.
Desde el punto de vista de la evaluación porcentual es lo mismo una pregunta que se ha presentado y no se ha respondido que una pregunta planteada y respondida incorrectamente.
Dependiendo del tipo de pregunta la consideración de que una respuesta a una pregunta es correcta o incorrecta será diferente. En general el criterio es que una pregunta se considera correcta si es completamente correcta e incorrecta en otro caso.
Evaluación por puntos
Es un método heurístico, basado en una puntuación asignada a cada pregunta y a cada posible respuesta, (que puede ser positiva en caso de respuesta correcta o parcialmente correcta o negativa, en caso de respuesta incorrecta). Para aplicar este método basta con sumar los puntos obtenidos en cada una de las preguntas y dividir por el número totral de puntos que podrían haberse obtenido si todas las preguntas se hubieran contestado correctamente.
En la evaluación por puntos, no siempre es lo mismo una pregunta planteada y no contestada que una pregunta planteada y respondida incorrectamente. En el primero de los casos, la puntuación obtenida sería 0, y en el segundo podria sre negativa.
Por otra parte, si el test establece un mínimo de preguntas, las preguntas no planteadas, (las que falten para alcanzar el mínimo) se considerarán como no respondidas.
Evaluación por puntos sin penalización
Una variante del método de evaluación por puntos consiste en aplicar el método de evaluación por puntos pero no aplicar nunca la puntuación negativa en caso de fallo, es decir todas las opciones de respuesta incorrectas puntuarán como 0. Por consiguiente todas las preguntas tendrán una puntuación positiva.
En el caso en el que todas las preguntas valen 1 punto, este método se asemeja al método de evaluación porcentual, pero es capaz de asignar crédito parcial a las preguntas parcialmente correctas, por ejemplo las preguntas de respuesta múltiple.
Evaluación basada en la Teoría de respuesta al Ítem
Siette implementa la Teoría de Respuesta al Ítem paramétrica, también llamada “Contínua” y no-paramétrica o “Discreta”. pudiendo pasar de una a otra mediante aproximaciones.
El modelo de la TRI discreta es en definitiva un clasificador bayesiano, en el que se parte de una distribución a priori del nivel de conocimiento estimado del alumno $\theta$ en un instante $t$, $$p(\theta,t) = \{ p_0, p_1, p_2, p_3 .... p_K \}$$ para los $K$ niveles de conocimiento.
Pra cada opción de respuesta $j$, se usan unas funciones llamadas curvas características asociadas a cada una de las opciones de respuesta, $ICC_j(u_j|\theta)$ que indican la probabilidad de elegir la opción $u_j$ dependiendo del nivel de conocimientos $\theta$ del alumno. Estas funciones permiten calcular la distribución del nivel a posteriori simplemente aplicando la regla de Bayes.
$$p(\theta, t+1) = p(\theta|u_j) = \frac{p(\theta) ICC_j(u_j|\theta)}{\sum_{i=0}^{K}p(\theta_i) ICC_j(u_j|\theta_i)}$$
en donde el denominador no es mas que un factor de normalización para que la suma de todas las probabilidades sea 1.
Una ve obtenida la distribución se puede estimar el nivel de conocimiento como un número real para poder dar una calificación del alumno en una escala determinada. Para ello hay dos formas:
Estimación mediante la media aritmética
Para una distribución $p(\theta) = \{ p_0, p_1, p_2, p_3 .... p_K \}$ el nivel estimado sería $$\hat\theta = \overline\theta = \frac{ \sum_{i=0}^{K} p_i }{K+1}$$
Estimación mediante la noda
Una alternativa a la media para estimar el nivel estimado es usar la moda de la distribución, que siempre es un valor entero y coincide con el valor de máxima verosimilitud de la distribución: $$\hat\theta = \theta_k = \max_{i=0}^{K} p_i $$