¡Esta es una revisión vieja del documento!
Tabla de Contenidos
Criterios de evaluación
Se entiende por criterio de eavlaución el algoritmo por el cual a partir de las respuestas del alumno, dependiendo de las opciones de respuestas elegidas, se obtiene una calificación o nivel de conocimiento estimado.
Siette utiliza tres clases de modelos, con algunas variantes para cada uno de ellos:
Evaluación porcentual
Es el método más simple, se basa en contar el número de preguntas que han sido contestadas correctamente y dividir por el número total de preguntas. En este caso las preguntas no admiten crédito parcial, es decir, cada pregunta o bien es correcta o incorrecta, pero no puede considerarse parcialmente correcta.
Desde el punto de vista de la evaluación porcentual es lo mismo una pregunta que se ha presentado y no se ha respondido que una pregunta planteada y respondida incorrectamente.
Dependiendo del tipo de pregunta la consideración de que una respuesta a una pregunta es correcta o incorrecta será diferente. En general el criterio es que una pregunta se considera correcta si es completamente correcta e incorrecta en otro caso.
Asimismo, el porcentaje de evaluación se establece siempre sobre el total de preguntas planteadas, sin tener en cuenta el mínimo de preguntas del test. Si el test tiene una longitud mayor y algunas preguntas no han llegado a presentarse la evaluación porcentual no tiene en cuenta estas preguntas, solo las preguntas presentadas. En cualquier caso, si la evaluación es porcentual podría hacerse fácilmente la corrección dividiendo el número de preguntas correctas entre el mínimo de preguntas.
Dependiendo del tipo de pregunta la consideración de que una respuesta a una pregunta es correcta o incorrecta será diferente. En general el criterio es que una pregunta se considera correcta si es completamente correcta e incorrecta en otro caso.
Evaluación por puntos
Es un método heurístico, basado en una puntuación asignada a cada pregunta y a cada posible respuesta, (que puede ser positiva en caso de respuesta correcta o parcialmente correcta o negativa, en caso de respuesta incorrecta). Para aplicar este método basta con sumar los puntos obtenidos en cada una de las preguntas y dividir por el número total de puntos que podrían haberse obtenido si todas las preguntas se hubieran contestado correctamente.
En la evaluación por puntos, no siempre es lo mismo una pregunta planteada y no contestada que una pregunta planteada y respondida incorrectamente. En el primero de los casos, la puntuación obtenida sería 0, y en el segundo podría ser negativa.
Por otra parte, si el test establece un mínimo de preguntas, las preguntas no planteadas, (las que falten para alcanzar el mínimo) se considerarán como no respondidas.
En este caso, para obtener la evaluación el procedimiento que se sigue es el siguiente: (1) Contabilizar los puntos obtenidos en las preguntas que se han contestado; (2) Contabilizar el máximo de puntos que podrían haberse obtenido en hasta el momento sumando la puntuación máxima de cada pregunta planteada, Hay que tener en cuenta que no todas las preguntas valen siempre un punto, puede haber algunas que valgan más o menos. (3) Calcular la media de la puntuación máxima por pregunta, es decir dividir el resultado anterior por el número de preguntas planteadas. (4) Estimar la puntuación máxima del test como la puntuación máxima obtenida hasta el momento mas la puntuación media máxima de cada pregunta por el número de preguntas que faltan para obtener el mínimo de preguntas fijado en el test. (5) Dividir la puntuación obtenida por el valor anterior.
Por ejemplo, supongamos que un test tiene un máximo de 20 preguntas y un mínimo de 15, y un limite de tiempo. Supongamos que un alumno solo responde a 10 preguntas, y el test finaliza al alcanzar el limite temporal. Supongamos que en esas 10 preguntas hel alumno ha obtenido una puntuación de 12 puntos de un total de 18 puntos posibles. (El test debe tener una o varias pregunta que valgan mas de un punto). La puntuación media máxima del test es 1,8 puntos por pregunta. Puesto que el alumno no ha alcanzado el mínimo, se supone que ha dejado 5 preguntas sin responder, en las que podría haber obtenido 1,8 puntos en cada una de ellas. Por consiguiente su nota es 12/(1,8*15) = 12/27 = 0.44 (sobre 1)
Evaluación por puntos sin penalización
Una variante de este método consiste en aplicar el método de evaluación por puntos pero no aplicar nunca la puntuación negativa en caso de fallo, es decir todas las opciones de respuesta incorrectas puntuarán como 0. Por consiguiente todas las preguntas tendrán una puntuación positiva.
En el caso en el que todas las preguntas valen 1 punto, este étodo se asemeja al metodo de evaluación porcentual, pero es capaz de asignar crédito parcial a las preguntas parcialmente correctas, por ejemplo las preguntas de respuesta múltiple.
Evaluación basada en la Teoría de respuesta al Ítem
Siette implementa la Teoría de Respuesta al Ítem paramétrica, tambien llamada “Contínua” y no-paramtrica o “Discreta”. pudiendo pasar de una a otra mediante aproximaciones.
El modelo de la TRI discreta es en definitiva un clasificador bayesiano, en el que se parte de una distribución a priori del nivel de conocimiento estimado del alumno $\theta$ en un instante $t$, $$p(\theta,t) = \{ p_0, p_1, p_2, p_3 .... p_K \}$$ para los $K$ niveles de conocimiento.
Pra cada opción de respuesta $j$, se usan unas funciones llamadas curvas características asociadas a cada una de las opciones de respuesta, $ICC_j(u_j|\theta)$ que indican la probabilidad de elegir la opción $u_j$ dependiendo del nivel de conocimientos $\theta$ del alumno. Estas funciones permiten calcular la distribución del nivel a posteriori simplemente aplicando la regla de Bayes.
$$p(\theta, t+1) = p(\theta|u_j) = \frac{p(\theta) ICC_j(u_j|\theta)}{\sum_{i=0}^{K}p(\theta_i) ICC_j(u_j|\theta_i)}$$
en donde el denominador no es mas que un factor de normalización para que la suma de todas las probabilidades sea 1.
Una ve obtenida la distribución se puede estimar el nivel de conocimiento como un número real para poder dar una calificación del alumno en una escala determinada. Para ello hay dos formas:
Estimación mediante la media aritmética
Para una distribución $p(\theta) = \{ p_0, p_1, p_2, p_3 .... p_K \}$ el nivel estimado sería $$\hat\theta = \overline\theta = \frac{ \sum_{i=0}^{K} p_i }{K+1}$$
Estimación mediante la noda
Una alternativa a la media para estimar el nivel estimado es usar la moda de la distribución, que siempre es un valor entero y coincide con el valor de máxima verosimilitud de la dsitribución: $$\hat\theta = \theta_k = \max_{i=0}^{K} p_i $$