¡Esta es una revisión vieja del documento!
Modelos de evaluación
Entendemos por modelos de evaluación el algorimo segun el cuál se obtiene a partir de las respuestas del alumno una estimación de su nivel de conocimientos, ya sea en una escala numérica o en un conjunto de valores en los que se le clasifica.
Dependiendo del tipo de pregunta y del tipo de evaluación se usan distintos parámetros. El siguiente es un cuadro resumen de los valores por defecto. En las siguientes secciones se explica en detalle.
| Respuesta única | Respuesta múltiple | Respuesta libre | |
|---|---|---|---|
| Porcentual | La respuesta es correcta si se ha seleccionado la opción marcada como Correcta | La respuesta es correcta si se ha seleccionado todas las opciones marcadas como Correcta y ninguna de las marcadas como Incorrecta | La respuesta es correcta si encaja con algun patrón marcado como Correcto |
| Por puntos | Si la respuesta es correcta se asigna 1 punto, si es incorrecta se asigna $-\frac{1}{K-1}$, siendo $K$ el número de opciones de la pregunta | Cada opción de respuesta puntúa con $+\frac{1}{K}$ puntos en caso de que la opción sea Correcta y el alumno la seleccione o bien sea Incorrecta y el alumno no la seleccione,; y con $-\frac{1}{K}$ en caso contrario. | Si la respuesta encaja con algún patrón señalado como Correcto se le asigna 1 punto positivo, en otro caso no se asigna ninguna puntuación |
| TRI | La opción de respuesta correcta tiene una curva característica propia, $p(\Theta)$ , las respuestas incorrectas y las respuesta en blanco tienen una curva caractrística $1-p(\Theta)$ | Si la opción seleccionada se corresponde con la corrección propuesta se aplica la curva característica $p(\Theta)$; y si no la complementaria $1-p(\Theta)$ | Si la respuesta corresponde a un patrón correcto se usa la curva característica $p(\Theta)$; y si no la complementaria $1-p(\Theta)$ |
Preguntas de respuesta única
En las preguntas de respuesta única se proponen al alumno varias opciones para que elija una, sabiendo que solo una de las opciones mmostrarda es correcta, y las demás son lo que en la jerga de evaluación se llaman distractores. Las posibles acciones del alumno son elegir una de ellas, o no responder a la pregunta y saltar a la siguiente.
Para la evaluación porcentual está claro que solo seleccionando la respuesta correcta se considera la pregunta como correcta.
En la evaluación por puntos se puede tener en cuenta que el alumno puede seleccionar la opción correcta simplemente por azar. Si suponemos que esto mismo puede ocurrir en otras preguntas similares, y se quiere evitar el efecto del azar de manera que en la evaluación final un alumno que responda al azar obtenga como nota mas probable un 0, hay que descontar puntos en el caso de que la respuesta sea incorrecta, a fin de compensar las respuestas correctas al azar. Por ejemplo, si un test tiene 100 preguntas de tipo verdadero/falso cualquier alumno simplemente por azar acertará un numero considerable de preguntas, cercano a 50 por la ley de los grandes números.
El cálculo es sencillo. Supongamos que todas las preguntas tiene $K$ opciones de respuesta, una sola correcta. La máxima verosimilitud, o caso mas probable es que en un número $N$ suficientemente grande de preguntas el alumno obtenga la respuesta correcta en $K/N$ ocasiones, y la respuesta incorrecta en $(N-K)/N$ ocaciones. Si en cada respuesta correcta ha obtenido 1 punto, y se quiere que la suma final sea 0 para este alumno, habrá que restar $1/(K-1)$ puntos por cada respuesta incorrecta.
Esta corrección lo único que hace es que el valor maximo verosimil de la puntuación sea 0, pero no impide que por efecto del azar sea un poco mayor o incluso menor que 0.
Nótese que esta corrección tambien puede hacerse de otro modo: Considerando el modelo porcentual, es decir, sin descontar ningún punto por las respuestas incorrectas, basta con situar el umbral de conocimiento en un limite superior a 0. En el ejemplo anterior con 100 preguntas de tipo verdadero/falso, este nivel podría situarse en el 50%, es decir, que a los alumnos que obtuviesen esta calificación (o menor) no se les supone conocimiento alguno de la materia.
En el caso de la evaluación por puntos, este mecanismo por defecto asume que las opciones de respuesta son equiprobables, es decir, que un alumno sin conocimiento alguno puede elegir cualquiera de ellas si solo hace una conjetura al azar. Esto no siempre es cierto. Algunas de las opciones de respuesta son claramente inútiles como distractores. Siette permite modificar manualmente los valores asignados tanto a la puntuación de la respuesta correcta como a cada uno de los distractores.
En Siette cada pregunta tiene asociado una puntuacion máxima positiva y una puntuacion máxima negativa. El primer valor corresponde al valor obtenido con la respuesta correcta, y el segúndo al máximo del valor asignado a cualquiera de los distractores. Asi por ejemplo una pregunta podría asignar como puntuación maxima