Entendemos por modelos de evaluación el algorimo segun el cuál se obtiene a partir de las respuestas del alumno una estimación de su nivel de conocimientos, ya sea en una escala numérica o en un conjunto de valores en los que se le clasifica.

Dependiendo del tipo de pregunta y del tipo de evaluación se usan distintos parámetros. El siguiente es un cuadro resumen de los valores por defecto. En las siguientes secciones se explica en detalle.

En las preguntas de respuesta única se proponen al alumno varias opciones para que elija una, sabiendo que solo una de las opciones mmostrarda es correcta, y las demás son lo que en la jerga de evaluación se llaman distractores. Las posibles acciones del alumno son elegir una de ellas, o no responder a la pregunta y saltar a la siguiente.

Para la evaluación porcentual está claro que solo seleccionando la respuesta correcta se considera la pregunta como correcta.

En la evaluación por puntos se puede tener en cuenta que el alumno puede seleccionar la opción correcta simplemente por azar. Si suponemos que esto mismo puede ocurrir en otras preguntas similares, y se quiere evitar el efecto del azar de manera que en la evaluación final un alumno que responda al azar obtenga como nota mas probable un 0, hay que descontar puntos en el caso de que la respuesta sea incorrecta, a fin de compensar las respuestas correctas al azar. Por ejemplo, si un test tiene 100 preguntas de tipo verdadero/falso cualquier alumno simplemente por azar acertará un numero considerable de preguntas, cercano a 50 por la ley de los grandes números.

El cálculo es sencillo. Supongamos que todas las preguntas tiene $K$ opciones de respuesta, una sola correcta. La máxima verosimilitud, o caso mas probable es que en un número $N$ suficientemente grande de preguntas el alumno obtenga la respuesta correcta en $K/N$ ocasiones, y la respuesta incorrecta en $(N-K)/N$ ocaciones. Si en cada respuesta correcta ha obtenido 1 punto, y se quiere que la suma final sea 0 para este alumno, habrá que restar $1/(K-1)$ puntos por cada respuesta incorrecta.

Esta corrección lo único que hace es que el valor maximo verosimil de la puntuación sea 0, pero no impide que por efecto del azar sea un poco mayor o incluso menor que 0.

Nótese que esta corrección tambien puede hacerse de otro modo: Considerando el modelo porcentual, es decir, sin descontar ningún punto por las respuestas incorrectas, basta con situar el umbral de conocimiento en un limite superior a 0. En el ejemplo anterior con 100 preguntas de tipo verdadero/falso, este nivel podría situarse en el 50%, es decir, que a los alumnos que obtuviesen esta calificación (o menor) no se les supone conocimiento alguno de la materia.

En el caso de la evaluación por puntos, este mecanismo por defecto asume que las opciones de respuesta son equiprobables, es decir, que un alumno sin conocimiento alguno puede elegir cualquiera de ellas si solo hace una conjetura al azar. Esto no siempre es cierto. Algunas de las opciones de respuesta son claramente inútiles como distractores. Siette permite modificar manualmente los valores asignados tanto a la puntuación de la respuesta correcta como a cada uno de los distractores.

En Siette cada pregunta tiene asociado una puntuacion máxima positiva y una puntuacion máxima negativa. El primer valor corresponde al valor obtenido con la respuesta correcta, y el segúndo al máximo del valor asignado a cualquiera de los distractores.

Asi por ejemplo una pregunta podría asignar como puntuación maxima positiva 2.0 puntos y como puntuación máxima negativa 1.0 punto, distribuyendo la puntuación negativa en sus tres distractores de manera asimetrica, a uno de los distractores le asignaria -1.0 y a otro -0.75 y a otro -0.5

Aunque este tipo de modificaciones en las puntuaciones asignadas por defecto puede hacerse, se desaconseja modificar los valores por defecto, ya que no responden a criterior objetivos. Ademas, tengase en cuenta que las preguntas del banco de preguntas pueden reutilizarse en diversos test, por lo que los valores asignados se aplicarán siempre que se use va pregunta.

En el caso de usar la técnica TRI, Siette esta preparado para utilizar una curva diferente para cada tema a los que pertenece la pregunta y para cada una de las opciones de respuesta, e incluso una curva diferente para el caso de respuesta en blanco. Es decir, si una pregunta pertenece al tema Suma, que es subtema del tema Aritmetica que a su vez es subtema del tema Matemáticas, suponiendo que la pregunta tenga $K$ opciones de respuesta, Siette utilizará un conjunto de $(K+1)$ curvas carectaristicas para cada uno de estos tres temas y subtemas. Dependiendo de la respuesta seleccionada el nivel de conocimiento del alumno se estimará como el producto normalizado de la estimación anterior por la curva característica de la respuesta asociada.

El siguiente gráfico muestra las curvas características de una pregunta de opción multiple y respuesta única para un tema concreto. La curva verde corresponde a la respuesta correcta, las rojas a los distractores y la azul a la respuesta en blanco

Ahora bien, determinar las curvas características no es tarea fácil. La imagen anterior corresponde a una estimación empírica de las curvas características a partir de la información obtenida de los resultados de las sesiones. Sobre la distribución de frecuencias de respuesta a la pregunta para cada nivel de conocimiento se ha obtenido una curva característica mediaante interpolación, es decir, para cada nivel de conocimiento (que se obtiene por el resultado del test) se halla el porcentaje de alumnos que han seleccionado esa opción, asi se obtiene una nuvbe de puntos que se interpola mediante una función logístcia. Simplificando, éste sería el primer paso del proceso de calibración basado en el algoritmo EM (Expectantion-Maximization), que se completaría con un proceso iterativo calculando a continuación los nuevos niveles de conocimiento y volviendo a iterar hasta alcanzar un valor estable.

Por otra parte, muchos de los sistemas de calibración existentes utilizan sólo respuestas dicotómicas, es decir, calibran solo una curva característica para la respuesta correcta y otra para el resto de las respuestas, incluida la respuesta en blanco. Si bien es un proceso menos fino que el anterior, en la práctica es mas operativo porque no requieren tantos datos para realizar la calibración. En el caso anterior, tras aplicar un proceso de calibración estandar se obtuvieron las siguientes curvas:

En donde la curva verde corresponde a la respuesta correcta y la que aparece en rojo es la superposición de todas las demas, que al ser la misma no se muestran en la imagen.

En las preguntas de respuesta múltiple se plantean al alumno varias opciones de respuesta de las que debe señalar aquellas que considere correctas. Para cada opción de respuesta solo hay dos posibles acciones o marcarla o no marcarla, ya que el interfaz de respuesta no permte dejar este tipo de preguntas sin responder. No marcar ninguna opción es en si mimo una elección, al igual que marcar todas las opciones. Es importante señalar que las opciones de respuesta se consideran INDEPENDIENTES, es decir, seleccionar una opción una no condiciona seleccionar ninguna otra.

Cada una de las opciones se corrige ademas como correcta o incorrecta si se correspnde con la marca que ha establecido el profesor. Es igualmente correcto marcar una opción que el profesor ha marcado como Correcta, que no marcar una opción que el profesor ha marcado como Incorrecta (es decir, que no ha marcado como Correcta), y viceversa.

La respuesta es correcta si se ha seleccionado todas las opciones marcadas como Correcta y ninguna de las marcadas como Incorrecta. Esta decisión implica que las preguntas de múltiple respuesta tengan pocas probabilidades de ser respondidas correctamente como fruto del azar, ya que para $K$ opciones, la probabilidad de acierto al azar es solo de $1/K^2$, por ejemplo para $K=4$ seria de $1/16 = 0.0625$, un 6,25%.

Al evaluar esta pregunta por puntos, lo que se hace es evaluar cada una de las opciones por separado, asignandole una puntuación positiva de $1/K$ si la respuesta es acertada y de $-1/K$ si no lo es, siendo $K$ el número de opciones. La puntuación total se obtiene sumando los valores de todas las opciones.

Por ejemplo, supongamos la siguiente pregunta de respuesta múltiple, y una respuesta del alumno:

A la vista de los resultados la puntuacón obtenida en esta pregunta es de +0.20 puntos.

Es importante señalar que se asume que las respuestas a cada opción son completamente INDEPENDIENTES, lo que se debe tener en cuenta al plantear la preguntas. Por ejemplo, en el caso anterior la independencia se vería alterada si el enunciado dijera “Señala los tres coloes de la bandera de Francia”, ya que condiciona al alumno a descartar algunas combinaciones.

Como opción por defecto en este tipo de preguntas la puntuacion máxima positiva y la puntuacion máxima negativa valen ambas 1.0 punto, ya que si el alumno acierta todas las opciones obtendría 1.0 punto y si falla todas -1.0 punto.