Análisis de las instancias

Siette incorpora mecanismos para generar dinámicamente preguntas a partir de plantillas, a las que se denomina preguntas generativas. Este tipo de preguntas, una vez decididos los datos concretos que se usarán, dan lugar a lo que se denomina instancias que son cada una de las preguntas concretas que salen de una misma plantilla.

Para generar una instancia en concreto se utiliza una semilla, es decir un número real aleatorio en el intervalo $[0,1]$. Una vez que la instancia ha sido generada se le asigna un identificador alfanumérico de 32 caracteres, denominado MD5, único para esa instancia, que se obtiene a partir de la combinación de todos los caracteres del enunciado y las respuestas de la instancia.

Dos semillas diferentes pueden dar lugar a una misma instancia. Esto se comprende fácilmente ya que en algunos casos el número de instancias posibles es limitado. Pensemos en una plantilla que propone sumar dos números naturales menores o iguale que 5. La combinación de todos los casos posibles solo generaría un máximo de 25 instancias diferentes. Dado que la semilla es un número aleatorio, algunas instancias se generarán más que otras, pero en muchos casos habrá repeticiones de una misma instancia.

Resulta interesante analizar el comportamiento de las distintas instancias por varias razones:

En la subpestaña Instancias de la pestaña Sesiones se muestra una tabla que contiene todas las instancias que se han generado a partir de una pregunta generativa.

Para cada instancia se muestran los siguientes valores los siguientes valores:

Al igual que en todos los análisis de los indicadores, los datos se muestran de forma numérica y mediante un histograma, que se colorea en verde cuando el valor es el esperado, y en rojo cuando discrepa de lo que cabria esperar.

En este análisis el índice de dificultad de cada instancia se compara con el indice de dificultad medio de todas las instancias. El sistema alerta, mediante un valor en rojo, cuando hay discrepancias estadísticamente significativas al 95 % de certeza entre ambos valores.

En la última columna se calcula la correlación entre la contestación correcta a la pregunta y los resultados globales del test. En este caso se calcula tambien el intervalo de confianza de la medida, y se muestra en gris en caso de que no se alcance el 95 % de certeza. Si alguna instancia mostrase un valor negativo significativamente alto (en rojo), sería un aviso claro de que esa instancia no estaría funcionando adecuadamente.

Los valores que se muestran corresponden al análisis de cada instancia por separado, pero tienen como soporte únicamente los datos de las ocasiones en las que ha aparecido la misma instancia. En la imagen anterior se muestran los datos de una pregunta generativa que se ha usado muchas veces y que ha dado lugar a muchas instancias. Estadísticamente algunas de estas instancias han aparecido suficientes veces como para poder medir los índices de dificultad y discriminación, aunque muchas instancias (la mayoría) solo han aparecido en contadas ocasiones por lo que los datos no serían significativos.

En los casos en los que se crea que una instancia generada no es correcta, puede anularse desplazando el icono de control que aparece a la izquierda. Una instancia anulada se considera como una pregunta no evaluable en aquellas sesiones en las que haya aparecido, es decir, que no contabiliza para la calificación final. Además si se anula una instancia en concreto, ésta no volverá a aparecer en ningún nuevo test, ya que el sistema, antes de proponer la instancia como pregunta al alumno, comprueba que la instancia no este anulada, y si lo está genera otra distinta hasta encontrar alguna que no lo esté. 2)

Instancias en preguntas no-generativas

Un caso singular son las preguntas no generativas. En general una pregunta no generativa solo genera una instancia: la propia pregunta. Sin embargo, el mecanismo de generación del identificador alfanumérico es el mismo que para las preguntas generativas.

Basta con que en el enunciado o en las respuestas se modifique un caracter, ya sea un acento, un punto, una coma o un simple espacio en blanco para que el identificador MD5 que se genere sea distinto. Por esta razón una pregunta no generativa puede contener mas de una instancia, cada una de ellas correspondiente a una versión de la pregunta en el momento en el que se presentó al alumno. Es responsabilidad del profesor que las pequeñas modificaciones de una pregunta no la modifiquen en esencia, ya que dejarían de ser válidas las sesiones previamente realizadas.

1)
Esta columna puede aparecer en blanco en el caso en el que la pregunta haya sido usada con anterioridad al año 2020, en el que se implemento este nuevo identificador de instancias
2)
Evidentemente, este mecanismo retrasa la ejecución si el porcentaje de instancias anuladas es alto, aunque si esto sucede, merecería la pena reformular la plantilla