Siette incorpora mecanismos para generar dinámicamente preguntas a partir de plantillas, a las que se denomina preguntas generativas. Este tipo de preguntas, una vez decididos los datos concretos que se usarán, dan lugar a lo que se denomina instancias que son cada una de las preguntas concretas que salen de una misma plantilla.

Para generar una instancia en concreto se utiliza una semilla, es decir un número real aleatorio en el intervalo $[0,1]$. Una vez que la instancia ha sido generada se le asigna un identificador alfanumérico de 32 caracteres, denominado MD5, único para esa instancia, que se obtiene a partir de la combinación de todos los caracteres del enunciado y las respuestas de la instancia.

Dos semillas diferentes pueden dar lugar a una misma instancia. Esto se comprende fácilmente ya que en algunos casos el número de instancias posibles es limitado. Pensemos en una plantilla que propone sumar dos números naturales menores o iguale que 5. La combinación de todos los casos posibles solo generaría un máximo de 25 instancias diferentes. Dado que la semilla es un número aleatorio, algunas instancias se generarán más que otras, pero en muchos casos habrá repeticiones de una misma instancia.

Resulta interesante analizar el comportamiento de las distintas instancias por varias razones:

• Puede darse el caso de que aluna pregunta (instancia) generada a partir de la plantilla no sea correcta. Por ejemplo, supongamos una plantilla que pide hallar la ecuación de un circulo que pasa por tres puntos de coordenadas aleatórias. La plantilla generará una pregunta imposible si los tres puntos resultan estar alineados. En algunos casos, esta circunstancia puede preverse al diseñar la plantilla, pero hay casos en los que en la práctica no es posible o no se han tenido en cuenta estas singularidades.
• Desde el punto de vista psicométrico, es deseable que todas las preguntas que se generen a partir de una misma plantilla tengan un comportamiento parecido, es decir, que si obtuviésemos los parámetros de las curvas características de las instancias, todas ellas fueran las mismas, o al menos similares. En Siette, al usar preguntas generativas por ejemplo dentro de un test adaptativo, o para la evaluación según la TRI, se hace esta hipótesis. Conviene verificar que se cumple a la luz de los datos de respuesta obtenidos.

En la subpestaña Instancias de la pestaña Sesiones se muestra una tabla que contiene todas las instancias que se han generado a partir de una pregunta generativa.

Para cada instancia se muestran los siguientes valores los siguientes valores:

• Identificador alfanumérico, es el que identifica unívocamente a la instancia. ¹⁾
• Frecuencia absoluta, es el número de veces que se ha generado cada instancia en concreto.
• Indice de dificultad. Se muestra en rojo cuando la diferencia entre la dificultad media de la plantilla es diferente significativamente de la dificultad de la instancia. Si la diferencia de las dificultades no es significativa, se muestra en verde, y si no hay suficientes datos para concluir si esta diferencia es significativa, se mostrará en gris.
• Indice de discriminación. Los valores mayores que cero se muestran en verde, y los menores en rojo.
• Correlación biserial-puntual. Los valores significativamente (al 95 % de certeza) mayores que cero se muestan en verde, y los significativamente menores en rojo. Los no significativos se muestran en gris.
• Botón de anulación.

Al igual que en todos los análisis de los indicadores, los datos se muestran de forma numérica y mediante un histograma, que se colorea en verde cuando el valor es el esperado, y en rojo cuando discrepa de lo que cabria esperar.

En este análisis el índice de dificultad de cada instancia se compara con el indice de dificultad medio de todas las instancias. El sistema alerta, mediante un valor en rojo, cuando hay discrepancias estadísticamente significativas al 95 % de certeza entre ambos valores.

En la última columna se calcula la correlación entre la contestación correcta a la pregunta y los resultados globales del test. En este caso se calcula tambien el intervalo de confianza de la medida, y se muestra en gris en caso de que no se alcance el 95 % de certeza. Si alguna instancia mostrase un valor negativo significativamente alto (en rojo), sería un aviso claro de que esa instancia no estaría funcionando adecuadamente.

Los valores que se muestran corresponden al análisis de cada instancia por separado, pero tienen como soporte únicamente los datos de las ocasiones en las que ha aparecido la misma instancia. En la imagen anterior se muestran los datos de una pregunta generativa que se ha usado muchas veces y que ha dado lugar a muchas instancias. Estadísticamente algunas de estas instancias han aparecido suficientes veces como para poder medir los índices de dificultad y discriminación, aunque muchas instancias (la mayoría) solo han aparecido en contadas ocasiones por lo que los datos no serían significativos.

En los casos en los que se crea que una instancia generada no es correcta, puede anularse desplazando el icono de control que aparece a la izquierda. Una instancia anulada se considera como una pregunta no evaluable en aquellas sesiones en las que haya aparecido, es decir, que no contabiliza para la calificación final. Además si se anula una instancia en concreto, ésta no volverá a aparecer en ningún nuevo test, ya que el sistema, antes de proponer la instancia como pregunta al alumno, comprueba que la instancia no este anulada, y si lo está genera otra distinta hasta encontrar alguna que no lo esté. ²⁾

Un caso singular son las preguntas no generativas. En general una pregunta no generativa solo genera una instancia: la propia pregunta. Sin embargo, el mecanismo de generación del identificador alfanumérico es el mismo que para las preguntas generativas.

Basta con que en el enunciado o en las respuestas se modifique un caracter, ya sea un acento, un punto, una coma o un simple espacio en blanco para que el identificador MD5 que se genere sea distinto. Por esta razón una pregunta no generativa puede contener mas de una instancia, cada una de ellas correspondiente a una versión de la pregunta en el momento en el que se presentó al alumno. Es responsabilidad del profesor que las pequeñas modificaciones de una pregunta no la modifiquen en esencia, ya que dejarían de ser válidas las sesiones previamente realizadas.