Siette incorpora mecanismos para generar dinámicamente preguntas a partir de plantillas, a las que se denomina preguntas generativas. Este tipo de preguntas, una vez decididos los datos concretos que se usarán, dan lugar a lo que se denomina instancias que son cada una de las preguntas concretas que salen de una misma plantilla.

Para generar una instancia en concreto se utiliza una semilla, es decir un número real aleatorio en el intervalo $[0,1]$. Una vez que la instancia ha sido generada se le asigna un identificador alfanumérico de 32 caracteres, denominado MD5, único para esa instancia, que se obtiene a partir de la combinación de todos los caracteres del enunciado y las respuestas de la instancia.

Dos semillas diferentes pueden dar lugar a una misma instancia. Esto se comprende fácilmente ya que en algunos casos el número de instancias posibles es limitado. Pensemos en una plantilla que propone sumar dos números naturales menores o iguale que 5. La combinación de todos los casos posibles solo generaría un máximo de 25 instancias diferentes. Dado que la semilla es un número aleatorio, algunas instancias se generarán mas que otras, pero en muchos casos habrá repeticiones de una misma instancia.

Resulta interesante analizar el comportamiento de las distintas instancias por varias razones:

• Puede darse el caso de que aluna pregunta (instancia) generada a partir de la plantilla no sea correcta. Por ejemplo, supongamos una plantilla que pide hallar la ecuación de un circulo que pasa por tres puntos de coordenadas aleatórias. La plantilla generará una pregunta imposible si los tres puntos resultan estar alineados. En algunos casos, esta circunstancia puede preverse al diseñar la plantilla, pero hay casos en los que en la práctica no es posible o no se han tenido en cuenta estas singularidades.
• Desde el punto de vista psicométrico, es deseable que todas las preguntas que se generen a partir de una misma plantilla tengan un comportamiento parecido, es decir, que si obtuviésemos los parámetros de las curvas características de las instancias, todas ellas fueran las mismas, o al menos similares. En Siette, al usar preguntas generativas por ejemplo dentro de un test adaptativo, o para la evaluación según la TRI, se hace esta hipótesis. Conviene verificar que se cumple a la luz de los datos de respuesta obtenidos.

En la subpestaña Instancias de la pestaña Sesiones se muestra una tabla que contiene todas las instancias que se han generado a partir de una pregunta generativa.

Para cada instancia se muestran los siguientes valores los siguientes valores:

• Identificador alfanumérico, es el que identifica unívocamente a la instancia. ¹⁾
• Frecuencia absoluta, es el número de veces que se ha generado cada instancia en concreto.
• Indice de dificultad.
• Indice de discriminación
• Correlación biserial-puntual.
• Botón de anulación.

Al igual que en todos los análisis de los indicadores, los datos se muestran de forma numérica y mediante un histograma, que se colorea en verde cuando el valor es el esperado, y en rojo cuando discrepa de lo que cabria esperar. Por ejemplo, indices de discriminación negativos. En la última columna se calcula la correlación entre la contestación correcta a la pregunta y los resultados globales del test. En este caso se calcula tambien el intervalo de confianza de la medida, y se muestra en gris en caso de que no se alcance el 95 % de certeza.

Los valores que se muestran corresponden al análisis de cada instancia por separado, pero tienen como soporte únicamente los datos de las ocasiones en las que ha aparecido la misma instancia. En la imagen anterior se muestran los datos de una pregunta generativa que se ha usado muchas veces y que ha dado lugar a muchas instancias. Estadisticamente algunas de estas instancias han aparecido suficientes veces como para poder medir los índices de dificultad y discriminación, aunque muchas instancias (la mayoría) solo han aparecido en contadas ocasiones por lo que los datos no serían significativos.

En los casos en los que se crea que una instancia generada no es correcta, puede anularse desplazando el icono de control que aparece a la izquierda. Una instancia anulada se considera como una pregunta no evaluable en aquellas sesiones en las que haya aparecido, es decir, que no contabiliza para la calificación final. Además si se anula una instancia en concreto, ésta no volvera a aparecer en ningún nuevo test, ya que el sistema, antes de proponer la instancia como pregunta al alumno, comprueba que la instancia no este anulada, y si lo está genera otra distinta hasta encontrar alguna que no lo esté. ²⁾

Un caso singular son las preguntas no generativas. En general una pregunta no generativa solo genera una instancia: la propia pregunta. Sin embargo, el mecanismo de generación del identificador alfanumérico es el mismo que para las preguntas generativas.

Basta con que en el enunciado o en las respuestas se modifique un caracter, ya sea un acento, un punto, una coma o un simple espacio en blanco para que el identificador MD5 que se genere sea distinto. Por esta razón una pregunta no generativa puede contener mas de una instancia, cada una de ellas correspondiente a una versión de la pregunta en el momento en el quese presento al alumno. Es responsabilidad del profesor que las pequeñas modificaciones de una pregunta no la modifiquen en esencia, ya que dejarían de ser válidas las sesiones previamente realizadas.