Esta pestaña muestra información de resumen sobre los datos recogidos en todas las sesiones en las que se ha planteado esta pregunta. Muestra análisis estadísticos comunes en la teoría clásica de test TCT y en la teoría de respuesta al ítem TRI tales como la frecuencia de cada una de las opciones de respuesta, los resultados obtenidos, el tiempo de respuesta, la curva característica de cada opción, etc. Las representaciones serán diferentes dependiendo del tipo de pregunta.

Si no muestra la pestaña Analizador es posible que no haya seleccionado la opción Ver información estadística en las preferencias en Preguntas.

En la parte superior se aparecen tres selectores que modifican el conjunto de datos que se muestran:

• Tema: Toda pregunta en Siete esta asociada a un tema de la jerarquía. Al realizar un test sobre un determinado tema, Siette escoge preguntas de ese tema o de cualquiera de sus subtemas, ya que cada pregunta de un subtema se considera que tambien pertenece al tema antecesor. Por tanto, los resultados obtenidos al realizar la evaluación dependen del tema que se haya seleccionado. Por ejemplo, una misma pregunta sobre el tema Suma podrá exhibir dos comportamientos diferentes si se usa en un test sobre el tema Suma con otras preguntas de ese mismo tema, que si se usa en un test del tema Aritmética que englobe tanto el tema Suma como el tema Resta o Producto. Este selector permite indicar el tema de referencia a la hora de contabilizar los datos de los resultados. Un ejemplo claro son las curvas características, que pueden ser diferentes cuando la pregunta se aplica a un tema en concreto o a alguno de sus temas antecesores.
• Sesiones: Cuando se establecen criterios generales de selección o filtrado de sesiones, este selector permite mostrar alternativamente las sesiones seleccionadas, las no seleccionadas, o todas ellas.
• Tipo de CCI: La Curva Característica del Ítem (CCI) se obtiene mediante un proceso de calibración de los datos obtenidos por un conjunto de alumnos. Dependiendo del modelo, se estimarán uno, dos, tres o más parámetros de una familia de funciones intentando ajustar los resultados al modelo con un mínimo error. Las curvas así obtenidas son las que se usarán para la evaluación. La calibración se mantiene constante desde que se realiza (hasta que explícitamente se modifique). Sin embargo, al realizar nuevas sesiones de evaluación se siguen recogiendo datos empíricos sobre los porcentajes de acierto según cada uno de los niveles de conocimiento, lo que se traduce en una curva característica que puede ser diferente a la anterior. Este selector indica al sistema que muestre una u otra curva. Resulta interesante comparar ambas curvas, ya que si son muy diferentes podríamos concluir que los resultados no se ajustan al modelo, lo que haría necesario volver a calibrar o bien descartar esta pregunta.

Esta dividida en subpestañas, cada una de las cuales da una información diferente, que puede variar dependiendo del tipo de pregunta.

Contiene la estadística descriptiva básica de los resultados del uso de esta pregunta en las evaluaciones

• Tiempo de realización: Corresponde al tiempo empleado en esta pregunta en cada una de las sesiones en las que haya aparecido. En el caso en el que la pregunta aparezca como parte de un testlet es decir, que la interfaz del test muestre varias preguntas a la vez para que el alumno las conteste juntas, el tiempo de respuesta asignado a cada una de las preguntas del testlet es el tiempo total de respuesta del testlet dividido entre el número de preguntas que lo componen.
  • Tiempo mínimo
  • Tiempo medio
  • Tiempo máximo

• Puntuaciones obtenidas: Son las puntuaciones obtenidas en las sesiones en las que ha aparecido esta pregunta. ¹⁾.
  • Puntuación mínima
  • Puntuación media
  • Puntuación máxima

• Sesiones: .
  • Número de sesiones: Es el número total de sesiones en las que ha aparecido esta pregunta.
  • Sesiones completadas: Es el número total de sesiones que han llegado hasta el final en las que ha aparecido esta pregunta.
  • Número de alumnos: Es el número total de alumnos diferentes que se han enfrentado a esta pregunta. Téngase en cuenta que un mismo test podría repetirse varias veces por el mismo alumno, por lo que este número será igual o inferior al número de sesiones.
  • Número de test: Es el número de evaluaciones diferentes en las que se ha usado esta misma pregunta.

Se muestran los histogramas las frecuencias de selección de cada una de las opciones de respuesta de la pregunta. Dependiendo del tipo básico de pregunta se mostrará de distinta forma:

• Preguntas de múltiple opción y respuesta única;

Se muestra una barra por cada una de las opciones, incluyendo como una opción mas la respuesta en blanco. La barra correspondiente a la opción correcta aparece en verde, y las correspondientes a las opciones incorrectas en rojo. La opción de respuesta en blanco se muestra en azul. Sobre cada una de estas barras aparece el porcentaje numérico.

Teóricamente lo deseable es que cada una de las opciones de respuesta incorrecta (llamados distractores), tenga una probabilidad de selección parecida. Opciones con muy baja o nula probabilidad de selección por parte del alumno deberían eliminarse de la pregunta o ser sustituidas por otras opciones más atractivas, ya que modifican artificialmente la capacidad de medida del ítem. Por ejemplo, si nadie selecciona determinada opción, quizás por estar mal escrita, la probabilidad de respuesta al azar será mayor de lo esperado puesto que en la práctica el número de opciones reales es menor que el número de opciones que muestra la pregunta.

• Preguntas de múltiple opción y respuesta múltiple;

Se muestra una barra vertical única para cada una de las opciones de respuesta que pueden seleccionarse. Cada una de las barras es bicolor indícenlo (de abajo a arriba) el porcentaje de respuestas que han señalado esta opción y el porcentaje de respuestas que no la han seleccionado. Si la opción se considera correcta, la primera parte de cada barra estará en verde, y la segunda en rojo. Si por el contrario la opción no debía seleccionarse, la parte inferior se mostrará en rojo ya la superior en verde. En resumen verde indica respuesta correcta y Tojo incorrecta, ya sea por selección u omisión (no seleccionar una opción incorrecta). Finalmente aparece la opción de no respuesta, pero dado que el interfaz no permite dejar en blanco este tipo de preguntas, esta barra indicará siempre un 0%.

• Preguntas de respuesta libre;

En este caso las opciones de respuesta corresponden a los patrones que se hayan definido. Las barras correspondientes a los patrones marcados como correctos se muestran en verde y los demás en rojo. Al menos se habrá define un patrón correcto, y de forma automática un patrón incorrecto correspondiente a cualquier otra respuesta que no encaje con el resto de los patrones. Finalmente si el alumno deja la respuesta en blanco se considera un tercer patrón de no-respuesta, que se muestra mediante una barra azul.

La representación es muy parecida a las A diferencia de las Preguntas de múltiple opción y respuesta única, salvo que en este caso puede haber mas de un patrón correcto, y consiguientemente mas de una barra en verde. Por otra parte, las consideraciones sobre la probabilidad de respuesta de cada una de las opciones no tiene sentido en las preguntas de respuesta libre, ya que la pregunta no se modifica aunque alguno de los patrones no se haya seleccionado nunca, y tampoco es necesario que los patrones se selecciones de forma equiprobable

Se muestran los indicadores básicos de la TCT para cada una de las opciones de respuesta de la pregunta. Dependiendo del tipo básico de pregunta la representación que aparece es ligeramente distinta, ya que puede haber mas de una opción correcta o incorrecta.

En esta tabla se muestra una fila por cada una de las opciones, incluyendo como una opción mas la respuesta en blanco. La imagen corresponde a una pregunta de respuesta libre con varios patrones de respuesta considerados correctos.

La primera columna de cada fila contiene el identificador de la respuesta y un icono que muestra si la opción es correcta (verde), incorrecta(rojo) o corresponde a la respuesta en blanco (azul). La segunda columna muestra la frecuencia absoluta de ocurrencia de cada una de las opciones. La tercera columna, divida en dos muestra de forma numérica y gráfica la frecuencia relativa de selección de esta opción. La cuarta y quinta columna muestran respectivamente el índice de discriminación y la correlación biserial-puntual entre la elección de esta opción y la calificación obtenida como resultado final del test. Ambos indicadores muestran si la opción de respuesta es significativa del conocimiento del alumno. Los alumnos con un mayor nivel de conocimiento deberían seleccionar las opciones correctas con una mayor frecuencia, por lo que las correlaciones deben ser positivas.

En el caso de la correlación el sistema mide tambien el intervalo de confianza (al 95%), que es función del valor obtenido y del número de casos. Si la correlación no es significativa (no puede descartarse que sea nula), la barra aparecerá en gris. Si el valor es positivo y la respuesta es correcta, o bien si la respuesta es incorrecta y la correlación es negativa el valor aparece en verde. Por el contrario, si la respuesta es correcta y la correlación es significativamente negativa o bien es incorrecta y la correlación significativamente es positiva, la barra aparecerá en rojo, indicando que puede haber algun problema con esa opción de respuesta.

Se muestran graficamente y mediante una tabla la frecuencia absoluta de selección de cada una de las opciones de respuesta para cada uno de los niveles de conocimiento de la asignatura.

En el histograma aparecen en distintos tonos de verde las opciones correctas, en disintos tonos de rojo las incorrectas y en azul la respuesta en blanco. La tabla que aparece debajo muestra los valores numéricos, cada fila representa a una de las opciones de respuesta que se representan por identificador y por un icono que indica si son correctas o incorrectas. Las columnas muestran los niveles de conocimiento, que se identifican mediante la marca de clase, (en la fila superior), es decir, el valor medio del intervalo. Por ejemplo en la imagen anterior la escala de la asignatura se establece entre 0 y 100, con 12 niveles de conocimiento. Por tanto el primer nivel comprende los valores entre 0 y $100/12=8,33$ por lo que la marca de clase es $8,33/2=4,17$

Se muestran graficamente y mediante una tabla la frecuencia relativa de selección de cada una de las opciones de respuesta para cada uno de los niveles de conocimiento de la asignatura.

Para construir esta representación para cada uno de los posibles niveles de conocimiento, y para cada una de las opciones de respuesta, se divide el número de casos entre el número total de alumnos que respondieron a esta pregunta y finalizaron la evaluación con ese nivel.

Puesto que el la suma de las frecuencias relativas es 1 para cada nivel, el histograma correspondiente a esta representación tiene todas sus barras verticales de igual tamaño, y la información del porcentaje se muestra mediante colores. La opción u opciones de respuesta correcta se situan en la parte inferior y se muestran en verde. Las opciones de respuesta incorrecta se añaden a continuación en distintos tonos de rojo, según se haya seleccionado una u otra opcion incorrecta. Finalmente sobre ellas aparece en azul el procentaje de respuesta en blanco.

Si nos fijamos solamente en las barras verdes (respuesta correctas), el histograma representa los valores puntuales de lo que se denomina curva característica empirica, a partir de los cuales y mediante el proceso de calibración se consiguen obtener los parámetros de las curvas características.

Téngase en cuenta que si no hay muchos datos, habrá tambien pocas observaciones en cada nivel (ver frecuencias absolutas) lo que conlleva una variabilidad mucho mayor que la esperada teóricamente.

Se muestran gráficamente las curvas características de cada una de las opciones o patrones de respuesta en el caso en el que se hayan calibrado. Si no se han calibrado se muestra la curva característica empírica que es la primera aproximación a la curva característca, es decir el primer paso del proceso de calibración. Esta curva característica empírica se obtiene mediante aproximación logística de tres parámetros, aplicando el método de mínimos cuadrados, de los valores presentados en la tabla de frecuencias relativas.

En el caso en el que se haya calibrado la pregunta, pueden compararse los valores de las curvas empírica y calibrada, modificando el selector que aparece en la parte superior de esta pestaña y que se describe al principio de esta sección.

Al igual que en ocasiones anteriores se usa el código de colores para representar la curva característica de las opciones correctas, incorrectas y respuesta en blanco. Al pie de la tabla aparecen los valores de los parámetros usados en la representación.

Se muestra la función de información de la opción de respuesta corecta, o en caso de que existan varios patrones correctos, la suma de todas las opciones correctas.

Al pie de la gráfica se muestran los valores de la función en los puntos correspondientes a las marcas de clase (Ver descripción anterior).

Se muestra mediante un histograma la distribución de tiempos de respuesta a esta pregunta, asi como una una aproximación a la curva normal extrapolada a partir de estos datos.

Se muestra una tabla con todas las variantes (instancias) que se han presentado de esta pregunta y los indicadores basicos correspondientes a cada una de ellas.

Una misma pregunta puede dar origen a mas de una instancia por varias razones:

1. Preguntas que se han modificado a lo largo del tiempo. Siette solo guarda para cada pregunta su forma actual, es decir, el enunciado y las respuestas tal y como esté actualmente. Puede ocurrir que a lo largo de la vida de una pregunta, el profesor la modifique. Cuando la pregunta se presenta al alumno, Siette asigna en ese instante y mediante una función de codificación, un identificador único que se obtiene a partir de la “suma” de todos los caracteres del enunciado y las respuestas. Si la pregunta cambia, aunque solo sea una letra, una coma o un acento, la función generará un identificador diferente. Si la pregunta no ha cambiado, aunque se presente dos veces el identificador será el mismo. A cada una de estas variantes se les denomina tambien“instancias”.
2. Preguntas generativas. Son preguntas que se obtienen a partir de plantillas, es decir que se generan automáticamente cada vez que se presentan, y que probablemente sean diferentes entre una y otra ocasión. Aún así, el número de posibles instancias que se genera a partir de una misma plantilla no es infinito, ya que depende de la combinación de opciones del patrón. El mecanismo de generación de identificadores únicos asociados a la instancia permite saber si la instancia es la misma o no que la que se generó anteriormente.

El identificador único asociado a la instancia no permte reconstruir la pregunta original, pero si determinar si coincide o no con otra instancia generada anteriormente. Sin embargo, en el caso de las preguntas generativas, Siette tambien guarda para cada instancia un valor semilla a partir del cual puede regenerarse la pregunta que será identifca a la presentada al alumno si la plantilla no ha cambiado.

La tabla repsenta por filas cada una de las instancias generadas a lo largo del uso de esa pregunta.

La primera columna contiene el identificador único de la instancia. Pulsando sobre él se muestra en una ventana emergente la reconstrucción de la instancia.

La segunda columna indica el número de casos en los que se ha generado esta instancia. La tercera, cuarta y quinta columna muestran los principales indicadores psicométricos de la instancia, respecivamente el indice de dificultad, el indice de discriminaciín y la correlación biserial-puntual. Lo deseable es que los parámetros psicometricos de todas ellas sean parecidos. En cualquier caso, téngase en cuenta que si hay pocos datos para una instancia es dificil establecer conclusiones.

La sexta columna contiene un control que permite activar y desactivar instancias, es decir, con este contro se puede indicar a Siette que una instancia generada es incorrecta, en cuyo caso Siette hace dos cosas: (1)anular la pregunta en cuetión de aqeullas sesiones en las que se uso, recalculando consiguientemente la calificación obtenida en esa sesión; y (2) no volver a generar esa instancia en concreto al seleccionar esta pregunta