Este tipo de preguntas se basa en el reconocimiento de la respuesta por medio de patrones. Una misma pregunta puede tener varios patrones de reconocimiento, algunos correctos y otros incorrectos. La única condición es que al menos uno de los patrones sea correcto. Los distintos patrones correctos corresponden a distintas posibles respuestas correctas. Los patrones incorrectos se usan para reconocer respuestas incorrectas pero frecuentes. Además de los patrones correctos e incorrectos que se declaran explícitamente, en cada pregunta existen siempre dos patrones implícitos: el patrón de respuesta incorrecta (que recoge todas aquellas respuestas que no encajan con ninguno de los patrones; y el patrón correspondiente a la respuesta en blanco.

Cuando se trata de preguntas de respuesta libre el análisis de las opciones de respuesta es en realidad el análisis de la frecuencia de cada un o de los patrones.

Siette muestra una barra para cada una de estos casos. Evidentemente la suma de los porcentajes debe ser 100. Los patrones correctos se muestran en verde, los incorrectos en rojo y el patrón de respuesta en blanco en azul.

Los porcentajes de cada respuesta, a diferencia de las preguntas de múltiple opción son completamente independientes, ya que cada patrón representa un conjunto de respuestas diferentes. Sin embargo, a la vista de las frecuencias de respuesta, y especialmente a la vista de las respuestas que encajan con cada patrón, podría ser interesante modificar los patrones.

Con este tipo de histogramas tambien es posible detectar preguntas que no cumplen su función, ya sea porque son demasiado fáciles (todas las respuestas encajan con un patrón correcto), o al contrario (todas las respuestas encajan con un patrón incorrecto). En estos casos conviene analizar las respuestas y determinar si el patrón esta funcionando correctamente.

Para visualizar las respuestas que encajan con cada patrón hay que acceder a la subpestaña Selección por respuestas de la pestaña Sesiones de la sección de Preguntas, que muestra para cada una de las respuestas literales de los alumnos, el patrón que se ha asignado como respuesta y la frecuencia absoluta de cada una de las respuestas literales. Puede ocurrir que respuestas de los alumnos que podrían considerarse correctas no encajen con ninguno de los patrones definidos como patrones correctos. En ese caso será necesario modificar el patron o bien añadir nuevos patrones. Igualmente, si se detecta que alguna respuesta literal se repite con frecuencia, aun siendo incorrecta, podría ser conveniente establecer un patrón de reconocimiento para esa o esas respuestas de manera que se pueda asignar un refuerzo especifico a esta clase de respuestas.

Si se modifican los patrones una vez que las preguntas ya han sido planteadas y respondidas por un conjunto de alumnos, de ahi en adelante los patrones se aplicarán, pero las respuestas que se hayan dado a esa pregunta habrán sido asignadas aluno de los patrones anteriores, y esta asignación no se modificará automáticamente. Para hacerlo será necesario volver a corregir todas las sesiones anteriores. Para ello hay que realizar la acción de Volver a corregir, en la pestaña Sesiones de la pregunta; o bien de utilizar la acción Volver a corregir de la pestaña Sesiones en cada uno de los test en los que haya intervenido la pregunta.

Los datos de los histogramas vistos en la sección anterior son datos globales, independientes del nivel de conocimiento estimado del alumno, es decir no distinguen si los patrones de respuesta fueron seleccionadas por alumnos con mayor o menor nivel. Sin embargo, este es un aspecto muy importante, especialmente de cara a determinar si los patrones de respuesta son correctos.

Siette muestra en la pestaña Analizador de la sección Preguntas la distribución del número de alumnos cuyas respuestas corresponden a cada uno de los patrones, según su nivel de conocimiento estimado, entendiendo como tal la discretización de la nota alcanzada en el test en el que intervino esta pregunta entre los posibles niveles de conocimiento de la asignatura. Se presentan dos histogramas, el primero de ellos con los datos de frecuencias absolutas, es decir numero de casos en los que se ha seleccionado cada una de las opciones atendiendo al nivel de conocimiento. El segundo histograma presenta los mismos datos de forma relativa al total de casos en cada nivel, es decir $$frec(r_i, \theta_j)=\frac{n(r_i/\theta_j)}{\sum_i(n(r_i/\theta_j))) }$$ en donde $n(r_i/\theta_j)$ representa el número de alumnos que terminaron el test con el nivel de conocimiento $\theta_j$ y que eligieron el patrón de respuesta $r_i$

Al igual que en ocasiones anteriores se usa el color verde para los patrones correctos y el rojo para los incorrectos. Puesto que puede haber distintas patrones correctos e incorrectos se usan distintos tonos de verde y rojo para diferenciarlos. La respuesta en blanco se muestra en azul. En el histograma de frecuencias relativas los patrones correctos siempre están en la parte inferior.

El histograma correspondiente los patrones correctos (en verde) representan los valores de lo que en la Teoría de Respuesta al Ítem se denomina Curva Característica Empírica, que según los modelos mas comunes debe tener la forma de una función logística, de hecho estos mismos datos son los que se usan para construir la representación correspondiente.

Es de esperar que la respuesta correcta sea mas frecuente conforme aumenta el nivel de conocimientos estimado del alumno, por lo que la gráfica de frecuencias relativas debe presentar un aspecto similar a la que se muestra en las figuras anteriores. Evidentemente, si hay pocos datos los valores de frecuencias relativas no serán significativos, y pueden esperarse desviaciones mas o menos grandes. En estos casos es mejor recurrir simplemente al primer análisis de opciones sin discriminar por niveles. Tambien es posible modificar el número de niveles de conocimiento de la asignatura y volver a presentar los datos con una discretización no tan fina.

En esta gráfica se muestran para cada uno de los patrones de respuesta los siguientes valores:

• Frecuencia absoluta.
• Frecuencia relativa, (equivalente al Indice de dificultad en el caso de una única respuesta correcta)
• Indice de discriminación
• Correlación biserial-puntual.

La principal diferencia es que en esta gráfica la información se muestra separada para cada una de las opciones de respuesta. Los dos primeros datos se han mostrado tambien en las gráficas anteriores.

Tanto el índice de discriminación como la correlación deben ser positivos en el caso de patrones correctos, y negativos en el caso de patrones incorrectos. Por tanto, se usa un código de color diferente en cada caso, resaltando en rojo los casos que se salen de esta norma. En el caso de la correlación, si estadísticamente no puede descartarse un valor nulo (al 95% de certeza), se usa el color gris.

Los índices de discriminación y la correlación biserial-puntual, que ayudan a determinar si algunos de los patrones de respuesta no están funcionando adecuadamente. Por ejemplo, en la figura anterior uno de los patrones de respuesta correspondiente a la respuesta con el id 5110625, tiene un índice de discriminación ligeramente positivo, cuando debería ser negativo por lo que se muestra en rojo. La correlación es prácticamente nula, por lo que no es realmente significativa. La interpretación de este caso es simplemente que este patrón de respuesta no es determinante, tanto alumnos con buen nivel, como alumnos con nivel mas bajo ocasionalmente dan respuestas correspondientes a este patrón. No obstante la frecuencia absoluta de ocurrencia de este patrón es baja, por lo que realmente no se puede establecer ninguna conclusión firme.