Este tipo de preguntas se basa en el reconocimiento de la respuesta por medio de patrones. Una misma pregunta puede tener varios patrones de reconocimiento, algunos correctos y otros incorrectos. La única condición es que al menos uno de los patrones sea correcto. Los distintos patrones correctos corresponden a distintas posibles respuestas correctas. Los patrones incorrectos se usan para reconocer respuestas incorrectas pero frecuentes. Además de los patrones correctos e incorrectos que se declaran explícitamente, en cada pregunta existen siempre dos patrones implícitos: el patrón de respuesta incorrecta (que recoge todas aquellas respuestas que no encajan con ninguno de los patrones; y el patrón correspondiente a la respuesta en blanco.

Cuando se trata de preguntas de respuesta libre el análisis de las opciones de respuesta es en realidad el análisis de la frecuencia de cada un o de los patrones.

Siette muestra una barra para cada una de estos casos. Evidentemente la suma de los porcentajes debe ser 100. La opción correcta se muestra en verde, las incorrectas en rojo y la no-respuesta en azul.

Teóricamente lo deseable es que cada una de las opciones de respuesta incorrecta (llamados distractores), tenga una probabilidad de selección parecida. Opciones con muy baja o nula probabilidad de selección por parte del alumno deberían eliminarse de la pregunta o ser sustituidas por otras opciones más atractivas, ya que modifican artificialmente la capacidad de medida del ítem. Por ejemplo, si nadie selecciona determinada opción, quizás por estar mal escrita, la probabilidad de respuesta al azar será mayor de lo esperado puesto que en la práctica el número de opciones reales es menor que el número de opciones que muestra la pregunta.

En general, en este tipo de preguntas las opciones de respuesta no suelen ser equiprobable pero resultan admisibles. Sin embargo, se dan casos en los que alguna de las opciones de respuesta nunca se seleccionan. Si esto ocurre se deberían eliminar. Para ello basta con borrar la opción de respuesta en la pestaña “Contenido” y “Guardar cambios”. Si algún alumno hubiera contestado con esta opción, la respuesta se borraría, quedando por tanto asignada su respuesta a la opción de no-respuesta. En el caso de los demás alumnos, en principio no habría cambios, salvo que su respuesta fuese incorrecta y hubieran seleccionado alguna otra opción, ya que, por ejemplo, si antes la pregunta contaba con cuatro opciones y ahora solo tuviera tres, la penalización por fallo, en caso de que se calculase de forma automática, pasaría de -0.33 a -0.25. Al modificar la pregunta, por ejemplo eliminando una opción, Siette añade un icono de advertencia cuando presenta el listado de la sesión.

Con este tipo de histogramas tambien es posible detectar preguntas que no cumplen su función, ya sea porque son demasiado fáciles (todos los alumnos seleccionan la opción correcta, o al contrario (ningún alumno selecciona la opción correcta). En este segundo caso existen mejores formas de determinar posibles problemas con las opciones de respuesta, quizás la seleccionada como opción correcta no lo es. El primer paso consiste en analizar la distribución según el nivel de conocimiento del alumno.

Los datos de los histogramas vistos en la sección anterior son datos globales, independientes del nivel de conocimiento estimado del alumno, es decir no distinguen si las opciones de respuesta fueron seleccionadas por alumnos con mayor o menor nivel. Sin embargo, este es un aspecto muy importante, especialmente de cara a determinar si las opciones de respuesta son correctas.

Siette muestra en la pestaña “Analizador” de la sección Preguntas la distribución del número de alumnos que han seleccionado cada una de las opciones según su nivel de conocimiento estimado, entendiendo como tal la discretización de la nota alcanzada en el test en el que intervino esta pregunta entre los posibles niveles de conocimiento de la asignatura. Se presentan dos histogramas, el primero de ellos con los datos de frecuencias absolutas, es decir numero de casos en los que se ha seleccionado cada una de las opciones atendiendo al nivel de conocimiento. El segundo histograma presenta los mismos datos de forma relativa al total de casos en cada nivel, es decir $$frec(r_i, \theta_j)=\frac{n(r_i/\theta_j)}{\sum_i(n(r_i/\theta_j))) }$$ en donde $n(r_i/\theta_j)$ representa el número de alumnos que terminaron el test con el nivel de conocimiento $\theta_j$ y que eligieron la opción de respuesta $r_i$

Al igual que en ocasiones anteriores se usa el color verde para la opción correcta y el rojo para las opciones incorrectas. Puesto que las opciones de respuesta incorrecta son distintas se usa un tono de rojo diferente para cada una de ellas. La respuesta en blanco se muestra en azul. En el histograma de frecuencias relativas la opción correcta siempre está en la parte inferior.

El histograma correspondiente a la respuesta correcta (en verde) representa los valores de lo que en la Teoría de Respuesta al Ítem se denomina Curva Característica Empírica, que según los modelos mas comunes debe tener la forma de una función logística, de hecho estos mismos datos son los que se usan para construir la representación correspondiente.

Es de esperar que la respuesta correcta sea mas frecuente conforme aumenta el nivel de conocimientos estimado del alumno, por lo que la gráfica de frecuencias relativas debe presentar un aspecto similar a la que se muestra en las figuras anteriores. Evidentemente, si hay pocos datos los valores de frecuencias relativas no serán significativos, y pueden esperarse desviaciones mas o menos grandes. En estos casos es mejor recurrir simplemente al primer análisis de opciones sin discriminar por niveles. Tambien es posible modificar el número de niveles de conocimiento de la asignatura y volver a presentar los datos con una discretización no tan fina.