Este tipo de preguntas puede tener varias opciones de respuesta que el alumno debe marcar o no marcar. Se entiende como opción correcta aquella que el alumno debe marcar y como opción incorrecta aquella que el alumno no debe marcar. Por otra parte hablaremos de respuesta correcta si la opción es correcta y el alumno la ha marcado, o bien si la opción es incorrecta y el alumno no la ha marcado; y de respuesta incorrecta en otro caso.

Actualmente, el interfaz de respuesta no permite dejar la pregunta en blanco ya que cada una de las opciones se debe marcar o no marcar, por lo que si se dejan todas las opciones sin marcar en realidad es una mas de las $2^K$ posibles opciones de respuesta de una pregunta con $K$ opciones.

En este caso el histograma de frecuencia de respuestas de cada opción se compone de dos barras, una verde para la respuesta correcta y otra roja para la respuesta incorrecta. Si la opción es correcta, es decir el alumno debia marcarla, la barra verde estará abajo, y si la opción es incorrecta la barra inferior será roja. En uno u otro caso el volumen verde representa acierto y el volumen rojo representa fallo.

Finalmente en el mismo gráfico puede aparecer una barra en azul en la parte la derecha, normalmente con una frecuencia nula o muy baja, indicando la combinación correspondiente a dejar todas las opciones en blanco.

A diferencia de los histogramas de las preguntas de opción múltiple y respuesta única, el análisis de las opciones de respuesta se efectúa opción por opción y no por la respuesta combinada, por lo que las frecuencias que se muestran son relativas a cada opción. ¹⁾.

Al igual que en el análisis de frecuencias de las opciones de respuesta en las preguntas de respuesta única, debería controlarse que no haya opciones con unos valores excesivamente altos o bajos en su frecuencia de acierto o fallo, ya que en este caso esas opciones deberían eliminarse.

Los datos de los histogramas vistos en la sección anterior son datos globales, independientes del nivel de conocimiento estimado del alumno, es decir no distinguen si las opciones de respuesta fueron seleccionadas por alumnos con mayor o menor nivel. Sin embargo, este es un aspecto muy importante, especialmente de cara a determinar si las opciones de respuesta son coherentes.

Siette muestra en la pestaña “Analizador” de la sección Preguntas la distribución del número de alumnos que han seleccionado cada una de las opciones según su nivel de conocimiento estimado, entendiendo como tal la discretización de la nota alcanzada en el test en el que intervino esta pregunta entre los posibles niveles de conocimiento de la asignatura. Se presentan dos histogramas, el primero de ellos con los datos de frecuencias absolutas, es decir numero de casos en los que se ha seleccionado cada una de las opciones atendiendo al nivel de conocimiento. El segundo histograma presenta los mismos datos de forma relativa al total de casos en cada nivel, es decir $$frec(r_i, \theta_j)=\frac{n(r_i/\theta_j)}{\sum_i(n(r_i/\theta_j))) }$$ en donde $n(r_i/\theta_j)$ representa el número de alumnos que terminaron el test con el nivel de conocimiento $\theta_j$ y que eligieron la opción de respuesta $r_i$.

En este tipo de preguntas puede haber varias opciones correctas y opciones incorrectas. Las primeras se representan en distintos tonos de verde y las segundas en distintos tonos de rojo. Tanto en las frecuencias absolutas como en las relativas las barras representan el número de alumnos que han seleccionad esa opción. Se ha incluido además una barra azul adicional para representar el caso en el que el alumno no haya seleccionado ninguna opción.

Es de esperar que conforme aumenta el nivel de conocimiento del alumno la frecuencia de selección de las opciones incorrectas (en rojo) disminuya, aumentando la frecuencia relativa asociada a las opciones correctas (en verde) en cualquier caso, debe prestarse atención al valor absoluto del número de casos en cada uno de los niveles de conocimiento ya que si hay pocos alumnos en un nivel las gráficas de frecuencias relativas no serán significativas.

En las preguntas de respuesta múltiple hay dos casos especiales. Cuando todas las opciones son correctas, y cuando todas las opciones son incorrectas:

En el primer caso, todas las opciones aparecen en verde y por tanto no hay forma de saber realmente cuál es la proporción de aciertos en cada uno de los niveles. La única indicación alternativa es la frecuencia de la denominada respuesta en blanco, es decir cuando el alumno no selecciona ninguna de las opciones de respuesta. Puesto que en este caso singular debía haberlas seleccionado todas, esta frecuencia corresponde a un fallo total, pero no representa bien los fallos parciales. El único indicador que es algo mas representativo es la distinta frecuencia de selección de cada una de las opciones. En principio, al ser todas las opciones correctas, lo deseable es que tengan la misma frecuencia de selección.

Por otra parte, el caso en el que ninguna de las opciones es correcta tambien presenta problemas en esta representación. En este caso lo deseable es que el alumno no haya seleccionado ninguna de las opciones de respuesta, por lo que a mayor nivel de conocimiento la barra azul debería ocupar un espacio mayor.

Aunque en principio estos casos especiales son posibles en Siette, la práctica de la evaluación desaconseja usarlos ya que en un caso y en otro tienden a confundir al alumno, y por lo que se ha observado las preguntas de respuesta múltiple con todas o ninguna opción correcta suelen tener indicadores psicométricos peores que las demás.

En esta gráfica se muestran para cada uno de las opciones de respuesta los siguientes valores:

• Frecuencia absoluta.
• Frecuencia relativa, (equivalente al Indice de dificultad en el caso de una única respuesta correcta)
• Indice de discriminación
• Correlación biserial-puntual.

La principal característica de esta gráfica es que muestra la información separada para cada una de las opciones de respuesta. Los dos primeros datos se han mostrado tambien en las gráficas anteriores.

Tanto el índice de discriminación como la correlación deben ser positivos en el caso de que la opción de respuesta sea correcta, y negativos en el caso de las opciones incorrectas. Se usa un código de color diferente en cada caso, resaltando en rojo los casos que se salen de esta norma. En el caso de la correlación, si estadísticamente no puede descartarse un valor nulo (al 95% de certeza), se usa el color gris.

Los índices de discriminación y la correlación biserial-puntual, ayudan a determinar si alguna de las opciones de respuesta no están funcionando adecuadamente. Por ejemplo, en la figura anterior todos los índices y correlaciones indican un comportamiento adecuado de cada una de las opciones. La respuesta correcta presenta una correlación positiva con el nivel de conocimiento, y las respuestas incorrectas una correlación negativa que aunque no significativa estadísticamente, esta avalada a su vez por un índice de discriminación negativo. Esta pregunta puede decirse que esta bien planteada.

Por el contrario la siguiente figura muestra una pregunta en la que una de las opciones de respuesta es cuestionable. Al ser las opciones de respuesta independientes, si tras reexaminar esta pregunta se decide eliminar esta opción la respuesta a esta pregunta no se vería afectada ya que las opciones de respuesta son independientes.

Sin embargo, tambien puede darse el caso en el que los indicadores de varias de las opciones de respuesta indiquen un mal comportamiento. En este caso es mejor descartar esta pregunta y sustituirla por otra en el que el anunciado y las respuestas sean mas claras. Evidentemente para tomar esta decisión debe tenerse en cuenta el volumen de datos de que se dispone, ya que si la frecuencia absoluta es baja, la decisión no estaría justificada.