Tabla de Contenidos
Análisis de preguntas de opción múltiple y respuesta simple
Este tipo de preguntas tiene una única opción de respuesta correcta una o varias incorrectas. Además, el alumno puede optar por dejar la pregunta en blanco lo que se considera otra posible respuesta.
Análisis de la frecuencias de respuesta de cada opción
Siette muestra una barra para cada una de estos casos. Evidentemente la suma de los porcentajes debe ser 100. La opción correcta se muestra en verde, las incorrectas en rojo y la no-respuesta en azul.
Teóricamente lo deseable es que cada una de las opciones de respuesta incorrecta (llamados distractores), tenga una probabilidad de selección parecida. Opciones con muy baja o nula probabilidad de selección por parte del alumno deberían eliminarse de la pregunta o ser sustituidas por otras opciones más atractivas, ya que modifican artificialmente la capacidad de medida del ítem. Por ejemplo, si nadie selecciona determinada opción, quizás por estar mal escrita, la probabilidad de respuesta al azar será mayor de lo esperado puesto que en la práctica el número de opciones reales es menor que el número de opciones que muestra la pregunta.
En general, en este tipo de preguntas las opciones de respuesta no suelen ser equiprobable pero resultan admisibles. Sin embargo, se dan casos en los que alguna de las opciones de respuesta nunca se seleccionan. Si esto ocurre se deberían eliminar. Para ello basta con borrar la opción de respuesta en la pestaña “Contenido” y “Guardar cambios”. Si algún alumno hubiera contestado con esta opción, la respuesta se borraría, quedando por tanto asignada su respuesta a la opción de no-respuesta. En el caso de los demás alumnos, en principio no habría cambios, salvo que su respuesta fuese incorrecta y hubieran seleccionado alguna otra opción, ya que, por ejemplo, si antes la pregunta contaba con cuatro opciones y ahora solo tuviera tres, la penalización por fallo, en caso de que se calculase de forma automática, pasaría de -0.33 a -0.25. Al modificar la pregunta, por ejemplo eliminando una opción, Siette añade un icono de advertencia cuando presenta el listado de la sesión.
Con este tipo de histogramas tambien es posible detectar preguntas que no cumplen su función, ya sea porque son demasiado fáciles (todos los alumnos seleccionan la opción correcta, o al contrario (ningún alumno selecciona la opción correcta). En este segundo caso existen mejores formas de determinar posibles problemas con las opciones de respuesta, quizás la seleccionada como opción correcta no lo es. El primer paso consiste en analizar la distribución según el nivel de conocimiento del alumno.
Análisis de la frecuencias de respuesta según el nivel de conocimiento
Los datos de los histogramas vistos en la sección anterior son datos globales, independientes del nivel de conocimiento estimado del alumno, es decir no distinguen si las opciones de respuesta fueron seleccionadas por alumnos con mayor o menor nivel. Sin embargo, este es un aspecto muy importante, especialmente de cara a determinar si las opciones de respuesta son correctas.
Siette muestra en la pestaña “Analizador” de la sección Preguntas la distribución del número de alumnos que han seleccionado cada una de las opciones según su nivel de conocimiento estimado, entendiendo como tal la discretización de la nota alcanzada en el test en el que intervino esta pregunta entre los posibles niveles de conocimiento de la asignatura. Se presentan dos histogramas, el primero de ellos con los datos de frecuencias absolutas, es decir numero de casos en los que se ha seleccionado cada una de las opciones atendiendo al nivel de conocimiento. El segundo histograma presenta los mismos datos de forma relativa al total de casos en cada nivel, es decir $$frec(r_i, \theta_j)=\frac{n(r_i/\theta_j)}{\sum_i(n(r_i/\theta_j))) }$$ en donde $n(r_i/\theta_j)$ representa el número de alumnos que terminaron el test con el nivel de conocimiento $\theta_j$ y que eligieron la opción de respuesta $r_i$
Al igual que en ocasiones anteriores se usa el color verde para la opción correcta y el rojo para las opciones incorrectas. Puesto que las opciones de respuesta incorrecta son distintas se usa un tono de rojo diferente para cada una de ellas. La respuesta en blanco se muestra en azul. En el histograma de frecuencias relativas la opción correcta siempre está en la parte inferior.
El histograma correspondiente a la respuesta correcta (en verde) representa los valores de lo que en la Teoría de Respuesta al Ítem se denomina Curva Característica Empírica, que según los modelos mas comunes debe tener la forma de una función logística, de hecho estos mismos datos son los que se usan para construir la representación correspondiente.
Es de esperar que la respuesta correcta sea mas frecuente conforme aumenta el nivel de conocimientos estimado del alumno, por lo que la gráfica de frecuencias relativas debe presentar un aspecto similar a la que se muestra en las figuras anteriores. Evidentemente, si hay pocos datos los valores de frecuencias relativas no serán significativos, y pueden esperarse desviaciones mas o menos grandes. En estos casos es mejor recurrir simplemente al primer análisis de opciones sin discriminar por niveles. Tambien es posible modificar el número de niveles de conocimiento de la asignatura y volver a presentar los datos con una discretización no tan fina.
Análisis de los indicadores de las opciones de respuesta
En esta gráfica se muestran para cada uno de las opciones de respuesta los siguientes valores:
- Frecuencia relativa, (equivalente al Indice de dificultad en el caso de una única respuesta correcta)
La principal diferencia es que en esta gráfica la información se muestra separada para cada una de las opciones de respuesta. Los dos primeros datos se han mostrado tambien en las gráficas anteriores.
Tanto el índice de discriminación como la correlación deben ser positivos en el caso de la opción de respuesta correcta, y negativos en el caso de opciones incorrectas o en blanco. Se usa un código de color diferente en cada caso, resaltando en rojo los casos que se salen de esta norma. Es decir, si la discriminación (o la correlación) es positiva de una respuesta correcta, o si la discriminación (o la correlación) es negativa en una respuesta incorrecta, su color es verde; y en otro caso rojo. En el caso de la correlación, si estadísticamente no puede descartarse un valor nulo (al 95% de certeza), se usa el color gris.
Los índices de discriminación y la correlación biserial-puntual, que ayudan a determinar si alguna de las opciones de respuesta no están funcionando adecuadamente. Por ejemplo, en la figura anterior todos los índices y correlaciones indican un comportamiento adecuado de cada una de las opciones. La respuesta correcta presenta una correlación positiva con el nivel de conocimiento, y las respuestas incorrectas una correlación negativa que aunque no significativa estadísticamente, esta avalada a su vez por un índice de discriminación negativo. Esta pregunta puede decirse que esta bien planteada. Por el contrario la siguiente figura muestra una pregunta en la que una de las opciones de respuesta es cuestionable:
En esta imagen la opción con el id 228 tiene una ligera correlación positiva con respecto al nivel de conocimiento alcanzado en el test, es decir, que la selección de esta opción indica un cierto mayor nivel de conocimiento que la selección de cualquiera de las otras opciones. Puesto que la correlación es pequeña y dado que el valor absoluto de alumnos que han elegido esta opción no es muy grande, la conclusión a la que podría llegarse es que esta opción es seleccionada por los alumnos de un nivel medio, pero no por los alumnos de nivel bajo, ni por los de mayor nivel. La pregunta es básicamente correcta y no requiere modificación, ya que los datos correspondientes a la respuesta correcta son buenos.
Un caso diferente es la pregunta cuya gráfica se presenta en la siguiente figura:
En este caso la opción correcta (con id 16262) tiene una correlación negativa con el nivel alcanzado en el test y además hay otra respuesta (con id º6165) tiene a su vez una correlación fuertemente positiva con el nivel de conocimienmto alcanzado en el test. Todo parece indicar que la opción que el profesor ha seleccionado como correcta, pudiera no ser la respuesta correcta a esta pregunta. Sin conocer el fondo de la pregunta se podría concluir que el profesor se equivoco al marcar la opción correcta, ya que si se modifica la pregunta poniendo como correcta esta opción la gráfica se modificará y mostrará la gráfica de una pregunta correcta:
Puede no obstante que la respuesta marcada por el profesor, tras ser reexaminada sea realmente correcta. En este caso la pregunta debe anularse, porque aún siendo correcta desde el punto de vista del profesor, esta claro que no esta funcionando correctamente para cumplir con el objetivo de medir el conocimiento de los alumnos. Lo mejor es reformular esta pregunta, quizás el enunciado es ambiguo, o haya alguna circunstancia que provoque que ni siquiera los alumnos que obtienen buenas calificaciones seann capaces de acertar esta pregunta.