Diferencias

Muestra las diferencias entre dos versiones de la página.

--- es:manual:analisis:items:graficas:respuesta_libre [2023/03/08 08:24] – root
+++ es:manual:analisis:items:graficas:respuesta_libre [2023/06/04 22:07] (actual) – [Análisis de la frecuencias según el nivel de conocimiento] root
@@ Línea 1: / Línea 1: @@
-====? Análisis de preguntas de respuesta libre =====
+==== Análisis de preguntas de respuesta libre =====
-Este tipo de preguntas se basa en el reconocimiento de la respuesta por medio de [[patrones]]. Una misma pregunta puede tener varios patrones de reconocimiento, algunos correctos y otros incorrectos. La única condición es que al menos uno de los {{patrones]] sea correcto. Los distintos patrones correctos corresponden a distintas posibles respuestas correctas. Los patrones incorrectos se usan para reconocer respuestas incorrectas pero frecuentes. Además de los patrones correctos e incorrectos que se declaran explícitamente, en cada pregunta existen siempre dos patrones implícitos: el patrón de respuesta incorrecta (que recoge todas aquellas respuestas que no encajan con ninguno de los patrones; y el patrón correspondiente a la respuesta en blanco.
+Este tipo de preguntas se basa en el reconocimiento de la respuesta por medio de [[es:manual:items:patrones]]. Una misma pregunta puede tener varios patrones de reconocimiento, algunos correctos y otros incorrectos. La única condición es que al menos uno de los [[es:manual:items:patrones]] sea correcto. Los distintos patrones correctos corresponden a distintas posibles respuestas correctas. Los patrones incorrectos se usan para reconocer respuestas incorrectas pero frecuentes. Además de los patrones correctos e incorrectos que se declaran explícitamente, en cada pregunta existen siempre dos patrones implícitos: el patrón de respuesta incorrecta (que recoge todas aquellas respuestas que no encajan con ninguno de los patrones; y el patrón correspondiente a la respuesta en blanco.
 Cuando se trata de preguntas de respuesta libre el análisis de las opciones de respuesta es en realidad el análisis de la frecuencia de cada un o de los patrones.
-==== Análisis de la frecuencias de cada patrón =====
+==== Análisis de la frecuencias de cada patrón ====
-En este caso el histograma de frecuencia de respuestas de cada patrón se compone de dos barras, una verde para la //respuesta correcta// y otra roja para la //respuesta incorrecta//. Si la //opción es correcta//, es decir el alumno debia marcarla, la barra verde estará abajo, y si la //opción es incorrecta// la barra inferior será roja. En uno u otro caso el volumen verde representa acierto y el volumen rojo representa fallo.
+Siette muestra una barra para cada una de estos casos. Evidentemente la suma de los porcentajes debe ser 100. Los patrones correctos se muestran en verde, los incorrectos en rojo y el patrón de respuesta en blanco en azul.
-{{ es:manual:analisis:mcqm-frec-abs.png?400|}}
+{{ es:manual:analisis:rl-frec-abs.png?400|}}
-Finalmente en el mismo gráfico puede aparecer una barra en azul en la parte la derecha, normalmente con una frecuencia nula o muy baja, indicando la combinación correspondiente a dejar todas las opciones en blanco.
+Los porcentajes de cada respuesta, a diferencia de las [[es:manual:items:tiposbasicos:respuesta_unica|preguntas de múltiple opción]] son completamente independientes, ya que cada patrón representa un conjunto de respuestas diferentes. Sin embargo, a la vista de las frecuencias de respuesta, y especialmente a la vista de las respuestas que encajan con cada patrón, podría ser interesante modificar los patrones.
-A diferencia de los histogramas de las preguntas de opción múltiple y respuesta única, el análisis de las opciones de respuesta se efectúa opción por opción y no por la respuesta combinada, por lo que las frecuencias que se muestran son relativas a cada opción. ((Es por esto que este tipo de preguntas se denominan preguntas de múltiple opción y de respuesta múltiple //independiente//. Por el momento no se han implementado en Siette las preguntas de respuesta múltiple //dependientes// en las que solo se considerarían correctas las respuestas con cierta combinación de opciones. Sin embargo, puede conseguirse algo parecido utilizando el modo de evaluación porcentual, ya que en este caso la pregunta puntuaría como verdadera o falsa en su conjunto. En el caso de evaluación por puntos la evaluación depende de cada una de las opciones de forma independiente)).
+Con este tipo de histogramas tambien es posible detectar preguntas que no cumplen su función, ya sea porque son demasiado fáciles (todas las respuestas encajan con un patrón correcto), o al contrario (todas las respuestas encajan con un patrón incorrecto). En estos casos conviene analizar las respuestas y determinar si el patrón esta funcionando correctamente.
-Al igual que en el análisis de frecuencias de las opciones de respuesta en las preguntas de respuesta única, debería controlarse que no haya opciones con unos valores excesivamente altos o bajos en su frecuencia de acierto o fallo, ya que en este caso esas opciones deberían eliminarse.
+Para visualizar las respuestas que encajan con cada patrón hay que acceder a la subpestaña [[es:help_items_sessions#Selección por respuestas|Selección por respuestas]] de la pestaña [[es:help_items_sessions|Sesiones]] de la sección de [[es:help_items|Preguntas]], que muestra para cada una de las respuestas literales de los alumnos, el patrón que se ha asignado como respuesta y la frecuencia absoluta de cada una de las respuestas literales. Puede ocurrir que respuestas de los alumnos que podrían considerarse  correctas no encajen con ninguno de los patrones definidos como  patrones correctos. En ese caso será necesario modificar el patron o bien añadir nuevos patrones. Igualmente, si se detecta que alguna respuesta literal se repite con frecuencia, aun siendo incorrecta, podría ser conveniente establecer un patrón de reconocimiento para esa o esas respuestas de manera que se pueda asignar un refuerzo especifico a esta clase de respuestas.
-==== Análisis de la frecuencias de respuesta según el nivel de conocimiento =====
+Si se modifican los patrones una vez que las preguntas ya han sido planteadas y respondidas por un conjunto de alumnos, de ahi en adelante los patrones se aplicarán, pero las respuestas que se hayan dado a esa pregunta habrán sido asignadas aluno de los patrones anteriores, y esta asignación no se modificará automáticamente. Para hacerlo será necesario volver a corregir todas las sesiones anteriores. Para ello hay que realizar la [[es:help_items_sessions#Acciones|acción]] de **Volver a corregir**, en la pestaña [[es:help_items_sessions|Sesiones]] de la [[es:help_items|pregunta]]; o bien de utilizar la [[es:help_test_sessions#Acciones|acción]] **Volver a corregir** de la pestaña [[es:help_test_sessions|Sesiones]] en cada uno de los [[es:help_test|test]] en los que haya intervenido la pregunta.
-Los datos de los histogramas vistos en la sección anterior son datos globales, independientes del nivel de conocimiento estimado del alumno, es decir no distinguen si las opciones de respuesta fueron seleccionadas por alumnos con mayor o menor nivel. Sin embargo, este es un aspecto muy importante, especialmente de cara a determinar si las opciones de respuesta son coherentes.
-{{es:manual:analisis:mcqm-frec-abs-nivel.png?400 |}}
-{{es:manual:analisis:mcqm-frec-rel-nivel.png?400 |}}
-Siette muestra en la pestaña "Analizador" de la sección Preguntas la distribución del número de alumnos que han seleccionado cada una de las opciones según su nivel de conocimiento estimado, entendiendo como tal la discretización de la nota alcanzada en el test en el que intervino esta pregunta entre los posibles niveles de conocimiento de la asignatura. Se presentan dos histogramas, el primero de ellos con los datos de frecuencias absolutas, es decir numero de casos en los que se ha seleccionado cada una de las opciones atendiendo al nivel de conocimiento. El segundo histograma presenta los mismos datos de forma relativa al total de casos en cada nivel, es decir $$frec(r_i, \theta_j)=\frac{n(r_i/\theta_j)}{\sum_i(n(r_i/\theta_j))) }$$ en donde $n(r_i/\theta_j)$ representa el número de alumnos que terminaron el test con el nivel de conocimiento $\theta_j$ y que eligieron la opción de respuesta $r_i$.
-En este tipo de preguntas puede haber varias //opciones correctas// y //opciones incorrectas//. Las primeras se representan en distintos tonos de verde y las segundas en distintos tonos de rojo. Tanto en las frecuencias absolutas como en las relativas las barras representan el número de alumnos que han seleccionad esa opción. Se ha incluido además una barra azul adicional para representar el caso en el que el alumno no haya seleccionado ninguna opción.
+==== Análisis de la frecuencias según el nivel de conocimiento =====
-Es de esperar que conforme aumenta el nivel de conocimiento del alumno la frecuencia de selección de las //opciones incorrectas// (en rojo) disminuya, aumentando la frecuencia relativa asociada a las //opciones correctas// (en verde)
+Los datos de los histogramas vistos en la sección anterior son datos globales, independientes del nivel de conocimiento estimado del alumno, es decir no distinguen si los patrones de respuesta fueron seleccionadas por alumnos con mayor o menor nivel. Sin embargo, este es un aspecto muy importante, especialmente de cara a determinar si los patrones de respuesta son correctos.
-en cualquier caso, debe prestarse atención al valor absoluto del número de casos en cada uno de los niveles de conocimiento ya que si hay pocos alumnos en un nivel las gráficas de frecuencias relativas no serán significativas.
-==== Casos especiales ====
+{{es:manual:analisis:rl-frec-abs-nivel.png?400 |}}
+{{es:manual:analisis:rl-frec-rel-nivel.png?400 |}}
- En las preguntas de respuesta múltiple hay dos casos especiales. Cuando todas las opciones son correctas, y cuando todas las opciones son incorrectas:
+Siette muestra en la pestaña [[es:help_items_analyzer|Analizador]] de la sección [[es:help_items|Preguntas]] la distribución del número de alumnos cuyas respuestas corresponden a cada uno de los patrones, según su nivel de conocimiento estimado, entendiendo como tal la discretización de la nota alcanzada en el test en el que intervino esta pregunta entre los posibles niveles de conocimiento de la asignatura. Se presentan dos histogramas, el primero de ellos con los datos de frecuencias absolutas, es decir numero de casos en los que se ha seleccionado cada una de las opciones atendiendo al nivel de conocimiento. El segundo histograma presenta los mismos datos de forma relativa al total de casos en cada nivel, es decir $$frec(r_i, \theta_j)=\frac{n(r_i/\theta_j)}{\sum_i(n(r_i/\theta_j))) }$$ en donde $n(r_i/\theta_j)$ representa el número de alumnos que terminaron el test con el nivel de conocimiento $\theta_j$ y que eligieron el patrón de respuesta $r_i$
-=== Todas las opciones correctas ====
+Al igual que en ocasiones anteriores se usa el color verde para los patrones correctos y el rojo para los incorrectos. Puesto que puede haber distintas patrones correctos e incorrectos se usan distintos tonos de verde y rojo para diferenciarlos. La respuesta en blanco se muestra en azul. En el histograma de frecuencias relativas los patrones correctos siempre están en la parte inferior.
-{{es:manual:analisis:mcqm-frec-abs-nivel-todas.png?400 |}}
+El histograma correspondiente los patrones correctos (en verde) representan los valores de lo que en la Teoría de Respuesta al Ítem se denomina Curva Característica Empírica, que según los modelos mas comunes debe tener la forma de una función logística, de hecho estos mismos datos son los que se usan para construir la representación correspondiente.
-{{es:manual:analisis:mcqm-frec-rel-nivel-todas.png?400 |}}
-En el primer caso, todas las opciones aparecen en verde y por tanto no hay forma de saber realmente cuál es la proporción de aciertos en cada uno de los niveles. La única indicación alternativa es la frecuencia de la denominada //respuesta en blanco//, es decir cuando el alumno no selecciona ninguna de las opciones de respuesta. Puesto que en este caso singular debía haberlas seleccionado todas, esta frecuencia corresponde a un fallo total, pero no representa bien los fallos parciales. El único indicador que es algo mas representativo es la distinta frecuencia de selección de cada una de las opciones. En principio, al ser todas las opciones correctas, lo deseable es que tengan la misma frecuencia de selección.
+Es de esperar que la respuesta correcta sea mas frecuente conforme aumenta el nivel de conocimientos estimado del alumno, por lo que la gráfica de frecuencias relativas debe presentar un aspecto similar a la que se muestra en las figuras anteriores. Evidentemente, si hay pocos datos los valores de frecuencias relativas no serán significativos, y pueden esperarse desviaciones mas o menos grandes. En estos casos es mejor recurrir simplemente al primer análisis de opciones sin discriminar por niveles. Tambien es posible modificar el número de niveles de conocimiento de la asignatura y volver a presentar los datos con una discretización no tan fina.
-=== Todas las opciones incorrectas ===
-{{es:manual:analisis:mcqm-frec-abs-nivel-ninguna.png?400 | }}
+==== Análisis de los indicadores de cada patrón =====
-{{es:manual:analisis:mcqm-frec-rel-nivel-ninguna.png?400 | }}
-Por otra parte, el caso en el que ninguna de las opciones es correcta tambien presenta problemas en esta representación. En este caso lo deseable es que el alumno no haya seleccionado ninguna de las opciones de respuesta, por lo que a mayor nivel de conocimiento la barra azul debería ocupar un espacio mayor.
+{{ es:manual:analisis:rl-frec-indicadores.png?600 |}}
+En esta gráfica se muestran //para cada uno de los patrones// de respuesta los siguientes valores:
+   * [[#Análisis de la frecuencias de cada patrón|Frecuencia absoluta]].
+   * [[#Análisis de la frecuencias según el nivel de conocimiento|Frecuencia relativa]], (equivalente al [[es:manual:analisis:items:indicadores#Indice de dificultad]] en el caso de una única respuesta correcta)
+   * [[es:manual:analisis:items:indicadores#Indice de discriminación]]
+   * [[es:manual:analisis:items:indicadores#Correlación biserial-puntual]].
+La principal diferencia es que en esta gráfica la información se muestra separada para cada una de las opciones de respuesta. Los dos primeros datos se han mostrado tambien en las gráficas anteriores.
+Tanto el índice de discriminación como la correlación deben ser positivos en el caso de patrones correctos, y negativos en el caso de patrones incorrectos. Por tanto, se usa un código de color diferente en cada caso, resaltando en rojo los casos que se salen de esta norma. En el caso de la correlación, si estadísticamente no puede descartarse un valor nulo (al 95% de certeza), se usa el color gris.
+Los índices de discriminación y la correlación biserial-puntual, que ayudan a determinar si algunos de los patrones de respuesta no están funcionando adecuadamente. Por ejemplo, en la figura anterior uno de los patrones de respuesta correspondiente a la respuesta con el id 5110625, tiene un índice de discriminación ligeramente positivo, cuando debería ser negativo por lo que se muestra en rojo. La correlación es prácticamente nula, por lo que no es realmente significativa. La interpretación de este caso es simplemente que este patrón de respuesta no es determinante, tanto alumnos con buen nivel, como alumnos con nivel mas bajo ocasionalmente dan respuestas correspondientes a este patrón. No obstante la frecuencia absoluta de ocurrencia de este patrón es baja, por lo que realmente no se puede establecer ninguna conclusión firme.
-Aunque en principio estos casos especiales son posibles en Siette, la práctica de la evaluación desaconseja usarlos ya que en un caso y en otro tienden a confundir al alumno, y por lo que se ha observado las preguntas de respuesta múltiple con todas o ninguna opción correcta suelen tener indicadores psicométricos peores que las demás.