Diferencias

Muestra las diferencias entre dos versiones de la página.

--- es:manual:analisis:items:graficas:respuesta_libre [2023/03/08 08:25] – root
+++ es:manual:analisis:items:graficas:respuesta_libre [2023/06/04 22:07] (actual) – [Análisis de la frecuencias según el nivel de conocimiento] root
@@ Línea 1: / Línea 1: @@
-====? Análisis de preguntas de respuesta libre =====
+==== Análisis de preguntas de respuesta libre =====
-Este tipo de preguntas se basa en el reconocimiento de la respuesta por medio de [[patrones]]. Una misma pregunta puede tener varios patrones de reconocimiento, algunos correctos y otros incorrectos. La única condición es que al menos uno de los {{patrones]] sea correcto. Los distintos patrones correctos corresponden a distintas posibles respuestas correctas. Los patrones incorrectos se usan para reconocer respuestas incorrectas pero frecuentes. Además de los patrones correctos e incorrectos que se declaran explícitamente, en cada pregunta existen siempre dos patrones implícitos: el patrón de respuesta incorrecta (que recoge todas aquellas respuestas que no encajan con ninguno de los patrones; y el patrón correspondiente a la respuesta en blanco.
+Este tipo de preguntas se basa en el reconocimiento de la respuesta por medio de [[es:manual:items:patrones]]. Una misma pregunta puede tener varios patrones de reconocimiento, algunos correctos y otros incorrectos. La única condición es que al menos uno de los [[es:manual:items:patrones]] sea correcto. Los distintos patrones correctos corresponden a distintas posibles respuestas correctas. Los patrones incorrectos se usan para reconocer respuestas incorrectas pero frecuentes. Además de los patrones correctos e incorrectos que se declaran explícitamente, en cada pregunta existen siempre dos patrones implícitos: el patrón de respuesta incorrecta (que recoge todas aquellas respuestas que no encajan con ninguno de los patrones; y el patrón correspondiente a la respuesta en blanco.
 Cuando se trata de preguntas de respuesta libre el análisis de las opciones de respuesta es en realidad el análisis de la frecuencia de cada un o de los patrones.
-==== Análisis de la frecuencias de cada patrón =====
+==== Análisis de la frecuencias de cada patrón ====
-Siette muestra una barra para cada una de estos casos. Evidentemente la suma de los porcentajes debe ser 100. La opción correcta se muestra en verde, las incorrectas en rojo y la no-respuesta en azul.
+Siette muestra una barra para cada una de estos casos. Evidentemente la suma de los porcentajes debe ser 100. Los patrones correctos se muestran en verde, los incorrectos en rojo y el patrón de respuesta en blanco en azul.
+{{ es:manual:analisis:rl-frec-abs.png?400|}}
-{{ es:manual:analisis:mcq-frec-abs.png?400|}}
+Los porcentajes de cada respuesta, a diferencia de las [[es:manual:items:tiposbasicos:respuesta_unica|preguntas de múltiple opción]] son completamente independientes, ya que cada patrón representa un conjunto de respuestas diferentes. Sin embargo, a la vista de las frecuencias de respuesta, y especialmente a la vista de las respuestas que encajan con cada patrón, podría ser interesante modificar los patrones.
-{{ es:manual:analisis:mcq-frec-abs-2.png?400|}}
-{{ es:manual:analisis:mcq-frec-abs-3.png?400|}}
-{{ es:manual:analisis:mcq-frec-abs-4.png?400|}}
-Teóricamente lo deseable es que cada una de las opciones de respuesta incorrecta (llamados distractores), tenga una probabilidad de selección parecida. Opciones con muy baja o nula probabilidad de selección por parte del alumno deberían eliminarse de la pregunta o ser sustituidas por otras opciones más atractivas, ya que modifican artificialmente la capacidad de medida del ítem. Por ejemplo, si nadie selecciona determinada opción, quizás por estar mal escrita, la probabilidad de respuesta al azar será mayor de lo esperado puesto que en la práctica el número de opciones reales es menor que el número de opciones que muestra la pregunta.
+Con este tipo de histogramas tambien es posible detectar preguntas que no cumplen su función, ya sea porque son demasiado fáciles (todas las respuestas encajan con un patrón correcto), o al contrario (todas las respuestas encajan con un patrón incorrecto). En estos casos conviene analizar las respuestas y determinar si el patrón esta funcionando correctamente.
-En general, en este tipo de preguntas las opciones de respuesta no suelen ser equiprobable pero resultan admisibles. Sin embargo, se dan casos en los que alguna de las opciones de respuesta nunca se seleccionan. Si esto ocurre se deberían eliminar. Para ello basta con borrar la opción de respuesta en la pestaña "Contenido" y "Guardar cambios". Si algún alumno hubiera contestado con esta opción, la respuesta se borraría, quedando por tanto asignada su respuesta a la opción de no-respuesta. En el caso de los demás alumnos, en principio no habría cambios, salvo que su respuesta fuese incorrecta y hubieran seleccionado alguna otra opción, ya que, por ejemplo, si antes la pregunta contaba con cuatro opciones y ahora solo tuviera tres, la penalización por fallo, en caso de que se calculase de forma automática, pasaría de -0.33 a -0.25. Al modificar la pregunta, por ejemplo eliminando una opción, Siette añade un icono de advertencia cuando presenta el listado de la sesión.
+Para visualizar las respuestas que encajan con cada patrón hay que acceder a la subpestaña [[es:help_items_sessions#Selección por respuestas|Selección por respuestas]] de la pestaña [[es:help_items_sessions|Sesiones]] de la sección de [[es:help_items|Preguntas]], que muestra para cada una de las respuestas literales de los alumnos, el patrón que se ha asignado como respuesta y la frecuencia absoluta de cada una de las respuestas literales. Puede ocurrir que respuestas de los alumnos que podrían considerarse  correctas no encajen con ninguno de los patrones definidos como  patrones correctos. En ese caso será necesario modificar el patron o bien añadir nuevos patrones. Igualmente, si se detecta que alguna respuesta literal se repite con frecuencia, aun siendo incorrecta, podría ser conveniente establecer un patrón de reconocimiento para esa o esas respuestas de manera que se pueda asignar un refuerzo especifico a esta clase de respuestas.
-Con este tipo de histogramas tambien es posible detectar preguntas que no cumplen su función, ya sea porque son demasiado fáciles (todos los alumnos seleccionan la opción correcta, o al contrario (ningún alumno selecciona la opción correcta). En este segundo caso existen mejores formas de determinar posibles problemas con las opciones de respuesta, quizás la seleccionada como opción correcta no lo es. El primer paso consiste en analizar la distribución según el nivel de conocimiento del alumno.
+Si se modifican los patrones una vez que las preguntas ya han sido planteadas y respondidas por un conjunto de alumnos, de ahi en adelante los patrones se aplicarán, pero las respuestas que se hayan dado a esa pregunta habrán sido asignadas aluno de los patrones anteriores, y esta asignación no se modificará automáticamente. Para hacerlo será necesario volver a corregir todas las sesiones anteriores. Para ello hay que realizar la [[es:help_items_sessions#Acciones|acción]] de **Volver a corregir**, en la pestaña [[es:help_items_sessions|Sesiones]] de la [[es:help_items|pregunta]]; o bien de utilizar la [[es:help_test_sessions#Acciones|acción]] **Volver a corregir** de la pestaña [[es:help_test_sessions|Sesiones]] en cada uno de los [[es:help_test|test]] en los que haya intervenido la pregunta.
-==== Análisis de la frecuencias de respuesta según el nivel de conocimiento =====
-Los datos de los histogramas vistos en la sección anterior son datos globales, independientes del nivel de conocimiento estimado del alumno, es decir no distinguen si las opciones de respuesta fueron seleccionadas por alumnos con mayor o menor nivel. Sin embargo, este es un aspecto muy importante, especialmente de cara a determinar si las opciones de respuesta son correctas.
-{{es:manual:analisis:mcq-frec-abs-nivel.png?400 |}}
-{{es:manual:analisis:mcq-frec-rel-nivel.png?400 |}}
-Siette muestra en la pestaña "Analizador" de la sección Preguntas la distribución del número de alumnos que han seleccionado cada una de las opciones según su nivel de conocimiento estimado, entendiendo como tal la discretización de la nota alcanzada en el test en el que intervino esta pregunta entre los posibles niveles de conocimiento de la asignatura. Se presentan dos histogramas, el primero de ellos con los datos de frecuencias absolutas, es decir numero de casos en los que se ha seleccionado cada una de las opciones atendiendo al nivel de conocimiento. El segundo histograma presenta los mismos datos de forma relativa al total de casos en cada nivel, es decir $$frec(r_i, \theta_j)=\frac{n(r_i/\theta_j)}{\sum_i(n(r_i/\theta_j))) }$$ en donde $n(r_i/\theta_j)$ representa el número de alumnos que terminaron el test con el nivel de conocimiento $\theta_j$ y que eligieron la opción de respuesta $r_i$
+==== Análisis de la frecuencias según el nivel de conocimiento =====
-Al igual que en ocasiones anteriores se usa el color verde para la opción correcta y el rojo para las opciones incorrectas. Puesto que las opciones de respuesta incorrecta son distintas se usa un tono de rojo diferente para cada una de ellas. La respuesta en blanco se muestra en azul. En el histograma de frecuencias relativas la opción correcta siempre está en la parte inferior.
+Los datos de los histogramas vistos en la sección anterior son datos globales, independientes del nivel de conocimiento estimado del alumno, es decir no distinguen si los patrones de respuesta fueron seleccionadas por alumnos con mayor o menor nivel. Sin embargo, este es un aspecto muy importante, especialmente de cara a determinar si los patrones de respuesta son correctos.
-El histograma correspondiente a la respuesta correcta (en verde) representa los valores de lo que en la Teoría de Respuesta al Ítem se denomina Curva Característica Empírica, que según los modelos mas comunes debe tener la forma de una función logística, de hecho estos mismos datos son los que se usan para construir la representación correspondiente.
+{{es:manual:analisis:rl-frec-abs-nivel.png?400 |}}
+{{es:manual:analisis:rl-frec-rel-nivel.png?400 |}}
+Siette muestra en la pestaña [[es:help_items_analyzer|Analizador]] de la sección [[es:help_items|Preguntas]] la distribución del número de alumnos cuyas respuestas corresponden a cada uno de los patrones, según su nivel de conocimiento estimado, entendiendo como tal la discretización de la nota alcanzada en el test en el que intervino esta pregunta entre los posibles niveles de conocimiento de la asignatura. Se presentan dos histogramas, el primero de ellos con los datos de frecuencias absolutas, es decir numero de casos en los que se ha seleccionado cada una de las opciones atendiendo al nivel de conocimiento. El segundo histograma presenta los mismos datos de forma relativa al total de casos en cada nivel, es decir $$frec(r_i, \theta_j)=\frac{n(r_i/\theta_j)}{\sum_i(n(r_i/\theta_j))) }$$ en donde $n(r_i/\theta_j)$ representa el número de alumnos que terminaron el test con el nivel de conocimiento $\theta_j$ y que eligieron el patrón de respuesta $r_i$
+Al igual que en ocasiones anteriores se usa el color verde para los patrones correctos y el rojo para los incorrectos. Puesto que puede haber distintas patrones correctos e incorrectos se usan distintos tonos de verde y rojo para diferenciarlos. La respuesta en blanco se muestra en azul. En el histograma de frecuencias relativas los patrones correctos siempre están en la parte inferior.
+El histograma correspondiente los patrones correctos (en verde) representan los valores de lo que en la Teoría de Respuesta al Ítem se denomina Curva Característica Empírica, que según los modelos mas comunes debe tener la forma de una función logística, de hecho estos mismos datos son los que se usan para construir la representación correspondiente.
 Es de esperar que la respuesta correcta sea mas frecuente conforme aumenta el nivel de conocimientos estimado del alumno, por lo que la gráfica de frecuencias relativas debe presentar un aspecto similar a la que se muestra en las figuras anteriores. Evidentemente, si hay pocos datos los valores de frecuencias relativas no serán significativos, y pueden esperarse desviaciones mas o menos grandes. En estos casos es mejor recurrir simplemente al primer análisis de opciones sin discriminar por niveles. Tambien es posible modificar el número de niveles de conocimiento de la asignatura y volver a presentar los datos con una discretización no tan fina.
+==== Análisis de los indicadores de cada patrón =====
+{{ es:manual:analisis:rl-frec-indicadores.png?600 |}}
+En esta gráfica se muestran //para cada uno de los patrones// de respuesta los siguientes valores:
+   * [[#Análisis de la frecuencias de cada patrón|Frecuencia absoluta]].
+   * [[#Análisis de la frecuencias según el nivel de conocimiento|Frecuencia relativa]], (equivalente al [[es:manual:analisis:items:indicadores#Indice de dificultad]] en el caso de una única respuesta correcta)
+   * [[es:manual:analisis:items:indicadores#Indice de discriminación]]
+   * [[es:manual:analisis:items:indicadores#Correlación biserial-puntual]].
+La principal diferencia es que en esta gráfica la información se muestra separada para cada una de las opciones de respuesta. Los dos primeros datos se han mostrado tambien en las gráficas anteriores.
+Tanto el índice de discriminación como la correlación deben ser positivos en el caso de patrones correctos, y negativos en el caso de patrones incorrectos. Por tanto, se usa un código de color diferente en cada caso, resaltando en rojo los casos que se salen de esta norma. En el caso de la correlación, si estadísticamente no puede descartarse un valor nulo (al 95% de certeza), se usa el color gris.
-{{es:manual:analisis:mcq-frec-indicadores.png?400 |}}
+Los índices de discriminación y la correlación biserial-puntual, que ayudan a determinar si algunos de los patrones de respuesta no están funcionando adecuadamente. Por ejemplo, en la figura anterior uno de los patrones de respuesta correspondiente a la respuesta con el id 5110625, tiene un índice de discriminación ligeramente positivo, cuando debería ser negativo por lo que se muestra en rojo. La correlación es prácticamente nula, por lo que no es realmente significativa. La interpretación de este caso es simplemente que este patrón de respuesta no es determinante, tanto alumnos con buen nivel, como alumnos con nivel mas bajo ocasionalmente dan respuestas correspondientes a este patrón. No obstante la frecuencia absoluta de ocurrencia de este patrón es baja, por lo que realmente no se puede establecer ninguna conclusión firme.