Herramientas de usuario

Herramientas del sitio


es:help_items_analyzer

¡Esta es una revisión vieja del documento!


Analizador

Esta pestaña muestra información de resumen sobre los datos recogidos en todas las sesiones en las que se ha planteado esta pregunta. Muestra análisis estadísticos comunes en la teoría clásica de test TCT y en la teoría de respuesta al ítem TRI tales como la frecuencia de cada una de las opciones de respuesta, los resultados obtenidos, el tiempo de respuesta, la curva característica de cada opción, etc. Las representaciones serán diferentes dependiendo del tipo de pregunta.

Si no muestra la pestaña Analizador es posible que no haya seleccionado la opción Ver información estadística en las preferencias en Preguntas.

En la parte superior se aparecen tres selectores que modifican el conjunto de datos que se muestran:

  • Tema: Toda pregunta en Siete esta asociada a un tema de la jerarquía. Al realizar un test sobre un determinado tema, Siette escoge preguntas de ese tema o de cualquiera de sus subtemas, ya que cada pregunta de un subtema se considera que tambien pertenece al tema antecesor. Por tanto, los resultados obtenidos al realizar la evaluación dependen del tema que se haya seleccionado. Por ejemplo, una misma pregunta sobre el tema Suma podrá exhibir dos comportamientos diferentes si se usa en un test sobre el tema Suma con otras preguntas de ese mismo tema, que si se usa en un test del tema Aritmética que englobe tanto el tema Suma como el tema Resta o Producto. Este selector permite indicar el tema de referencia a la hora de contabilizar los datos de los resultados. Un ejemplo claro son las curvas características, que pueden ser diferentes cuando la pregunta se aplica a un tema en concreto o a alguno de sus temas antecesores.
  • Sesiones: Cuando se establecen criterios generales de selección o filtrado de sesiones, este selector permite mostrar alternativamente las sesiones seleccionadas, las no seleccionadas, o todas ellas.
  • Tipo de CCI: La Curva Característica del Ítem (CCI) se obtiene mediante un proceso de calibración de los datos obtenidos por un conjunto de alumnos. Dependiendo del modelo, se estimarán uno, dos, tres o más parámetros de una familia de funciones intentando ajustar los resultados al modelo con un mínimo error. Las curvas así obtenidas son las que se usarán para la evaluación. La calibración se mantiene constante desde que se realiza (hasta que explícitamente se modifique). Sin embargo, al realizar nuevas sesiones de evaluación se siguen recogiendo datos empíricos sobre los porcentajes de acierto según cada uno de los niveles de conocimiento, lo que se traduce en una curva característica que puede ser diferente a la anterior. Este selector indica al sistema que muestre una u otra curva. Resulta interesante comparar ambas curvas, ya que si son muy diferentes podríamos concluir que los resultados no se ajustan al modelo, lo que haría necesario volver a calibrar o bien descartar esta pregunta.

Esta dividida en subpestañas, cada una de las cuales da una información diferente, que puede variar dependiendo del tipo de pregunta.

Datos estadísticos

 Datos estadísticos

Contiene la estadística descriptiva básica de los resultados del uso de esta pregunta en las evaluaciones

  • Tiempo de realización: Corresponde al tiempo empleado en esta pregunta en cada una de las sesiones en las que haya aparecido. En el caso en el que la pregunta aparezca como parte de un testlet es decir, que la interfaz del test muestre varias preguntas a la vez para que el alumno las conteste juntas, el tiempo de respuesta asignado a cada una de las preguntas del testlet es el tiempo total de respuesta del testlet dividido entre el número de preguntas que lo componen.
    • Tiempo mínimo
    • Tiempo medio
    • Tiempo máximo
  • Puntuaciones obtenidas: Son las puntuaciones obtenidas en las sesiones en las que ha aparecido esta pregunta. 1).
    • Puntuación mínima
    • Puntuación media
    • Puntuación máxima
  • Sesiones: .
    • Número de sesiones: Es el número total de sesiones en las que ha aparecido esta pregunta.
    • Sesiones completadas: Es el número total de sesiones que han llegado hasta el final en las que ha aparecido esta pregunta.
    • Número de alumnos: Es el número total de alumnos diferentes que se han enfrentado a esta pregunta. Téngase en cuenta que un mismo test podría repetirse varias veces por el mismo alumno, por lo que este número será igual o inferior al número de sesiones.
    • Número de test: Es el número de evaluaciones diferentes en las que se ha usado esta misma pregunta.

Histograma

Se muestran los histogramas las frecuencias de selección de cada una de las opciones de respuesta de la pregunta. Dependiendo del tipo básico de pregunta se mostrará de distinta forma:

 Preguntas de múltiple opción y respuesta única  Se muestra una barra por cada una de las opciones, incluyendo como una opción mas la respuesta en blanco. La barra correspondiente a la opción correcta aparece en verde, y las correspondientes a las opciones incorrectas en rojo. La opción de respuesta en blanco se muestra en azul. Sobre cada una de estas barras aparece el porcentaje numérico.

Teóricamente lo deseable es que cada una de las opciones de respuesta incorrecta (llamados distractores), tenga una probabilidad de selección parecida. Opciones con muy baja o nula probabilidad de selección por parte del alumno deberían eliminarse de la pregunta o ser sustituidas por otras opciones más atractivas, ya que modifican artificialmente la capacidad de medida del ítem. Por ejemplo, si nadie selecciona determinada opción, quizás por estar mal escrita, la probabilidad de respuesta al azar será mayor de lo esperado puesto que en la práctica el número de opciones reales es menor que el número de opciones que muestra la pregunta.

 Preguntas de múltiple opción y respuesta múltiple

Se muestra una barra vertical única para cada una de las opciones de respuesta que pueden seleccionarse. Cada una de las barras es bicolor indícenlo (de abajo a arriba) el porcentaje de respuestas que han señalado esta opción y el porcentaje de respuestas que no la han seleccionado. Si la opción se considera correcta, la primera parte de cada barra estará en verde, y la segunda en rojo. Si por el contrario la opción no debía seleccionarse, la parte inferior se mostrará en rojo ya la superior en verde. En resumen verde indica respuesta correcta y Tojo incorrecta, ya sea por selección u omisión (no seleccionar una opción incorrecta). Finalmente aparece la opción de no respuesta, pero dado que el interfaz no permite dejar en blanco este tipo de preguntas, esta barra indicará siempre un 0%.

 Preguntas de respuesta libre

En este caso las opciones de respuesta corresponden a los patrones que se hayan definido. Las barras correspondientes a los patrones marcados como correctos se muestran en verde y los demás en rojo. Al menos se habrá define un patrón correcto, y de forma automática un patrón incorrecto correspondiente a cualquier otra respuesta que no encaje con el resto de los patrones. Finalmente si el alumno deja la respuesta en blanco se considera un tercer patrón de no-respuesta, que se muestra mediante una barra azul.

La representación es muy parecida a las A diferencia de las Preguntas de múltiple opción y respuesta única, salvo que en este caso puede haber mas de un patrón correcto, y consiguientemente mas de una barra en verde. Por otra parte, las consideraciones sobre la probabilidad de respuesta de cada una de las opciones no tiene sentido en las preguntas de respuesta libre, ya que la pregunta no se modifica aunque alguno de los patrones no se haya seleccionado nunca, y tampoco es necesario que los patrones se selecciones de forma equiprobable

Indicadores

Se muestran los indicadores básicos de la TCT para cada una de las opciones de respuesta de la pregunta. Dependiendo del tipo básico de pregunta la representación que aparece es ligeramente distinta, ya que puede haber mas de una opción correcta o incorrecta.

 Preguntas de respuesta libre

En esta tabla se muestra una fila por cada una de las opciones, incluyendo como una opción mas la respuesta en blanco. La imagen corresponde a una pregunta de respuesta libre con varios patrones de respuesta considerados correctos.

La primera columna de cada fila contiene el identificador de la respuesta y un icono que muestra si la opción es correcta (verde), incorrecta(rojo) o corresponde a la respuesta en blanco (azul). La segunda columna muestra la frecuencia absoluta de ocurrencia de cada una de las opciones. La tercera columna, divida en dos muestra de forma numérica y gráfica la frecuencia relativa de selección de esta opción. La cuarta y quinta columna muestran respectivamente el índice de discriminación y la correlación biserial-puntual entre la elección de esta opción y la calificación obtenida como resultado final del test. Ambos indicadores muestran si la opción de respuesta es significativa del conocimiento del alumno. Los alumnos con un mayor nivel de conocimiento deberían seleccionar las opciones correctas con una mayor frecuencia, por lo que las correlaciones deben ser positivas.

En el caso de la correlación el sistema mide tambien el intervalo de confianza (al 95%), que es función del valor obtenido y del número de casos. Si la correlación no es significativa (no puede descartarse que sea nula), la barra aparecerá en gris. Si el valor es positivo y la respuesta es correcta, o bien si la respuesta es incorrecta y la correlación es negativa el valor aparece en verde. Por el contrario, si la respuesta es correcta y la correlación es significativamente negativa o bien es incorrecta y la correlación significativamente es positiva, la barra aparecerá en rojo, indicando que puede haber algun problema con esa opción de respuesta.

Frecuencias absolutas

Se muestran graficamente y mediante una tabla las opciones la frecuencia absoluta de selección de cada una de las opciones para cada uno de los niveles de conocimiento de la asignatura.

 Preguntas de multiple opción y respuesta única

Frecuencias relativas

Curvas características

Función de información

Tiempos de realización

Instancias

1)
Este dato carece de interés
es/help_items_analyzer.1655895336.txt.gz · Última modificación: 2022/06/22 10:55 por root

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki