Herramientas de usuario

Herramientas del sitio

Traza:
es:manual:analisis:test:filtrado

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anteriorRevisión previa
Próxima revisión		Revisión previa
es:manual:analisis:test:filtrado [2022/05/27 08:29] – rootes:manual:analisis:test:filtrado [2023/05/08 12:28] (actual) – root
Línea 4: Línea 4:
  
 El análisis de los resultados permite al profesor analizar el conocimiento de los alumnos y como se comportan las preguntas que se han planteado, pero para ello, especialmente en los casos en los que el acceso al test no está completamente controlado es necesario realizar previamente un proceso de filtrado o selección del conjunto de dato que se consideran válidos o representativos de la evaluación, especialmente si estos on los datos de partida para la calibración del sistema o para tomar decisiones acerca de la dificultad o relevancia de las preguntas que lo componen. El análisis de los resultados permite al profesor analizar el conocimiento de los alumnos y como se comportan las preguntas que se han planteado, pero para ello, especialmente en los casos en los que el acceso al test no está completamente controlado es necesario realizar previamente un proceso de filtrado o selección del conjunto de dato que se consideran válidos o representativos de la evaluación, especialmente si estos on los datos de partida para la calibración del sistema o para tomar decisiones acerca de la dificultad o relevancia de las preguntas que lo componen.
 +
 +Además de los criterios de selección y filtrado que se describen en esta página, el profesor puede realizar una selección global de sesiones por fechas o grupos de alumnos. Esta selección se realiza mediante la sección "Preferencias del test" y son propias de cada profesor. Esta selección global es previa a cualquier proceso de selección y filtrado ya que las sesiones que no cumplen estos criterios globales no aparecen en los listados ni en el Analizador.
  
 A partir de los datos estadísticos obtenidos Siette permite establecer criterios para seleccionar o filtrar las sesiones de test realizadas. La diferencia entre seleccionar y filtrar es que la primera operación simplemente marca un conjunto de sesiones, lo que permite hacer operaciones sobre este subconjunto, mientras que el filtrado oculta las sesiones elegidas de manera que ya no aparezcan en el listado. A partir de los datos estadísticos obtenidos Siette permite establecer criterios para seleccionar o filtrar las sesiones de test realizadas. La diferencia entre seleccionar y filtrar es que la primera operación simplemente marca un conjunto de sesiones, lo que permite hacer operaciones sobre este subconjunto, mientras que el filtrado oculta las sesiones elegidas de manera que ya no aparezcan en el listado.
Línea 17: Línea 19:
 {{ es:manual:analisis:test:seleccion_de_sesiones_1.png | Selección de sesiones }} {{ es:manual:analisis:test:seleccion_de_sesiones_1.png | Selección de sesiones }}
  
-   * <html><b>C<sub>1</sub></b></html>: Seleccionar sesiones en las que el número total de ítems sea mayor que max(N) +   * <b>C<sub>1</sub></b>: Seleccionar sesiones en las que el número total de ítems sea mayor que max(N) 
-   * <html><b>C<sub>2</sub></b></html>: Seleccionar sesiones en las que el número total de ítems sea menor que min(N) +   * <b>C<sub>2</sub></b>: Seleccionar sesiones en las que el número total de ítems sea menor que min(N) 
-   * <html><b>C<sub>3</sub></b></html>: Seleccionar sesiones en las que el nivel de conocimiento estimado (en el intervalo de la escala de la asignatura) sea superior a min(X)  +   * <b>C<sub>3</sub></b>: Seleccionar sesiones en las que el nivel de conocimiento estimado (en el intervalo de la escala de la asignatura) sea superior a min(X)  
-   * <html><b>C<sub>4</sub></b></html>: Seleccionar sesiones en las que el nivel de conocimiento estimado (en el intervalo de la escala de la asignatura) sea inferior a max(X)  +   * <b>C<sub>4</sub></b>: Seleccionar sesiones en las que el nivel de conocimiento estimado (en el intervalo de la escala de la asignatura) sea inferior a max(X)  
-   * <html><b>C<sub>4</sub></b></html>: Seleccionar sesiones en las que el nivel de conocimiento estimado (en el intervalo de la escala de la asignatura) sea inferior a max(X)  +   * <b>C<sub>4</sub></b>: Seleccionar sesiones en las que el nivel de conocimiento estimado (en el intervalo de la escala de la asignatura) sea inferior a max(X)  
-   * <html><b>C<sub>5</sub></b></html>: Seleccionar sesiones cuya duración total en minutos sea superior a: min(T) +   * <b>C<sub>5</sub></b>: Seleccionar sesiones cuya duración total en minutos sea superior a: min(T) 
-   * <html><b>C<sub>6</sub></b></html>: Seleccionar sesiones cuya duración total en minutos sea inferior a: max(T) +   * <b>C<sub>6</sub></b>: Seleccionar sesiones cuya duración total en minutos sea inferior a: max(T) 
-   * <html><b>C<sub>7</sub></b></html>: Seleccionar solo sesiones completadas o no completadas. +   * <b>C<sub>7</sub></b>: Seleccionar solo sesiones completadas o no completadas. 
-   * <html><b>C<sub>8</sub></b></html>: Seleccionar sesiones que hayan sido realizadas desde una dirección IP que concuerde con un cierto patrón. ((Para la concordancia se utiliza el patrón SIETTE, basado en unas expresiones regulares simplificadas. Por ejemplo, el patrón "192.168.*" concuerda con cualquier dirección IP local tal como "192.168.0.100" o bien "192.168.169.12")). Esta opción puede servir para discernir entre sesiones realizadas en un entorno controlado, por ejemplo una red local, o desde cualquier otra dirección de Internet. +   * <b>C<sub>8</sub></b>: Seleccionar sesiones que hayan sido realizadas desde una dirección IP que concuerde con un cierto patrón. ((Para la concordancia se utiliza el patrón SIETTE, basado en unas expresiones regulares simplificadas. Por ejemplo, el patrón "192.168.*" concuerda con cualquier dirección IP local tal como "192.168.0.100" o bien "192.168.169.12")). Esta opción puede servir para discernir entre sesiones realizadas en un entorno controlado, por ejemplo una red local, o desde cualquier otra dirección de Internet. 
-   * <html><b>C<sub>9</sub></b></html>: El último criterio corresponde a diversas variantes de selección de sesiones realizadas por un mismo alumno. Sirve para seleccionar de entre todas las sesiones realizadas por un mismo alumno la primera o la última sesión, la sesión con puntuación mas alta (max(X)) o mas baja (min(X)); o bien el criterio inverso, es decir, seleccionar todas menos la primera, o la ultima, etc..+   * <b>C<sub>9</sub></b>: El último criterio corresponde a diversas variantes de selección de sesiones realizadas por un mismo alumno. Sirve para seleccionar de entre todas las sesiones realizadas por un mismo alumno la primera o la última sesión, la sesión con puntuación mas alta (max(X)) o mas baja (min(X)); o bien el criterio inverso, es decir, seleccionar todas menos la primera, o la ultima, etc..
    
 A la izquierda de cada uno de estos criterios hay un "checkbox" que permite activar o desactivar cada criterio. Una vez establecidos los criterios a usar, en la parte inferior de este formulario es necesario indicar si los criterios se combinaran mediante conjunción o disyunción, es decir, si las sesiones seleccionadas deben cumplir todos los criterios establecidos o basta con que cumplan solo alguno de ellos. Finalmente, se puede indicar mediante un "checkbox" situado al final del formulario que se quieren seleccionar las sesiones que NO cumplan estos criterios, es decir, invertir la selección. A la izquierda de cada uno de estos criterios hay un "checkbox" que permite activar o desactivar cada criterio. Una vez establecidos los criterios a usar, en la parte inferior de este formulario es necesario indicar si los criterios se combinaran mediante conjunción o disyunción, es decir, si las sesiones seleccionadas deben cumplir todos los criterios establecidos o basta con que cumplan solo alguno de ellos. Finalmente, se puede indicar mediante un "checkbox" situado al final del formulario que se quieren seleccionar las sesiones que NO cumplan estos criterios, es decir, invertir la selección.
Línea 33: Línea 35:
  
 Una vez fijados los criterios, para proceder a aplicar la selección debe pulsar el botón situado en la parte superior derecha tal como indica la figura. Al hacer esto, a la derecha de cada criterio aparece un valor correspondiente al número de sesiones que cumplen cada uno de los criterios, y al pie de la página aparece un mensaje que indica el resultado de la selección del criterio combinado. En este ejemplo la selección compone una condición compuesta por: $$C_1 \land. C_3 \land C_5 \land C_6 \land C_7 \land C_9$$ Una vez fijados los criterios, para proceder a aplicar la selección debe pulsar el botón situado en la parte superior derecha tal como indica la figura. Al hacer esto, a la derecha de cada criterio aparece un valor correspondiente al número de sesiones que cumplen cada uno de los criterios, y al pie de la página aparece un mensaje que indica el resultado de la selección del criterio combinado. En este ejemplo la selección compone una condición compuesta por: $$C_1 \land. C_3 \land C_5 \land C_6 \land C_7 \land C_9$$
 +
 +Una vez efectuada la selección de sesiones, en la cabecera de la pestaña correspondiente al Analizador, aparecen tambien opciones para la visualización de los datos que se muestran tanto en la estadística descriptiva como en las gráficas. Mediante un selector puede indicarse que se muestren solo los datos correspondientes a las sesiones que se han seleccionado. Esta opción es innecesaria en el caso del filtrado, que se verá a continuación.
 +
 +{{ es:manual:analisis:test:cabecera_analizador.png | Cabecera del analizador }}
 +
  
 ==== Filtrado de sesiones ==== ==== Filtrado de sesiones ====
  
 El filtrado de sesiones sirve para ocultar un conjunto de sesiones seleccionadas previamente de manera que no aparezcan en los listados. Las sesiones ocultas no se borran de la base de datos, simplemente no se muestran y a todos los demás efectos es como si no existieran.  El filtrado de sesiones sirve para ocultar un conjunto de sesiones seleccionadas previamente de manera que no aparezcan en los listados. Las sesiones ocultas no se borran de la base de datos, simplemente no se muestran y a todos los demás efectos es como si no existieran. 
 +
 +Los criterios de filtrado se guardan en la base de datos de Siette, de manera que se mantengan al conectar nuevamente. No solo eso, sino que si se realizan nuevas sesiones del test, se aplicarán los criterios de filtrado a las nuevas sesiones y no se mostrarán en los listados si no los cumplen. Por otra parte, y a diferencia de los criterios globales de selección que se fijan en las preferencias, los. criterios de filtrado se aplican para todos los profesores de la asignatura. La idea que subyace es que una vez elicitados los criterios de filtrado queden automatizados de manera que aunque las sesiones filtradas no se borren no tengan influencia alguna en el análisis de datos ni en la posible calibración de los ítems.
  
 Definir los criterios de filtrado requiere realizar las mismas operaciones que la selección, señalando los criterios que se aplicarán. Finalmente para aplicar el filtrado debe pulsarse el botón que se indica en la siguiente figura. Definir los criterios de filtrado requiere realizar las mismas operaciones que la selección, señalando los criterios que se aplicarán. Finalmente para aplicar el filtrado debe pulsarse el botón que se indica en la siguiente figura.
 +
 +{{ es:manual:analisis:test:seleccion_de_sesiones_3.png | Filtrado de sesiones }}
  
 Nótese que se han usado los mismos criterios que en el caso de la selección pero se ha invertido la selección, de manera que se oculten las sesiones que no cumplan estos criterios. En este ejemplo la condición compuesta para ocultar sesiones sería: $$\lnot (C_1 \land. C_3 \land C_5 \land C_6 \land C_7 \land C_9)$$ Nótese que se han usado los mismos criterios que en el caso de la selección pero se ha invertido la selección, de manera que se oculten las sesiones que no cumplan estos criterios. En este ejemplo la condición compuesta para ocultar sesiones sería: $$\lnot (C_1 \land. C_3 \land C_5 \land C_6 \land C_7 \land C_9)$$
  
 +Para deshacer el filtrado y recuperar todas las sesiones basta con pulsar sobre la etiqueta que indica el número de sesiones filtradas. (Se inidca con un 3 en la imagen anterior).
 +
 +==== Eliminación de sesiones ====
 +
 +Por último, existe tambien la opción de borrar un conjunto de sesiones previamente seleccionadas. A diferencia de la ocultación de sesiones, el borrado elimina las sesiones de la base de datos definitivamente  y no pueden volver a recuperarse, por lo que debe utilizarse con cuidado.
 +
 +{{ es:manual:analisis:test:seleccion_de_sesiones_4.png | Borrado de sesiones }}
 +
 +Aunque se pueden borrar sesiones directamente, es recomendable seleccionar primero las sesiones, comprobar que la selección es correcta y finalmente realizar el borrado pulsando sobre el botón.
 +
 +Nótese tambien que resulta mas cómodo establecer un criterio de filtrado que borrar las sesiones, ya que el criterio de filtrado queda guardado y se aplicará no solo a las sesiones que existan actualmente sino a las nuevas sesiones que se realicen; mientras que el borrado habría que repetirlo periódicamente para descartar las nuevas sesiones no deseadas. Por otra parte, el borrado es irrecuperable, y el filtrado no.
  
 ==== Ejemplo ==== ==== Ejemplo ====
  
-El filtrado de datos es un proceso iterativo. A continuación se propone un ejemplo de este proceso a partir de los resultados de un test de practicas realizado a lo largo de varios años de la asignatura //Procesadores de Lenguajes//+El filtrado de datos es un proceso iterativo. A continuación se propone un ejemplo de este proceso a partir de los resultados de un test de practicas realizado a lo largo de varios años de la asignatura //Procesadores de Lenguajes//. Si se accede a los datos en bruto del test en la pestaña "Analizador" antes de realizar ningún tipo de selección se obtienen los siguientes datos: 
 + 
 +{{ es:manual:analisis:test:datos_generales.png | Datos generales }}
  
 El primer paso es comprobar los datos de las sesiones El primer paso es comprobar los datos de las sesiones
Línea 59: Línea 83:
 En este punto hay dos opciones:  En este punto hay dos opciones: 
    - Seleccionar directamente las sesiones que cumplan estos criterios.    - Seleccionar directamente las sesiones que cumplan estos criterios.
-   - Seleccionar las sesiones que NO cumplan estos criterios (invirtiendo la selección) y ocultarlas del listado de sesiones o borrarlas definitivamente. Ocultarlas tiene la ventaja de que las sesiones permanecen en la base de datos y que si se quiere se podrían volver a recuperar deshaciendo la selección. Borrar las sesiones implica que se descartan para siempre, pero tiene la ventaja de que se facilita el análisis.+   - Filtrar las sesiones que NO cumplan estos criterios (invirtiendo la selección) y ocultarlas del listado de sesiones o borrarlas definitivamente. Ocultarlas tiene la ventaja de que las sesiones permanecen en la base de datos y que si se quiere se podrían volver a recuperar deshaciendo la selección. Borrar las sesiones implica que se descartan para siempre, pero tiene la ventaja de que se facilita el análisis.
  
 La imagen anterior muestra los resultados de este criterio de filtrado. Se obtienen 283 sesiones al seleccionar solo las sesiones completas, y 223 al seleccionar solo la primera sesión de cada alumno. Se indica que la selección debe cumplir TODOS los criterios, por lo que finalmente resultan solo 183 sesiones seleccionadas. Al invertir la selección y pulsar el botón ocultar, el resto de sesiones que no cumplen estos criterios se eliminan de temporalmente del listado de sesiones.  La imagen anterior muestra los resultados de este criterio de filtrado. Se obtienen 283 sesiones al seleccionar solo las sesiones completas, y 223 al seleccionar solo la primera sesión de cada alumno. Se indica que la selección debe cumplir TODOS los criterios, por lo que finalmente resultan solo 183 sesiones seleccionadas. Al invertir la selección y pulsar el botón ocultar, el resto de sesiones que no cumplen estos criterios se eliminan de temporalmente del listado de sesiones. 
- 
-Los criterios de filtrado se guardan en la base de datos de Siette, de manera que se mantengan al conectar nuevamente. No solo eso, sino que si se realizan nuevas sesiones del test, se aplicarán los criterios de filtrado a las nuevas sesiones y no se mostrarán en los listados si no los cumplen. 
  
 Una vez filtradas las sesiones, por ejemplo ocultándolas, si se vuelve a la pestaña Analizador y se recargan los datos se mostrará como ha quedan estos valores: Una vez filtradas las sesiones, por ejemplo ocultándolas, si se vuelve a la pestaña Analizador y se recargan los datos se mostrará como ha quedan estos valores:
Línea 89: Línea 111:
 Interesa tambien saber a la hora de analizar los resultados de un test, el tiempo que ha tardado el alumno en realizar la prueba. Un tiempo por debajo de un cierto umbral indicará que el alumno no ha prestado la debida atención al test, y simplemente ha respondido al azar o ha dejado todas las preguntas en blanco. Igualmente, si el tiempo de respuesta ha sido excesivo, podría darse el caso de que el alumno hubiera realizado el ejercicio con la ayuda de apuntes o de otros medios devaluando los resultados. Dependiendo del test el profesor podrá establecer la duración mínima y máxima descartar sesiones que solo aportan ruido. Interesa tambien saber a la hora de analizar los resultados de un test, el tiempo que ha tardado el alumno en realizar la prueba. Un tiempo por debajo de un cierto umbral indicará que el alumno no ha prestado la debida atención al test, y simplemente ha respondido al azar o ha dejado todas las preguntas en blanco. Igualmente, si el tiempo de respuesta ha sido excesivo, podría darse el caso de que el alumno hubiera realizado el ejercicio con la ayuda de apuntes o de otros medios devaluando los resultados. Dependiendo del test el profesor podrá establecer la duración mínima y máxima descartar sesiones que solo aportan ruido.
  
-Siguiendo con el ejemplo anterior, Siette presenta los siguientes resultados: +Siguiendo con el ejemplo, Siette presenta los siguientes resultados:
- +
-    * Tiempo de realización mínimo y máximo. +
-    * Percentiles, Se basa en ordenar las sesiones en orden creciente de duración y dividirla en cuatro partes iguales, hallando el tiempo medio de realización para cada una de estas cuatro partes. +
-    * Media y desviación típica +
-    * Media en intervalo de confianza del 95%, es decir, el intervalo de duración del test que comprende al 95% de los alumnos.+
  
 {{ es:manual:analisis:test:datos_tiempo.png | Datos de tiempo de realización }} {{ es:manual:analisis:test:datos_tiempo.png | Datos de tiempo de realización }}
Línea 104: Línea 121:
 === Puntuaciones obtenidas === === Puntuaciones obtenidas ===
  
-Es la puntuación observada, segun el criterio de evaluación del test y ajustada a la escala fijada en la asignatura. Cuando se utiliza el criterio de evaluación por puntos, la puntuación final puede estar por debajo de la puntuación mínima, al aplicarse las penalizaciones por respuestas incorrectas. Siette muestra los siguientes valores:+Es la puntuación observada, según el criterio de evaluación del test y ajustada a la escala fijada en la asignatura. Cuando se utiliza el criterio de evaluación por puntos, la puntuación final puede estar por debajo de la puntuación mínima, al aplicarse las penalizaciones por respuestas incorrectas. Siette muestra los siguientes valores: 
 + 
 +{{ es:manual:analisis:test:datos_puntuaciones.png | Puntuaciones obtenidas }} 
 + 
 +A la vista de los cuales parece conveniente ocultar las sesiones con puntuaciones negativas o nulas. Tras realizar esta operación los datos de puntuación son los siguientes
  
-   * Puntuaciones máxima y mínima obtenidas por algún alumno.+{{ es:manual:analisis:test:datos_puntuaciones_2.png | Puntuaciones obtenidas }}
  
 +Al realizar todas estas operaciones de filtrado, se han seleccionado un total de 151 sesiones y se han ocultado 192. Los datos que se muestran en el analizador se han ido actualizado quedando finalmente los siguientes:
  
-==== Valores medios, cuartiles y desviaciones típicas ====+{{ es:manual:analisis:test:datos_generales_2.png | Datos generales }}
  
es/manual/analisis/test/filtrado.1653640173.txt.gz · Última modificación: 2022/05/27 08:29 por root
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki