Diferencias

Muestra las diferencias entre dos versiones de la página.

--- es:manual:analisis:test [2022/05/17 08:02] – [Conceptos de validez y fiabilidad] root
+++ es:manual:analisis:test [2023/02/21 18:24] (actual) – root
@@ Línea 2: / Línea 2: @@
 Desde principios del siglo XX en el que aparece por primera vez la evaluación mediante [[es:manual:test|test]], se han desarrollado un conjunto de teorías para analizar los resultados de este tipo de pruebas de evaluación. En concreto, son parte del conocimiento de esta materia las siguientes teorías:
-   * Teoría clásica de los test (TCT)
+   * [[es:manual:analisis:test:ctt|Teoría clásica de los test (TCT)]]
-   * Teoría de respuesta al ítem (TRI)
+   * [[es:manual:analisis:irt|Teoría de respuesta al ítem (TRI)]]
-   * Teoría de test adaptativos informatizados (TAI)
+   * [[es:manual:analisis:cat|Teoría de test adaptativos informatizados (TAI)]]
 La definición de DRAE hace referencia al término test (Véase [[es:manual:test#Terminología]]) tal como se usa coloquialmente, y tal como la usan las teorías anteriormente citadas. No obstante, es claramente insuficiente en el caso de Siette, ya que Siette no solo utiliza preguntas con varias opciones de respuesta previamente prefijadas, sino una gran variedad de preguntas en los que el alumno debe actuar de forma proactiva y generar una respuesta que Siette evalúa. ((Por ejemplo, una pregunta de Siette podría ser: "Contruya un programa de ordenador que determine si un año es o no [[https://es.wikipedia.org/wiki/A%C3%B1o_bisiesto|bisiesto]]". El alumno debe pconstruir y enviar a Siette este programa, y Siette realizara sobre el varias pruebas binarias (verdadero/falso) por ejemplo, si compila correctamente, si funciona con los múltiplos de 4, si funciona los casos en los casos míltiplos de 100, o de 1000. Es decir, una única pregunta en Siette puede corresponder a varios ítems y a su vez cada uno de ellos puede tener varias opciones de respuesta.))
@@ Línea 10: / Línea 10: @@
 La evaluación que realiza Siette consiste en reducir o simplificar la respuesta del alumno en un conjunto de opciones de respuesta a un conjunto de ítems (átomos de conocimiento) que subyacen a la tarea planteada, por lo que para realizar el análisis de los resultados Siette hace uso de las teorías ya existentes.
-No es el objetivo de este manual explicar en que consisten estas teorías, o cuál es la hipótesis que las sustentan. El lector interesado debe acudir a la amplia bibliografía existente. Este manual son simplemente unas notas y referencias para indicar las funciones que realiza Siette.
+No es el objetivo de este manual explicar en que consisten estas teorías, o cuál es la hipótesis que las sustentan. El lector interesado debe acudir a la amplia [[es:pub_biblio|bibliografía]] existente. Este manual son simplemente unas notas y referencias para indicar las funciones que realiza Siette.
+Los resultados del análisis del test se muestran en la pestaña [[es:help_test_analyzer|Analizador]].
 ==== Análisis de estadística descriptiva ====
-Siette incorpora algunas herramientas para analizar los resultados de un test. Los análisis mas simples son los que pueden hacerse mediante técnicas de estadística descriptiva, es decir, mostrar la distribución de resultados, de tiempo de duración del test, y hallar valores medios, desviaciones típica, y cuartiles de estas distribuciones.
+Siette incorpora algunas herramientas para analizar los resultados de un test. Los análisis mas simples son los que pueden hacerse mediante técnicas de [[es:manual:analisis:test:estadistica|estadística descriptiva]], es decir, mostrar la distribución de resultados, de tiempo de duración del test, y hallar valores medios, desviaciones típica, y cuartiles de estas distribuciones.
-==== Concepto de evaluación y modelos del conocimiento ====
+Siette incorpora tambien [[es:manual:analisis:test:graficas|representaciones gráficas mediante histogramas]] de la distribución de la puntuación observada y de la distribución de tiempos empleados en la realización del test.
-La ciencia se basa en crear modelos de la realidad. En el caso de la evaluación el objeto de estudio es el conocimiento que un alumno tiene de una determinada materia. Evidentemente, la complejidad del cerebro humano, sus conexiones neuronales, la memoria, el razonamiento y todo aquello que constituye lo que llamamos "conocimiento" es demasiado complejo y en gran parte desconocido. Por consiguiente, se recurre a modelos aproximados para "medir" de alguna forma este conocimiento.
-Los modelos mas simples y mas usados en la practica se reducen a un simple valor numérico, al que se denomina "nivel de conocimiento", sobre una materia en concreto. Así por ejemplo, los profesores acostumbran a poner notas a los alumnos que indican si saben mas o menos sobre una materia. Esta nota es una especie de aglutinante de los conceptos que el alumno tiene sobre la materia. Dos alumnos con la misma nota puede que no tengan el mismo conocimiento sobre una materia, puede que uno de ellos sepa unos conceptos en concreto y el otro no sepa esos conceptos, y tambien al contrario, aunque probablemente habrá un nucleo común que con mucha probabilidad ambos comparten. Imaginemos por ejemplo dos alumnos con una nota de 9 sobre 10 en la materia "Física". Ppuede que uno de ellos haya alcanzado esta nota con algún fallo en los conceptos de "Mecánica", pero haya alcanzado el máximo en "Electricidad", mientras que otro alumno con la misma nota haya alcanzado el máximo en la primera, pero no en la segunda
+==== Análisis de la fiabilidad según la Teórica Clásica de Test ====
-Evidentemente pueden desarrollarse modelos mas complejos, que tengan en cuenta los conceptos que intervienen en el conocimiento de una materia que establezcan relaciones entre los conceptos, o el orden en que se aprenden. Estos modelos suelen ser diseñados específicamente para una materia y no directamente utilizables como modelos genéricos, es decir aplicables directamente a cualquier materia, salvo que se realice previamente un proceso de definición del modelo.
+De acuerdo con la Teoría Clásica de Test, uno de los indicadores mas importantes para garantizar la calidad del test es la fiabilidad, ya que de ésta depende el intervalo de confianza de la puntuación obtenida. Siette incluye distintas [[es:manual:analisis:test:fiabilidad|fórmulas para estimar la fiabilidad]] de acuerdo a diferentes supuestos, permite configurar las distintas opciones de estas fórmulas y muestra los [[es:manual:analisis:test:indicadores|valores de los indicadores clásicos]] junto con los datos de estadística descriptiva.
-En este sentido, Siette incorpora algunas caracteristicas que pueden servir para crear modelos complejos que proporciones una descripción mas detallada del conocimiento del alumno, mas allá de un simple valor numérico.
+==== Análisis de la fiabilidad según la Teórica de Respuesta al Ítem ====
-=== Modelo jerárquico ===
+Para los modelos basados en la Teoría de Respuesta al Ítem, el equivalente a la fiabilidad es la función de Información.
-El modelo jerárquico consiste simplemente en establecer una jerarquía entre el conjunto de conceptos que componen una materia. La jerarquía es simplemente una relación de tipo "es-parte-de", por ejemplo podriamos decir que el concepto "Suma" es parte del concepto "Aritmetica" y éste a su vez del concepto "Matemáticas", o que los conceptos "Mecánica" y "Electricidad" son partes del concepto "Física", etc. En la terminología de Siette estos conceptos equivalen a Temas y Subtemas.
-En Siette el profesor puede crear un curriculum o jerarquía de temas y subtemas y asociar las preguntas cada uno de estos temas o subtemas. Al realizar una evaluación Siette asume que para evaluar un tema puede utilizar todas las preguntas asociadas directamente a ese tema o a alguno de sus subtemas. Una vez completada la evaluación, Siette puede proporcionar información acerca del conocimiento del alumno en el tema objeto del test, pero tambien en cada uno de los subtemas que lo componen. Para ello simplemente obtiene la calificación usando las preguntas asociadas a cada subtema.
-Evidentemente, si el test se componen de 50 preguntas y tiene 5 subtemas, cada uno de ellos puede tener una media de 10 preguntas, y si a su vez cada subtema tiene otros 5 subtemas, de cada sub-subtema se habrán realizado solamente 2 preguntas. Evidentemente la precisión de la medida sería muy baja en este caso.
-==== Conceptos de validez y fiabilidad ====
-Desde este punto de vista la evaluación es el mecanismo mediante el cuál se mide el nivel de conocimiento sobre una materia.
-En el campo de la evaluación se distingue entre dos conceptos fundamentales: La validez y la fiabilidad.  La validez hace referencia a que
-==== Análisis de la fiabilidad según la Teórica Clásica de Test ====