Diferencias

Muestra las diferencias entre dos versiones de la página.

--- es:manual:items:modelos [2021/06/09 10:52] – root
+++ es:manual:items:modelos [2023/02/19 10:03] (actual) – [Preguntas de respuesta libre] root
@@ Línea 1: / Línea 1: @@
-===== Modelos de evaluación =====
+===== Evaluación de las preguntas =====
-Entendemos por modelos de evaluación el algorimo segun el cuál se obtiene a partir de las respuestas del alumno una estimación de su nivel de conocimientos, ya sea en una escala numérica o en un conjunto de valores en los que se le clasifica.
+Entendemos por modelos de evaluación el algoritmo según el cuál se obtiene a partir de las respuestas del alumno una estimación de su nivel de conocimientos, ya sea en una escala numérica o en un conjunto de valores en los que se le clasifica.
-Dependiendo del [[es:manual:items:tiposbasicos|tipo de pregunta]] y del [[es:manual:test:tipos|tipo de evaluación]] se usan distintos parámetros. El siguiente es un cuadro resumen de los valores por defecto. En las siguientes secciones se explica en detalle.
+Dependiendo del [[es:manual:items:tiposbasicos|tipo de pregunta]] y del [[es:manual:test:tipos|tipo de evaluación]] se usan distintos parámetros. El siguiente es un cuadro resumen de los valores por defecto. En las siguientes secciones se explica y justifica cada caso en detalle y se comentan las posibles modificaciones de este comportamiento por defecto.
 ^ ^ Respuesta única ^Respuesta múltiple ^Respuesta libre ^
-^Porcentual | La respuesta es correcta si se ha seleccionado la opción marcada como ''Correcta''| La respuesta es correcta si se ha seleccionado todas las opciones marcadas como ''Correcta'' y ninguna de las marcadas como ''Incorrecta''| La respuesta es correcta si encaja con algun patrón marcado como ''Correcto''  |
+^Porcentual | La respuesta es correcta si se ha seleccionado la opción marcada como ''Correcta''| La respuesta es correcta si se ha seleccionado todas las opciones marcadas como ''Correcta'' y ninguna de las marcadas como ''Incorrecta''| La respuesta es correcta si encaja con algún patrón marcado como ''Correcto''  |
 ^Por puntos |Si la respuesta es correcta se asigna 1 punto, si es incorrecta se asigna $-\frac{1}{K-1}$, siendo $K$ el número de opciones de la pregunta | Cada opción de respuesta puntúa con $+\frac{1}{K}$ puntos en caso de que la opción sea ''Correcta'' y el alumno la seleccione o bien sea ''Incorrecta'' y el alumno no la seleccione,; y con $-\frac{1}{K}$ en caso contrario. | Si la respuesta encaja con algún patrón señalado como ''Correcto'' se le asigna 1 punto positivo, en otro caso no se asigna ninguna puntuación |
-^TRI | La opción de respuesta correcta tiene una //curva característica// propia, $p(\Theta)$ , las respuestas incorrectas y las respuesta en blanco tienen una //curva caractrística//  $1-p(\Theta)$ | Si la opción seleccionada se corresponde con la corrección propuesta se aplica la //curva característica// $p(\Theta)$; y si no la complementaria $1-p(\Theta)$  | Si la respuesta corresponde a un patrón correcto se usa la //curva característica// $p(\Theta)$; y si no la complementaria $1-p(\Theta)$  |
+^TRI | La opción de respuesta correcta tiene una //curva característica// propia, $p(\theta)$ , las respuestas incorrectas y las respuesta en blanco tienen una //curva característica//  $1-p(\theta)$ ((En el caso de los modelos politómicos, cada opción de respuesta incluida la respuesta en blanco utiliza su propia curva característica)) | Si la opción seleccionada se corresponde con la corrección propuesta se aplica la //curva característica// $p(\theta)$; y si no la complementaria $1-p(\theta)$  | Si la respuesta corresponde a un patrón correcto se usa la //curva característica// $p(\theta)$; y si no la complementaria $1-p(\Theta)$ ((En el caso de que haya mas de un patrón, se utilizarán modelos politómicos, cada opción de respuesta utiliza su propia curva característica))  |
 ==== Preguntas de respuesta única ====
-En las preguntas de respuesta única se proponen al alumno varias opciones para que elija una, sabiendo que solo una de las opciones mmostrarda es correcta, y las demás son lo que en la jerga de evaluación se llaman //distractores//. Las posibles acciones del alumno son elegir una de ellas, o no responder a la pregunta y saltar a la siguiente.
+En las preguntas de respuesta única se proponen al alumno varias opciones para que elija una, sabiendo que solo una de las opciones mostrarda es correcta, y las demás son lo que en la jerga de evaluación se llaman //distractores//. Las posibles acciones del alumno son elegir una de ellas, o no responder a la pregunta y saltar a la siguiente.
-=== Porcentual ===
+=== Evaluación Porcentual ===
 Para la evaluación porcentual está claro que solo seleccionando la respuesta correcta se considera la pregunta como correcta.
-=== Por puntos ===
+=== Evaluación Por puntos ===
 En la evaluación por puntos se puede tener en cuenta que el alumno puede seleccionar la opción correcta simplemente por azar. Si suponemos que esto mismo puede ocurrir en otras preguntas similares, y se quiere evitar el efecto del azar de manera que en la evaluación final un alumno que responda al azar obtenga como nota mas probable un 0, hay que descontar puntos en el caso de que la respuesta sea incorrecta, a fin de compensar las respuestas correctas al azar. Por ejemplo, si un test tiene 100 preguntas de tipo //verdadero/falso// cualquier alumno simplemente por azar acertará un numero considerable de preguntas, cercano a 50 por la ley de los grandes números.
@@ Línea 39: / Línea 39: @@
 Aunque este tipo de modificaciones en las puntuaciones asignadas por defecto puede hacerse, se desaconseja modificar los valores por defecto, ya que no responden a criterior objetivos. Ademas, tengase en cuenta que las preguntas del banco de preguntas pueden reutilizarse en diversos test, por lo que los valores asignados se aplicarán siempre que se use va pregunta.
-=== TRI ===
+=== Evaluación TRI ===
 En el caso de usar la técnica TRI, Siette esta preparado para utilizar una curva diferente para cada tema a los que pertenece la pregunta y para cada una de las opciones de respuesta, e incluso una curva diferente para el caso de respuesta en blanco. Es decir, si una pregunta pertenece al tema ''Suma'', que es subtema del tema ''Aritmetica'' que a su vez es subtema del tema ''Matemáticas'', suponiendo que la pregunta tenga $K$ opciones de respuesta, Siette utilizará un conjunto de $(K+1)$ //curvas carectaristicas// para cada uno de estos tres temas y subtemas. Dependiendo de la respuesta seleccionada el nivel de conocimiento del alumno se estimará como el producto normalizado de la estimación anterior por la //curva característica// de la respuesta asociada.
-El siguiente gráfico muestra las //curvas características// de una pregunta de opción multiple y respuesta única para un tema concreto. La curva verde corresponde a la //respuesta correcta//, las rojas a los //distractores// y la azul a la //respuesta en blanco//
+El siguiente gráfico muestra las //curvas características// de una pregunta de opción múltiple y respuesta única para un tema concreto. La curva verde corresponde a la //respuesta correcta//, las rojas a los //distractores// y la azul a la //respuesta en blanco//
 {{ es:manual:items:curvas_caracteristicas_empiricas.png?400 |}}
@@ Línea 63: / Línea 63: @@
 Cada una de las opciones se corrige ademas como correcta o incorrecta si se correspnde con la marca que ha establecido el profesor. Es igualmente correcto marcar una opción que el profesor ha marcado como ''Correcta'', que no marcar una opción que el profesor ha marcado como ''Incorrecta'' (es decir, que no ha marcado como ''Correcta''), y viceversa.
-=== Porcentual ==
+=== Evaluación Porcentual ==
-La respuesta es correcta si se ha seleccionado todas las opciones marcadas como ''Correcta'' y ninguna de las marcadas como ''Incorrecta''. Esta decisión implica que las preguntas de múltiple respuesta tengan pocas probabilidades de ser respondidas  correctamente como fruto del azar, ya que para $K$ opciones, la probabilidad de acierto al azar es solo de $1/K^2$, por ejemplo para $K=4$ seria de $1/16 = 0.0625$, un 6,25%.
+La respuesta es correcta si se ha seleccionado todas las opciones marcadas como ''Correcta'' y ninguna de las marcadas como ''Incorrecta''. Esta decisión implica que las preguntas de múltiple respuesta tengan pocas probabilidades de ser respondidas  correctamente como fruto del azar, ya que para $K$ opciones, la probabilidad de acierto al azar es solo de $1/2^K$, por ejemplo para $K=4$ seria de $1/16 = 0.0625$, un 6,25%.
-=== Por puntos ===
+=== Evaluación Por puntos ===
-Al evaluar esta pregunta por puntos, lo que se hace es evaluar cada una de las opciones por separado, asignandole una puntuación positiva de $1/K$ si la respuesta es acertada y de $-1/K$ si no lo es, siendo $K$ el número de opciones. La puntuación total se obtiene sumando los valores de todas las opciones.
+Al evaluar esta pregunta por puntos, lo que se hace es evaluar cada una de las opciones por separado, asignándole una puntuación positiva de $1/K$ si la respuesta es acertada y de $-1/K$ si no lo es, siendo $K$ el número de opciones. La puntuación total se obtiene sumando los valores de todas las opciones.
 Por ejemplo, supongamos la siguiente pregunta de respuesta múltiple, y una respuesta del alumno:
@@ Línea 80: / Línea 80: @@
 ^ //Amarillo// | No | Si |        | -0.20 |
-A la vista de los resultados la puntuacón obtenida en esta pregunta es de +0.20 puntos.
+A la vista de los resultados la puntuación obtenida en esta pregunta es de +0.20 puntos.
 Es importante señalar que se asume que las respuestas a cada opción son completamente INDEPENDIENTES, lo que se debe tener en cuenta al plantear la preguntas. Por ejemplo, en el caso anterior la independencia se vería alterada si el enunciado dijera "//Señala los tres coloes de la bandera de Francia//", ya que condiciona al alumno a descartar algunas combinaciones.
-Como opción por defecto en este tipo de preguntas la [[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima positiva]] y la [[[[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima negativa]] valen ambas 1.0 punto, ya que si el alumno acierta todas las opciones obtendría 1.0 punto y si falla todas -1.0 punto.
+Como opción por defecto en este tipo de preguntas la [[es:help_items_evaluation#Puntuacion maxima|puntuación máxima positiva]] y la [[[[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima negativa]] valen ambas 1.0 punto, ya que si el alumno acierta todas las opciones obtendría 1.0 punto y si falla todas -1.0 punto.
+=== Evaluación TRI ===
+Al igual que en el caso de las preguntas de respuesta única, para este tipo de preguntas tiene mucho sentido utilizar una //curva característica// diferente para cada una de las opciones de respuesta. Una primera aproximación de estas //curvas características// obtenida de forma //empírica// muestra las curvas asociadas a cada opción para una pregunta con tres opciones correcta y tres incorrectas. (Véase la descripción en el epígrafe anterior).
+{{ es:manual:items:curvas_caracteristicas_empiricas_multi.png?400 |}}
+En la práctica, si el proceso de calibracón se basa en opciones dicotómicas solo se obtendrían dos curvas, una para la respuesta con todas las opciones correctas y otra para cualquier otra combinación. Lo que suele ocurrir en estos casos es que las curvas dicotómicas que se obtiene son mucho mas discriminantes, (parámetro a), y con una menor probabilidad de acierto al azar, lo que lleva a un factor de adivinanza menor (parámetro c), ambas cualidades deseables en una //curva característica//.
+{{ es:manual:items:curvas_caracteristicas_calibradas_multi.png?400 |}}
+==== Preguntas de respuesta libre ====
+En el caso de las preguntas de respuesta libre, el alumno debe decidir sin ningun //distractor// cuál es la respuesta a la pregunta. Aunque son mas difíciles de corregir, y por tanto pueden estar sometidas a mas errores, este tipo de preguntas son las mas adecuadas para una buena evaluación. Por otra parte, dado que Siette permite revisar los patrones de respuesta y [[es:help_test_sessions#Acciones|volver a corregir]], los inconvenientes desde el punto de vista de la evaluación son muy marginales.
+=== Evaluación Porcentual ===
+Las preguntas de respuesta libre pueden tener uno o mas campos de respuesta. En el caso de que haya mas de un campo la pregunta se considera como correcta si todas los campos se corresponden con un patrón de respuesta señalado como ''Correcto''.
+=== Evaluación Por puntos ===
+En el caso de la evaluación por puntos, la puntuación de la pregunta se divide entre cada uno de las posibles respuestas, si es que hay varias. Si la pregunta tiene $K$ respuestas, cada una de ellas se puntúa con $1/K$ puntos en caso de que corresponda a un patrón correcto y con $0$ puntos en caso de que corresponda a un patrón incorrecto, no corresponda a ningún patrón o se haya dejado en blanco, es decir que las opciones por defecto para  la [[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima positiva]] y la [[[[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima negativa]] son de 1.0 y 0.0 puntos respectivamente.
+En este tipo de preguntas tiene algo mas de sentido modificar la puntuación por defecto, aplicando a algunas respuestas un //crédito parcial//, cuando la respuesta del alumno se aproxime a la respuesta correcta aunque con algún defecto menor, o incluso penalizar alguna respuesta claramente errónea. El siguiente ejemplo ilustra esta situación:
+^ ^Correcta ^Puntuación positiva ^Puntuación negativa ^
+^ // ¿En qué año se publico por primera vez la Teoría de la Relatividad? // ^^^^
+^ //1905//         | Si | +1.00  |      |
+^ //#1904#1906#//  | Si | +0.95  |      |
+^ //#1915#1916#//  | Si | +0.90  |      |
+^ //#1907#1914#//  | No | +0.50  |      |
+^ //#0#1900#//     | No |        | -0.2 |
+^ //.//            | No |        | 0.0  |
+Aunque la respuesta correcta es ''1905'', en que Einstein publico la Teoría especial de la relatividad; se aceptan como correctas las respuestas ''1904'' y ''1906'' porque son muy aproximadas, asignándole 0.95 puntos. Las respuestas ''1915'', y ''1916'' tambien se aceptan como correctas, ya que es la fecha en la que se publico la Teoría General de la Relatividad. A esta respuesta se le asignan 0.90 puntos. Cualquier respuesta entre ''1904'' y ''1914'' se consideran incorrectas, aunque aproximadas, por lo que solo se asigna 0.5 puntos. Cualquier respuesta con una fecha anterior a ''1900'' se considera un error importante y se penaliza con -0.2 puntos. Cualquier otra respuesta no puntúa, pero tampoco resta puntos. En este ejemplo, la puntuación máxima positiva de la pregunta sería 1.0 puntos y la máxima negativa -0.2 puntos.
+Un inconveniente de modificar el comportamiento por defecto de las preguntas es que es necesario informar al alumno del cambio de criterio de puntuación, pregunta a pregunta. Siette actualmente no lo hace, porque eso conllevaría complicar el interfaz de respuesta del alumno que quiere mantenerse simple. Además en casos como el del ejemplo anterior, es difícil presentar esta información sin dar pistas sobre la respuesta.
+=== Evaluación TRI ===
+En el caso general, Siette mantiene una curva diferente para cada uno de los patrones de respuesta, uno más para el patrón genérico, es decir, la respuesta no reconocida, y otro para la respuesta en blanco. Puede haber mas de un patrón de respuesta correcto, y mas de un patrón incorrecto; por lo que al estimar las //curvas características// puede habrá algunas curvas ascendentes (en verde), y otras descendentes correspondientes a los patrones incorrectos (en rojo), y a la respuesta en blanco (en azul). Estas curvas pueden dar idea del nivel de conocimiento en función de cada opción de respuesta.
+{{ es:manual:items:curvas_caracteristicas_empiricas_libre.png?400 |}}
+En este caso no es raro que solo haya un patrón de respuesta correcta, con lo que al utilizar la calibración dicotómica, la //curva característica// de la respuesta correcta no suele ser tan diferente al caso politómico. En general las preguntas de respuesta abierta se comportan bien, con niveles dl coeficiente de adivinanza bajos (parámetro c) ya que no admiten respuesta al azar.
+{{ es:manual:items:curvas_caracteristicas_calibradas_libre.png?400 |}}
-=== TRI ===