Herramientas de usuario

Herramientas del sitio

Traza:
es:manual:items:modelos

Diferencias

Muestra las diferencias entre dos versiones de la página.

Enlace a la vista de comparación

Ambos lados, revisión anteriorRevisión previa
Próxima revisión		Revisión previa
es:manual:items:modelos [2021/06/09 12:36] – rootes:manual:items:modelos [2023/02/19 10:03] (actual) – [Preguntas de respuesta libre] root
Línea 1: Línea 1:
-===== Modelos de evaluación =====+===== Evaluación de las preguntas =====
  
-Entendemos por modelos de evaluación el algorimo segun el cuál se obtiene a partir de las respuestas del alumno una estimación de su nivel de conocimientos, ya sea en una escala numérica o en un conjunto de valores en los que se le clasifica.+Entendemos por modelos de evaluación el algoritmo según el cuál se obtiene a partir de las respuestas del alumno una estimación de su nivel de conocimientos, ya sea en una escala numérica o en un conjunto de valores en los que se le clasifica.
  
-Dependiendo del [[es:manual:items:tiposbasicos|tipo de pregunta]] y del [[es:manual:test:tipos|tipo de evaluación]] se usan distintos parámetros. El siguiente es un cuadro resumen de los valores por defecto. En las siguientes secciones se explica y justifica cada caso en detalle.+Dependiendo del [[es:manual:items:tiposbasicos|tipo de pregunta]] y del [[es:manual:test:tipos|tipo de evaluación]] se usan distintos parámetros. El siguiente es un cuadro resumen de los valores por defecto. En las siguientes secciones se explica y justifica cada caso en detalle y se comentan las posibles modificaciones de este comportamiento por defecto.
  
 ^ ^ Respuesta única ^Respuesta múltiple ^Respuesta libre ^ ^ ^ Respuesta única ^Respuesta múltiple ^Respuesta libre ^
-^Porcentual | La respuesta es correcta si se ha seleccionado la opción marcada como ''Correcta''| La respuesta es correcta si se ha seleccionado todas las opciones marcadas como ''Correcta'' y ninguna de las marcadas como ''Incorrecta''| La respuesta es correcta si encaja con algun patrón marcado como ''Correcto''  |+^Porcentual | La respuesta es correcta si se ha seleccionado la opción marcada como ''Correcta''| La respuesta es correcta si se ha seleccionado todas las opciones marcadas como ''Correcta'' y ninguna de las marcadas como ''Incorrecta''| La respuesta es correcta si encaja con algún patrón marcado como ''Correcto''  |
 ^Por puntos |Si la respuesta es correcta se asigna 1 punto, si es incorrecta se asigna $-\frac{1}{K-1}$, siendo $K$ el número de opciones de la pregunta | Cada opción de respuesta puntúa con $+\frac{1}{K}$ puntos en caso de que la opción sea ''Correcta'' y el alumno la seleccione o bien sea ''Incorrecta'' y el alumno no la seleccione,; y con $-\frac{1}{K}$ en caso contrario. | Si la respuesta encaja con algún patrón señalado como ''Correcto'' se le asigna 1 punto positivo, en otro caso no se asigna ninguna puntuación | ^Por puntos |Si la respuesta es correcta se asigna 1 punto, si es incorrecta se asigna $-\frac{1}{K-1}$, siendo $K$ el número de opciones de la pregunta | Cada opción de respuesta puntúa con $+\frac{1}{K}$ puntos en caso de que la opción sea ''Correcta'' y el alumno la seleccione o bien sea ''Incorrecta'' y el alumno no la seleccione,; y con $-\frac{1}{K}$ en caso contrario. | Si la respuesta encaja con algún patrón señalado como ''Correcto'' se le asigna 1 punto positivo, en otro caso no se asigna ninguna puntuación |
-^TRI | La opción de respuesta correcta tiene una //curva característica// propia, $p(\Theta)$ , las respuestas incorrectas y las respuesta en blanco tienen una //curva caractrística//  $1-p(\Theta)$ | Si la opción seleccionada se corresponde con la corrección propuesta se aplica la //curva característica// $p(\Theta)$; y si no la complementaria $1-p(\Theta)$  | Si la respuesta corresponde a un patrón correcto se usa la //curva característica// $p(\Theta)$; y si no la complementaria $1-p(\Theta)$  |+^TRI | La opción de respuesta correcta tiene una //curva característica// propia, $p(\theta)$ , las respuestas incorrectas y las respuesta en blanco tienen una //curva característica//  $1-p(\theta)$ ((En el caso de los modelos politómicos, cada opción de respuesta incluida la respuesta en blanco utiliza su propia curva característica)) | Si la opción seleccionada se corresponde con la corrección propuesta se aplica la //curva característica// $p(\theta)$; y si no la complementaria $1-p(\theta)$  | Si la respuesta corresponde a un patrón correcto se usa la //curva característica// $p(\theta)$; y si no la complementaria $1-p(\Theta)$ ((En el caso de que haya mas de un patrón, se utilizarán modelos politómicos, cada opción de respuesta utiliza su propia curva característica))  |
  
 ==== Preguntas de respuesta única ==== ==== Preguntas de respuesta única ====
-En las preguntas de respuesta única se proponen al alumno varias opciones para que elija una, sabiendo que solo una de las opciones mmostrarda es correcta, y las demás son lo que en la jerga de evaluación se llaman //distractores//. Las posibles acciones del alumno son elegir una de ellas, o no responder a la pregunta y saltar a la siguiente. +En las preguntas de respuesta única se proponen al alumno varias opciones para que elija una, sabiendo que solo una de las opciones mostrarda es correcta, y las demás son lo que en la jerga de evaluación se llaman //distractores//. Las posibles acciones del alumno son elegir una de ellas, o no responder a la pregunta y saltar a la siguiente. 
  
 === Evaluación Porcentual === === Evaluación Porcentual ===
Línea 43: Línea 43:
 En el caso de usar la técnica TRI, Siette esta preparado para utilizar una curva diferente para cada tema a los que pertenece la pregunta y para cada una de las opciones de respuesta, e incluso una curva diferente para el caso de respuesta en blanco. Es decir, si una pregunta pertenece al tema ''Suma'', que es subtema del tema ''Aritmetica'' que a su vez es subtema del tema ''Matemáticas'', suponiendo que la pregunta tenga $K$ opciones de respuesta, Siette utilizará un conjunto de $(K+1)$ //curvas carectaristicas// para cada uno de estos tres temas y subtemas. Dependiendo de la respuesta seleccionada el nivel de conocimiento del alumno se estimará como el producto normalizado de la estimación anterior por la //curva característica// de la respuesta asociada. En el caso de usar la técnica TRI, Siette esta preparado para utilizar una curva diferente para cada tema a los que pertenece la pregunta y para cada una de las opciones de respuesta, e incluso una curva diferente para el caso de respuesta en blanco. Es decir, si una pregunta pertenece al tema ''Suma'', que es subtema del tema ''Aritmetica'' que a su vez es subtema del tema ''Matemáticas'', suponiendo que la pregunta tenga $K$ opciones de respuesta, Siette utilizará un conjunto de $(K+1)$ //curvas carectaristicas// para cada uno de estos tres temas y subtemas. Dependiendo de la respuesta seleccionada el nivel de conocimiento del alumno se estimará como el producto normalizado de la estimación anterior por la //curva característica// de la respuesta asociada.
  
-El siguiente gráfico muestra las //curvas características// de una pregunta de opción multiple y respuesta única para un tema concreto. La curva verde corresponde a la //respuesta correcta//, las rojas a los //distractores// y la azul a la //respuesta en blanco//+El siguiente gráfico muestra las //curvas características// de una pregunta de opción múltiple y respuesta única para un tema concreto. La curva verde corresponde a la //respuesta correcta//, las rojas a los //distractores// y la azul a la //respuesta en blanco//
  
 {{ es:manual:items:curvas_caracteristicas_empiricas.png?400 |}} {{ es:manual:items:curvas_caracteristicas_empiricas.png?400 |}}
Línea 65: Línea 65:
 === Evaluación Porcentual == === Evaluación Porcentual ==
  
-La respuesta es correcta si se ha seleccionado todas las opciones marcadas como ''Correcta'' y ninguna de las marcadas como ''Incorrecta''. Esta decisión implica que las preguntas de múltiple respuesta tengan pocas probabilidades de ser respondidas  correctamente como fruto del azar, ya que para $K$ opciones, la probabilidad de acierto al azar es solo de $1/K^2$, por ejemplo para $K=4$ seria de $1/16 = 0.0625$, un 6,25%.+La respuesta es correcta si se ha seleccionado todas las opciones marcadas como ''Correcta'' y ninguna de las marcadas como ''Incorrecta''. Esta decisión implica que las preguntas de múltiple respuesta tengan pocas probabilidades de ser respondidas  correctamente como fruto del azar, ya que para $K$ opciones, la probabilidad de acierto al azar es solo de $1/2^K$, por ejemplo para $K=4$ seria de $1/16 = 0.0625$, un 6,25%.
  
 === Evaluación Por puntos === === Evaluación Por puntos ===
-Al evaluar esta pregunta por puntos, lo que se hace es evaluar cada una de las opciones por separado, asignandole una puntuación positiva de $1/K$ si la respuesta es acertada y de $-1/K$ si no lo es, siendo $K$ el número de opciones. La puntuación total se obtiene sumando los valores de todas las opciones.+Al evaluar esta pregunta por puntos, lo que se hace es evaluar cada una de las opciones por separado, asignándole una puntuación positiva de $1/K$ si la respuesta es acertada y de $-1/K$ si no lo es, siendo $K$ el número de opciones. La puntuación total se obtiene sumando los valores de todas las opciones.
  
 Por ejemplo, supongamos la siguiente pregunta de respuesta múltiple, y una respuesta del alumno: Por ejemplo, supongamos la siguiente pregunta de respuesta múltiple, y una respuesta del alumno:
Línea 80: Línea 80:
 ^ //Amarillo// | No | Si |        | -0.20 | ^ //Amarillo// | No | Si |        | -0.20 |
  
-A la vista de los resultados la puntuacón obtenida en esta pregunta es de +0.20 puntos.+A la vista de los resultados la puntuación obtenida en esta pregunta es de +0.20 puntos.
  
 Es importante señalar que se asume que las respuestas a cada opción son completamente INDEPENDIENTES, lo que se debe tener en cuenta al plantear la preguntas. Por ejemplo, en el caso anterior la independencia se vería alterada si el enunciado dijera "//Señala los tres coloes de la bandera de Francia//", ya que condiciona al alumno a descartar algunas combinaciones. Es importante señalar que se asume que las respuestas a cada opción son completamente INDEPENDIENTES, lo que se debe tener en cuenta al plantear la preguntas. Por ejemplo, en el caso anterior la independencia se vería alterada si el enunciado dijera "//Señala los tres coloes de la bandera de Francia//", ya que condiciona al alumno a descartar algunas combinaciones.
  
-Como opción por defecto en este tipo de preguntas la [[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima positiva]] y la [[[[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima negativa]] valen ambas 1.0 punto, ya que si el alumno acierta todas las opciones obtendría 1.0 punto y si falla todas -1.0 punto.+Como opción por defecto en este tipo de preguntas la [[es:help_items_evaluation#Puntuacion maxima|puntuación máxima positiva]] y la [[[[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima negativa]] valen ambas 1.0 punto, ya que si el alumno acierta todas las opciones obtendría 1.0 punto y si falla todas -1.0 punto.
  
 === Evaluación TRI === === Evaluación TRI ===
  
-Al igual que en el caso de las preguntas de respuesta única, para este tipo de preguntas tiene mucho sentido utilizar una //curva característica// diferente para cada una de las opciones de respuesta. Una primera aproximación de estas //curvas características// obtenida de forma //empírica// muestra las curvas asociadas a cada opción para una pregunta con tres opciones correcta y tres incorrectas. (Véase la dscripción en el epigrafe anterior).+Al igual que en el caso de las preguntas de respuesta única, para este tipo de preguntas tiene mucho sentido utilizar una //curva característica// diferente para cada una de las opciones de respuesta. Una primera aproximación de estas //curvas características// obtenida de forma //empírica// muestra las curvas asociadas a cada opción para una pregunta con tres opciones correcta y tres incorrectas. (Véase la descripción en el epígrafe anterior).
  
 {{ es:manual:items:curvas_caracteristicas_empiricas_multi.png?400 |}} {{ es:manual:items:curvas_caracteristicas_empiricas_multi.png?400 |}}
  
-En la práctica, si el proceso de calibracón se basa en opciones dicotómicas solo se obtendrían dos curvas, una para la respuesta con todas las opciones correctas y otra para cualquier otra combinación. Lo que suele ocurrir en estos casos es que las curvas dicotómicas que se obtiene son mucho mas discriminantes, (parámetro a), y con una menor probabilidad de acierto al azar, lo que lleva a un factor de adivinanza menor (parámetro c), ambas cualidades deseables en una //curva característca//.+En la práctica, si el proceso de calibracón se basa en opciones dicotómicas solo se obtendrían dos curvas, una para la respuesta con todas las opciones correctas y otra para cualquier otra combinación. Lo que suele ocurrir en estos casos es que las curvas dicotómicas que se obtiene son mucho mas discriminantes, (parámetro a), y con una menor probabilidad de acierto al azar, lo que lleva a un factor de adivinanza menor (parámetro c), ambas cualidades deseables en una //curva característica//.
  
 {{ es:manual:items:curvas_caracteristicas_calibradas_multi.png?400 |}} {{ es:manual:items:curvas_caracteristicas_calibradas_multi.png?400 |}}
  
 ==== Preguntas de respuesta libre ==== ==== Preguntas de respuesta libre ====
-En el caso de las preguntas de respuesta libre, el alumno debe decidir sin ningun //distractor// cuál es la respuesta a la pregunta. Aunque son mas difíciles de corregir, y por tanto pueden estar sometidas a mas errores, este tipo de preguntas son las mas adecuadas para una buena evaluación. Por otra parte, dado que Siette permite revisar los patrones de respuesta y [[volver a corregir]], los inconvenientes desde el punto de vista de la evaluación son muy marginales. +En el caso de las preguntas de respuesta libre, el alumno debe decidir sin ningun //distractor// cuál es la respuesta a la pregunta. Aunque son mas difíciles de corregir, y por tanto pueden estar sometidas a mas errores, este tipo de preguntas son las mas adecuadas para una buena evaluación. Por otra parte, dado que Siette permite revisar los patrones de respuesta y [[es:help_test_sessions#Acciones|volver a corregir]], los inconvenientes desde el punto de vista de la evaluación son muy marginales. 
  
 === Evaluación Porcentual === === Evaluación Porcentual ===
Línea 104: Línea 104:
  
 === Evaluación Por puntos === === Evaluación Por puntos ===
-En el caso de la evaluación por puntos, la puntuación de la pregunta se divide entre cada uno de las posibles respuestas, si es que hay varias. Si la pregunta tiene $K$ respuestas, cada una de ellas se puntua con $1/K$ puntos en caso de que corresponda a un patrón correcto y con $0$ puntos en caso de que corresponda a un patrón incorrecto, no corresponda a ningún patrón o se haya dejado en blanco, es decir que las opciones por defecto para  la [[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima positiva]] y la [[[[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima negativa]] son de 1.0 y 0.0 puntos respectivamente.+En el caso de la evaluación por puntos, la puntuación de la pregunta se divide entre cada uno de las posibles respuestas, si es que hay varias. Si la pregunta tiene $K$ respuestas, cada una de ellas se puntúa con $1/K$ puntos en caso de que corresponda a un patrón correcto y con $0$ puntos en caso de que corresponda a un patrón incorrecto, no corresponda a ningún patrón o se haya dejado en blanco, es decir que las opciones por defecto para  la [[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima positiva]] y la [[[[es:help_items_evaluation#Puntuacion maxima|puntuacion máxima negativa]] son de 1.0 y 0.0 puntos respectivamente.
  
-En este tipo de preguntas tiene algo mas de sentido modificar la puntuación por defecto, aplicando a algunas respuestas un //credito parcial//, cuando la respuesta del alumno se aproxime a la respuesta correcta aunque con algun defecto menor, o incluso penalizar alguna respuesta claramente erronea. El siguiente ejemplo ilusta esta situación:+En este tipo de preguntas tiene algo mas de sentido modificar la puntuación por defecto, aplicando a algunas respuestas un //crédito parcial//, cuando la respuesta del alumno se aproxime a la respuesta correcta aunque con algún defecto menor, o incluso penalizar alguna respuesta claramente errónea. El siguiente ejemplo ilustra esta situación:
  
 ^ ^Correcta ^Puntuación positiva ^Puntuación negativa ^ ^ ^Correcta ^Puntuación positiva ^Puntuación negativa ^
Línea 117: Línea 117:
 ^ //.//            | No |        | 0.0  | ^ //.//            | No |        | 0.0  |
  
-Aunque la respuesta correcta es ''1905'', en que Einstein publico la Teoría especial de la relatividad; se aceptan como correctas las respuestas ''1904'' y ''1906'' porque son muy aproximadas, asignandole 0.95 puntos. Las respuestas ''1915'', y ''1916'' tambien se aceptan como correctas, ya que es la fecha en la que se publico la Teoría General de la Relatividad. A esta respuesta se le asignan 0.90 puntos. Cualquier respuesta entre ''1904'' y ''1914'' se consideran incorrectas, aunque aproximadas, por lo que solo se asigna 0.5 puntos. Cualquier respuesta con una fecha anterior a ''1900'' se considera un error importante y se penaliza con -0.2 puntos. Cualquier otra respuesta no puntua, pero tampoco resta puntos. En este ejemplo, la puntuación máxima positiva de la pregunta sería 1.0 puntos y la máxima negativa -0.2 puntos.+Aunque la respuesta correcta es ''1905'', en que Einstein publico la Teoría especial de la relatividad; se aceptan como correctas las respuestas ''1904'' y ''1906'' porque son muy aproximadas, asignándole 0.95 puntos. Las respuestas ''1915'', y ''1916'' tambien se aceptan como correctas, ya que es la fecha en la que se publico la Teoría General de la Relatividad. A esta respuesta se le asignan 0.90 puntos. Cualquier respuesta entre ''1904'' y ''1914'' se consideran incorrectas, aunque aproximadas, por lo que solo se asigna 0.5 puntos. Cualquier respuesta con una fecha anterior a ''1900'' se considera un error importante y se penaliza con -0.2 puntos. Cualquier otra respuesta no puntúa, pero tampoco resta puntos. En este ejemplo, la puntuación máxima positiva de la pregunta sería 1.0 puntos y la máxima negativa -0.2 puntos.
  
-Un inconveniente de modificar el comportamiento por defecto de las preguntas es que es necesario informar al alumno del cambio de criterio de puntuación, pregunta a pregunta. Siette actualmente no lo hace, porque eso conllevaría complicar el intefaz de respuesta del alumno que quiere mantenerse simple. Además en casos como el del ejemplo anterior, es dificil presentar esta información sin dar pistas sobre la respuesta.+Un inconveniente de modificar el comportamiento por defecto de las preguntas es que es necesario informar al alumno del cambio de criterio de puntuación, pregunta a pregunta. Siette actualmente no lo hace, porque eso conllevaría complicar el interfaz de respuesta del alumno que quiere mantenerse simple. Además en casos como el del ejemplo anterior, es difícil presentar esta información sin dar pistas sobre la respuesta.
  
 === Evaluación TRI === === Evaluación TRI ===
  
-En el caso general, Siette mantiene una curva diferente para cada uno de los patrones de respuesta, uno mas para el patrón genérico, es decir, la respuesta no reconocida, y otro para la respuesta en blanco. Puede haber mas de un patrón de respuesta correcto, y mas de un patrón incorrecto; por lo que al estimar las //curvas características// puede habrá algunas curvas asocententes (en verde), y otras descendentes correspondientes a los patrones incorrectos (en rojo), y a la respuesta en blanco (en zaul). Estas curvas pueden dar idea del nivel de conocimiento en función de cada opción de respuesta.+En el caso general, Siette mantiene una curva diferente para cada uno de los patrones de respuesta, uno más para el patrón genérico, es decir, la respuesta no reconocida, y otro para la respuesta en blanco. Puede haber mas de un patrón de respuesta correcto, y mas de un patrón incorrecto; por lo que al estimar las //curvas características// puede habrá algunas curvas ascendentes (en verde), y otras descendentes correspondientes a los patrones incorrectos (en rojo), y a la respuesta en blanco (en azul). Estas curvas pueden dar idea del nivel de conocimiento en función de cada opción de respuesta.
  
 {{ es:manual:items:curvas_caracteristicas_empiricas_libre.png?400 |}} {{ es:manual:items:curvas_caracteristicas_empiricas_libre.png?400 |}}
es/manual/items/modelos.1623242177.txt.gz · Última modificación: 2021/06/09 12:36 por root
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki