Diferencias

Muestra las diferencias entre dos versiones de la página.

--- es:manual:items:patron:llm [2025/11/21 22:50] – root
+++ es:manual:items:patron:llm [2025/11/25 07:20] (actual) – [Patrones LLM con ficheros] root
@@ Línea 113: / Línea 113: @@
 Para ello, basta con activar la opción [[es:help_items_advanced#sistema_de_presentacion_de_la_pregunta|Sistema de presentación de la pregunta]] en la pestaña [[es:help_items_advanced|Avanzado]].
-Pueden enviarse ficheros de tipo texto, aunque para ello, si no son excesivamente largos, puede optarse por el método descrito anteriormente, usando un único campo de respuesta. También pueden enviarse documentos en pdf, imágenes, audio o video. En realidad todos estos ficheros no se envian directamente al servidor LLM, sino que se almacenan en el servidor de Siette y se construye una ULR a partir de la cual el servicio LLM puede descargarlos.
+Pueden enviarse ficheros de tipo texto, aunque para ello, si no son excesivamente largos, puede optarse por el método descrito anteriormente, usando un único campo de respuesta.
+También pueden enviarse imágenes, que se adjuntan mediante un fichero, se guardan en el servidor de Siette y se envían al agente LLM incrustadas en la llamada. De esta forma puede pedirse al sistema LLM que determine si se cumplen o no algunas condiciones que se imponen a la imagen.
 Pueden emplearse patrones LLM simples o múltiples. Tras la carga del fichero y la respuesta del agente LLM, el comportamiento de Siette es igual que en los demás patrones.
+=== Ejemplo ===
+El siguiente ejemplo ilustra el funcionamiento de este sistema. Se pide que se dibuje un esquema de un [[wpes>autómata finito]] determinista y mínimo para reconocer el lenguaje de la [[wpes>expresión regular]] ''ab(ab)*''. La pregunta se escribe con seis patrones a los que se les puede asignar distinta puntuación. Se asignan igualmente seis respuestas, a modo de patrones entre los que el agente LLM debe decidir cuales se cumplen.  La pregunta se marca como envío de fichero con el nombre "dibujo.png". La pregunta se mostrará de la siguiente manera:
+{{ es:manual:items:patron:af-pregunta.png }}
+El alumno debe subir una imagen, ya se una fotografía de un esquema hecho a mano, una captura de pantalla, un diseño grafico, etc. La imagen se guarda en Siette como en el caso de cualquier otra pregunta de evaluación con ficheros, pero se forma una consulta que se pasa al agente LLM a partir de las instrucciones que se especifican en la paguna, en conreto:
+    A partir de la imagen "<<respuesta>>"
+    Indica cuál de las siguientes opciones encaja mejor con la imagen recibida:
+    <<opciones>>
+que antes de llamar al sistema queda instanciada como:
+    A partir de la imagen "dibujo.png"
+    Indica cuál de las siguientes opciones encaja mejor con la imagen recibida:
+    (0) El dibujo representa un autómata finito
+    (1) El autómata finito de la imagen reconoce la secuencia ab
+    (2) El autómata finito de la imagen reconoce el lenguaje que genera la expresión
+        regular ab(ab)*
+    (3) El autómata finito del dibujo no reconoce abba
+    (4) El autómata finito de la imagen reconoce a ab(ab)* con el menor número de
+        estados posibles.
+    (5) El autómata finito del dibujo tiene transiciones en todos los estados para
+        todos los símbolos del alfabeto
+El etiquetado de las opciones con números se hace de forma automática. El campo ''<<respuesta>>'' se ha sustituido por el nombre de la imagen, que se adjunta también en la llamada al sistema LLM. Nótese que en este caso no se adjunta el enunciado, ya que pondría en aviso al agente de lo que cabe esperar que contenga la imagen, y según las pruebas realizadas este predisposición de la IA no resulta adecuada en este caso.
+Al agente se le dan las siguientes instrucciones:
+   Describe la imagen y selecciona las opciones que encajan bien con la imagen
+   que te mando. Tras la descripción, añade en tu respuesta la lista de opciones
+   como (1),(2), etc.. según las opciones que encajen con la imagen.
+   Solo dime las opciones que son verdaderas con respecto a la imagen.
+Se realizan varias pruebas, la primera de ellas enviando una solución incorrecta:
+{{ es:manual:items:patron:af-incorrecto.png }}
+El sistema actúa correctamente identificando que se trata de un autómata finito, pero que no es el que corresponde a las demás opciones.
+Si se envía otra imagen, en este caso un autómata finito determinista pero que no mínimo, detecta que se cumplen algunas condiciones mas:
+{{ es:manual:items:patron:af-parcialmente-correcto.png }}
+Finalmente, al enviar una versión correcta identifica correctamente que cumple con todas las restricciones:
+{{ es:manual:items:patron:af-correcto.png }}
+En este caso, parece haber funcionado correctamente, pero ha fallado en algunas de las opciones en el caso del autómata parcialmente correcto. ((La diferencia es sutil, el lenguaje que reconoce este autómata es ''aba(ba)*'' puesto que el estado 2 no es un estado final, si lo fuera, tampoco sería correcto, ya que entonces el lenguaje reconocido sería ''ab(ab)*|ab(ab)*a'' )). En este ejemplo inicialmente se le mostraba el enunciado, y no se le pedía que describiera la imagen, por lo que se obtenían peores resultados. Por otra parte, la descripción de la imagen ayuda a saber si ha identificado correctamente el dibujo. El estado actual de la IA dista de ser perfecto y sus capacidades de deducción son aún limitadas. Por consiguiente, será necesario ajustar las opciones y completar bien las instrucciones si se quieren obtener buenos resultados. El proceso de diseño de preguntas basadas en Patrones LLM requiere práctica y muchas pruebas. Igualmente, una vez que la pregunta se ha dado por correcta, la interacción con diversas soluciones planteadas por los alumnos puede poner de manifiesto problemas en la corrección que deben arreglarse. Para ello pueden redefinirse las opciones o las instrucciones de manera que se consiga una mayor tasa de acierto; y utilizar la opción de [[es:help_test_sessions#Acciones|volver a corregir]] sobre las sesiones ya enviadas.
+Debe tomarse por tanto con precaución el uso de este tipo de preguntas, que actualmente están en fase experimental. En general en temas especializados como éste aun queda mucho margen de mejora.