Diferencias

Muestra las diferencias entre dos versiones de la página.

--- es:manual:items:patron:llm [2025/03/04 09:41] – root
+++ es:manual:items:patron:llm [2025/03/04 16:25] (actual) – root
@@ Línea 1: / Línea 1: @@
 ===== Patrón LLM =====
-Desde la aparición de los sistemas de Inteligencia Artificial que incluyen modelos de lenguaje extensos LLM, es posible realizar (con algunas restricciones), consultas en lenguaje natural para determinar si la respuesta en lenguaje natural que ha dado el alumno a una determinada cuestión es o no correcta.
+Desde la aparición de los sistemas de [[wpes>Inteligencia Artificial Generativa]] que incluyen [[wpes>modelos de lenguaje extensos]] (LLM), es posible realizar (con algunas restricciones), consultas en lenguaje natural para determinar si la respuesta en lenguaje natural que ha dado el alumno a una determinada cuestión es o no correcta.
-Como múltiples autores han venido demostrando, el sistema dista de ser perfecto al 100% para un sistema de propósito general, pero se puede utilizar y mejorar su eficacia en muchos casos, alcanzando en ocasiones precisiones del optimas en casos concretos.
+Como múltiples autores han venido demostrando, el sistema dista de ser perfecto para un sistema de propósito general, pero se puede utilizar y mejorar su eficacia en muchos casos, alcanzando en ocasiones precisiones optimas en casos concretos. El sistema LLM se comporta mejor cuando se trata de conocimiento general ampliamente aceptado y difundido, y pero en los casos de un conocimiento muy especifico o mas avanzado.
 En Siette se han integrado estos sistemas mediante lo que se denomina un "Patrón LLM". Al igual que otros patrones de Siette (por ejemplo el patrón de Correspondencia o el patrón Siette), el patrón LLM lo que intenta es determinar si la respuesta que ha dado un alumno encaja con alguna de las opciones de respuesta que ha planteado el profesor. Para ello el patrón LLM construye una consulta al sistema LLM preguntándole cual de las opciones de respuesta encaja mejor con la respuesta dada por el alumno.
-El profesor debe incluir en este tipo de preguntas el enunciado, un ejemplo de respuesta correcta y las opciones de respuesta o patrones entre los que el sistema LLM debe escoger.
+El profesor debe incluir en este tipo de preguntas el enunciado, las opciones de respuesta o patrones entre los que el sistema LLM debe escoger y por supuesto la respuesta del alumno que es objeto de clasificación. Opcionalmente se incluye también un ejemplo de respuesta correcta.
+=== Ejemplo ===
+Por ejemplo, para la pregunta: //¿Que son las rocas igneas?// se proponen tres posible patrones de respuesta a elegir: (1)// La respuesta es correcta y completa//; (2) //La respuesta es incompleta. Faltan datos importantes//; (3) //La respuesta es incorrecta//. Dada una respuesta del alumno, el sistema LLM debe determinar cual de estas tres opciones encaja mejor con la respuesta dada.
+{{ es:manual:items:patron:rocas_ignesas.png }}
+=== Uso de patrones LLM ===
+El uso del patrón LLM esta indicado en aquellos casos en los que la respuesta del alumno sea un texto mas o menos extenso y tenga bastante variabilidad. Es en este caso cuando el patrón LLM cubre una funcionalidad que no puede darse con otro tipo de patrones. Sin embargo, si la respuesta es corta y precisa es mejor utilizar cualquier otro [[es:manual:items:patrones|tipo de patrón]] de Siette,
+Una vez realizada esta tarea, el funcionamiento de Siette es el mismo que en el caso de cualquier otra pregunta con patrones. ((En el caso de usar patrones LLM en el previsualizador se muestra la respuesta que ha dado el sistema LLM, para poder depurar la consulta en caso necesario)). A cada uno de los patrones de respuesta puede asignarse una puntuación distinta, o un [[es:manual:test:refuerzos|refuerzo]] específico, etc, aunque en el caso de los patrones LLM, lo mas normal es usar también los [[es:manual:test:refuerzosia|refuerzos mediante IA]], tal como se muestra en el ejemplo anterior.
+==== Consulta al sistema LLM ====
+=== Consulta principal ===
+La consulta al modelo LLM se compone en lenguaje natural, pensando en que es el alumno que realiza el test el que de forma inconsciente realiza esta consulta al sistema. En este caso la consulta por defecto se compone del siguiente texto:
+   Sea la pregunta:
+   <<enunciado>>.
+   La respuesta que he dado es:
+   <<respuesta>>
+   Una posible respuesta correcta es:
+   <<solucion>>
+   Indica cuál de las siguientes opciones encaja mejor con la respuesta dada:
+   <<opciones>>
+Este es el texto en lenguaje natural que se le pasará al sistema LLM. En él se incluyen [[es:manual:test:variables_de_sesion|variables de sesión]] como <<ENUNCIADO>> que se instanciarán en tiempo real con el contenido del enunciado de la pregunta.
+En el caso de esta consulta, los elementos esenciales son el enunciado, las opciones y la respuesta del alumno. La solución (que se toma del ejemplo de respuesta correcta), no es imprescindible, ya que el sistema LLM puede determinar por si mismo si la respuesta es o no correcta,
+Ademas del texto de consulta principal en la consulta al sistema se pueden configurar los siguientes atributos:
+=== Instrucciones ===
+{{section>es:manual:test:refuerzosia#Instrucciones&noheader}}
+=== Modelo ===
+{{section>es:manual:test:refuerzosia#Modelo&noheader}}
+=== Temperatura ===
+{{section>es:manual:test:refuerzosia#Temperatura&noheader}}
+=== Top P ===
+{{section>es:manual:test:refuerzosia#Top_P&noheader}}
+=== Max Tokens ===
+{{section>es:manual:test:refuerzosia#Max_tokens&noheader}}
-Por ejemplo, para la pregunta: //¿Que son las rocas igneas?// se proponen tres posible patrones de respuesta a elegir: (1)// La respuesta es correcta y completa//; (2) //La respuesta es correcta pero incompleta//; (3) //La respuesta es incorrecta//. Dada una respuesta del alumno, el sistema LLM debe determinar cual de estas tres opciones encaja mejor con la respuesta dada.
-{{ es:manual:items:patron:rocas_ignesas.png?400 }}