¡Esta es una revisión vieja del documento!
Patrón LLM
Desde la aparición de los sistemas de Inteligencia Artificial que incluyen modelos de lenguaje extensos LLM, es posible realizar (con algunas restricciones), consultas en lenguaje natural para determinar si la respuesta en lenguaje natural que ha dado el alumno a una determinada cuestión es o no correcta.
Como múltiples autores han venido demostrando, el sistema dista de ser perfecto al 100% para un sistema de propósito general, pero se puede utilizar y mejorar su eficacia en muchos casos, alcanzando en ocasiones precisiones del optimas en casos concretos.
En Siette se han integrado estos sistemas mediante lo que se denomina un “Patrón LLM”. Al igual que otros patrones de Siette (por ejemplo el patrón de Correspondencia o el patrón Siette), el patrón LLM lo que intenta es determinar si la respuesta que ha dado un alumno encaja con alguna de las opciones de respuesta que ha planteado el profesor. Para ello el patrón LLM construye una consulta al sistema LLM preguntándole cual de las opciones de respuesta encaja mejor con la respuesta dada por el alumno.
El profesor debe incluir en este tipo de preguntas el enunciado, un ejemplo de respuesta correcta y las opciones de respuesta o patrones entre los que el sistema LLM debe escoger.
Por ejemplo, para la pregunta: ¿Que son las rocas igneas? se proponen tres posible patrones de respuesta a elegir: (1) La respuesta es correcta y completa; (2) La respuesta es incompleta. Faltan datos importantes; (3) La respuesta es incorrecta. Dada una respuesta del alumno, el sistema LLM debe determinar cual de estas tres opciones encaja mejor con la respuesta dada.
El uso del patrón LLM esta indicado en aquellos casos en los que la respuesta del alumno sea un texto mas o menos extenso y tenga bastante variabilidad. Es en este caso cuando el patrón LLM cubre una funcionalidad que no puede darse con otro tipo de patrones. Sin embargo, si la respuesta es corta y precisa es mejor utilizar cualquier otro tipo de patrón de Siette,
Una vez realizada esta tarea, el funcionamiento de Siette es el mismo que en el caso de cualquier otra pregunta con patrón. 1). A cada uno de los patrones de respuesta puede asignarse una puntuación distinta, o un refuerzo específico, etc, aunque en el caso de los patrones LLM, lo mas normal es usar también los refuerzos mediante IA, tal como se muestra en la siguiente simulación de la respuesta de un alumno.
Consulta al sistema LLM
En este caso la consulta por defecto se compone del siguiente texto:
La consulta al sistema LLM se realiza mediante una llamada HTTPS a un servidor remoto al que se le pasa un único parámetro consistente en una estructura JSON que contiene diversos atributos. En general las consultas que realiza Siette vienen predeterminadas y el en principio no es necesario que el usuario conozca el sistema LLM y como interactuar con el. En cualquier caso Siette permite la configuración de algunos de los atributos de estas consultas, en concreto los siguientes:
Consulta principal
La consulta al modelo LLM se compone en lenguaje natural, pensando en que es el alumno que realiza el test el que de forma inconsciente realiza esta consulta al sistema. Un ejemplo de consulta puede ser la siguiente:
Sea la pregunta: <<ENUNCIADO>>. Mi respuesta a esta pregunta ha sido: <<RESPUESTA>> y la respuesta correcta es: <<SOLUCION>> Explica porqué mi respuesta es <<CORRECTA>>
Este es el texto en lenguaje natural que se le pasará al sistema LLM 2). En él se incluyen variables de sesión como «ENUNCIADO» que se instanciarán en tiempo real con el contenido del enunciado de la pregunta.
Ademas del texto de consulta principal en la consulta al sistema se pueden configurar los siguientes atributos:
Instrucciones
Es un texto que indica al modelo LLM como debe comportarse al emitir la respuesta, es decir son instrucciones que se le dan al modelo de GenIA para que se comporte de cierta manera al dar la respuesta, por ejemplo:
Formatea la contestación en HTML, pero no utilices títulos. Si tu contestación incluye formulas incrústalas mediante Mathjax
Las instrucciones también pueden contener variables de sesión y/o variables de perfil que se instancian antes de enviar la consulta al modelo LLM.
Por ejemplo, en las instrucciones puede añadirse esta indicación:
Respondele directamente a <<nombre>>, incluyendo su nombre en la respuesta. Adapta tu respuesta para un niño de <<edad>> años.
Modelo
Es el modelo de GenIA que se va a utilizar, en el caso de ChatGPT hay distintos modelos que se van desarrollando y mejorando con el tiempo, unos son mas complejos y requieren un mayor coste computacional para un mejor razonamiento y otros mas simples, pero menos costosos en tiempo y recursos.
Siette define un modelo por defecto, pero cada pregunta puede utilizar un modelo diferente.
Temperatura
El parámetro de temperatura se puede proporcionar a cualquiera de la familia de modelos GPT. La temperatura es un número entre 0 y 2, con un valor predeterminado de 1 o 0,7 según el modelo que se elija. La temperatura se utiliza para controlar la aleatoriedad de la salida. Cuando lo configuras más alto, mayor aleatoriedad hay en los resultados, mientras más bajo, los valores son más deterministas. En el contexto de los refuerzo se deben usar valores bajos, en torno a 0,2
Top P
El parámetro Top P controla la diversidad de las respuestas de un modelo de GenIA. Varia entre 0 y 1. Define un umbral de probabilidad acumulada y filtra las opciones menos probables. Valores altos (0.9 - 1.0) de este parámetro implica respuestas más variadas y creativas, mientras que valores bajos (0.1 - 0.3) respuestas más predecibles y conservadoras.Se usa para equilibrar creatividad y coherencia en la generación de texto.
Max tokens
Es un parámetro que sirve para controlar el tamaño máximo de la contestación del sistema LLM. En general las respuestas del sistema LLM son cortas de por si, por lo que si se deja el valor por defecto (2024) no afectará a la respuesta del sistema. Si se quiere una respuesta muy corta, se puede disminuir drásticamente este parámetro.