Siette puede incluir en cada pregunta un texto generado mediante Inteligencia Artificial (IA) que se muestra al alumno una vez que éste ha contestado la pregunta. Este texto generalmente incluirá la explicación de por qué la respuesta del alumno ha sido correcta o incorrecta, o bien un contenido ampliado sobre el tema de la pregunta.

La inclusión de este tipo de refuerzos se hace mediante una llamada a un modelo extenso del lenguaje (LLM) externo a Siette, como por ejemplo ChatGPT. Siette compone una consulta al sistema LLM, la envía, obtiene la respuesta y la muestra al alumno. Para componer esta consulta es necesario incluir el enunciado y la respuesta que ha dado el alumno, En la práctica también se hace necesario incluir la respuesta correcta a la pregunta y si la respuesta del alumno se considera o no correcta por parte de Siette. Se ha observado que con la tecnología actual los sistemas de LLM no siempre son capaces de determinar la respuesta correcta a una pregunta, y que tienden a asumir como correcta la respuesta del alumno, aunque no lo sea. Para que el sistema funcione mejor es necesario por tanto indicarle no solo si la respuesta del alumno ha sido correcta, sino también la solución canónica a la pregunta.

La consulta al modelo LLM se compone en lenguaje natural, pensando en que es el alumno que realiza el test el que de forma inconsciente realiza esta consulta al sistema. Un ejemplo de consulta puede ser la siguiente:

  Sea la pregunta: <<ENUNCIADO>>.
  Mi respuesta a esta pregunta ha sido: <<RESPUESTA>>
  y la respuesta correcta es: <<SOLUCION>>
  Explica porqué mi respuesta es <<CORRECTA>>

En donde aparecen variables de sesión como «ENUNCIADO» que se instanciarán en tiempo real con el contenido del enunciado de la pregunta.

Ademas del texto de consulta principal en la consulta al sistema se pueden configurar los siguientes atributos:

Es un texto que indica al modelo LLM como debe comportarse al emitir la respuesta, es decir son instrucciones que se le dan al modelo de IA para que se comporte de cierta manera al dar la respuesta, por ejemplo:

   Formatea la contestación en HTML, pero no utilices títulos.
   Si tu contestación incluye formulas incrústalas mediante Mathjax

Las instrucciones también pueden contener variables de sesión que se instancian antes de enviar la consulta al modelo LLM.

Es el modelo de IA que se va a utilizar, en el caso de ChatGPT hay distintos modelos que se van desarrollando y mejorando con el tiempo, unos son mas complejos y requieren un mayor coste computacional para un mejor razonamiento y otros mas simples, pero menos costosos en tiempo y recursos.

Siette define un modelo por defecto, pero cada pregunta puede utilizar un modelo diferente.

El parámetro de temperatura se puede proporcionar a cualquiera de la familia de modelos GPT. La temperatura es un número entre 0 y 2, con un valor predeterminado de 1 o 0,7 según el modelo que se elija. La temperatura se utiliza para controlar la aleatoriedad de la salida. Cuando lo configuras más alto, mayor aleatoriedad hay en los resultados, mientras más bajo, los valores son más deterministas. En el contexto de los refuerzo se deben usar valores bajos, en torno a 0,2

Es un parámetro que sirve para controlar el tamaño máximo de la contestación del sistema LLM. En general las respuestas del sistema LLM son cortas de por si, por lo que si se deja el valor por defecto (2024) no afectará a la respuesta del sistema. Si se quiere una respuesta muy corta, se puede disminuir drásticamente este parámetro.

Por ejemplo, para la siguiente pregunta:

A partir de la plantilla anterior, se construirá una consulta al sistema LLM (en este caso ChatGPT) con la siguiente información:

  Sea la pregunta: Un astronauta se encuentra con su nave espacial en reposo 
    sobre la superficie de un planeta desconocido. Deja caer una piedra desde 
    una altura de 3 m. y tarda 1,01 s en chocar con el suelo. Determinar el
    módulo de la aceleración debida a la gravedad de este planeta.
  Mi respuesta a esta pregunta ha sido: 9,81 m/s^2
  y la respuesta correcta es: 5,92 m/s<sup>2</sup>
  Explica porqué mi respuesta es incorrecta.

A este texto se le añaden como parámetros de instrucciones, temperatura, etc; se prepara la consulta y se envia al sistema de IA, que devuelve un texto en HTML/Mathjax que se mostrará al alumno directamente:

La inclusión de refuerzos mediante IA es opcional, por supuesto, y solo se mostrará al alumno si el test lo permite, al igual que en el caso de los refuerzos clásicos, Hay algunas diferencias a tener en cuenta en el funcionamiento de este tipo de refuerzos:

• Los refuerzos mediante IA son comunes a la pregunta y no están vinculados a la respuesta que haya dado el alumno, Aunque tienen en cuenta la respuesta del alumno, no necesariamente detectan la causa profunda del error.
• Los refuerzos mediante IA generalmente incluyen en el texto la respuesta correcta a la pregunta, a diferencia de los refuerzos clásicos que no muestran necesariamente la solución, ya que el texto que se muestra esta bajo el control del profesor que crea los contenidos. En el caso de los refuerzos IA, es difícil evitar que se cuele una explicación que contenga la solución.
• Los refuerzos mediante IA se muestran exclusivamente durante la realización del test, y nunca se muestran al final de la sesión o en el listado de sesiones. ¹⁾