Desde la aparición de los sistemas de Inteligencia Artificial que incluyen modelos de lenguaje extensos LLM, es posible realizar (con algunas restricciones), consultas en lenguaje natural para determinar si la respuesta en lenguaje natural que ha dado el alumno a una determinada cuestión es o no correcta.

Como múltiples autores han venido demostrando, el sistema dista de ser perfecto al 100% para un sistema de propósito general, pero se puede utilizar y mejorar su eficacia en muchos casos, alcanzando en ocasiones precisiones del optimas en casos concretos.

En Siette se han integrado estos sistemas mediante lo que se denomina un “Patrón LLM”. Al igual que otros patrones de Siette (por ejemplo el patrón de Correspondencia o el patrón Siette), el patrón LLM lo que intenta es determinar si la respuesta que ha dado un alumno encaja con alguna de las opciones de respuesta que ha planteado el profesor. Para ello el patrón LLM construye una consulta al sistema LLM preguntándole cual de las opciones de respuesta encaja mejor con la respuesta dada por el alumno.

El profesor debe incluir en este tipo de preguntas el enunciado, un ejemplo de respuesta correcta y las opciones de respuesta o patrones entre los que el sistema LLM debe escoger.

Por ejemplo, para la pregunta: ¿Que son las rocas igneas? se proponen tres posible patrones de respuesta a elegir: (1) La respuesta es correcta y completa; (2) La respuesta es incompleta. Faltan datos importantes; (3) La respuesta es incorrecta. Dada una respuesta del alumno, el sistema LLM debe determinar cual de estas tres opciones encaja mejor con la respuesta dada.

Una vez realizada esta tarea, el funcionamiento de Siette es el mismo que en el caso de cualquier otra pregunta con patrón. A cada uno de estos patrones puede asignarse una puntuación distinta, o un refuerzo específico, etc, aunque en el caso de los patrones LLM, lo mas normal es usar también los refuerzos mediante IA, tal como se muestra en la siguiente simulación de la respuesta de un alumno.