Para corregir las preguntas de respuesta libre es necesario usar “patrones de evaluación”. Los patrones de evaluación son algoritmos o “plugins” que tienen como entrada uno o varios patrones (elementos que sirven de base para la comparación), y una o varias respuestas del alumno. Su objetivo es determinar si la respuesta o respuestas “encajan” o no con alguno de los patrones.

Los patrones son representaciones simbólicas de un conjunto de posibles respuestas. Para cada pregunta puede haber más de un patrón de respuesta (algunos correctos y otros incorrectos). La respuesta del alumno a una preguntas de respuesta libre, o equivalente, se compara con cada uno de los patrones en el orden en que se definen.

En Siette se han definido diversos tipos de patrones de evaluación. La especificación está abierta a la inclusión de nuevos “plugins”, para evaluar otros tipos de preguntas de uso especifico para algunas asignaturas. Los tipos de patrones actualmente implementados son:

• Patrón de correspondencia
• Patrón de expresiones regulares de Siette
• Patrón de expresiones regulares de Java
• Patrón de expresiones matemáticas
• Patrón de expresiones lógicas
• Patrón de funciones de evaluación
• Patrón de evaluación de gramáticas
• Patrón de música

En todos los patrones el comportamiento del correspondiente plugin es el mismo. Supongamos que hay n patrones definidos por el usuario, mas un patrón al que llamaremos patrón por defecto; y m respuestas del alumno, en donde n>=m, en pseudocodigo el algoritmo que utilizan todos los plugin de evaluación de Siette sería el siguiente

• Para cada respuesta Respuesta_i, tal que 1<i<=m
  • Para cada patron Patron_j, tal que 1<j<=n
    • Si Respuesta_i encaja con el Patrón_j
      • entonces
        • Asignar Patrón_j a la Respuesta_i
        • Evaluar la respuesta como esCorrecto(Patrón_j)
        • Descartar el patrón Patrón_j
        • Siguiente Respuesta
      • en otro caso
        • Siguiente Patrón
  • Si no se ha encontrado ningún patrón para la Respuesta_i
    • Asignar el patrón por defecto Patron_j+1 a la Respuesta_i
    • Evaluar la respuesta como “Incorrecta”
• Siguiente Respuesta

Un ejemplo del funcionamiento de este algoritmo puede verse en la sección dedicada a las preguntas de respuesta libre.

Finalmente, este algritmo asociará a cada respuesta un patrón, y dependiendo de si el patrón es correcto o no, cada una de las respuestas se considerará correcta o incorrecta. Este comportamiento es común a todos los patrones, la mayor diferencia entre ellos reside en la interpretación del termino encaja que se explica para cada uno de los patrones.

Se han definido cinco modificadores básicos de las respuestas para establecer la concordancia con el patrón en el caso de que incluyan textos:

• Equivalencia entre mayusculas y minúsculas
• Equivalencia entre letras acentuadas y no acentuadas.
• Ignorar signos de puntuación
• Ignorar espacios en blanco
• Ignorar pequeños errores tipográficos

Dependiendo del tipo de patrón de evaluación estas variaciones pueden no ser aplicables dada su naturaleza eminentemente relacionada con patrones y respuestas de tipo textual.

Si se selecciona esta opción, los siguientes caracteres se consideran iguales (por grupos):

Si se selecciona esta opción, los siguientes caracteres se consideran iguales (por grupos):

Si se selecciona esta opción, los siguientes caracteres se eliminan de la respuesta y del patrón comprobando solo la equivalencia de los caracteres restantes:

Si se selecciona esta opción, los siguientes caracteres se eliminan de la respuesta y del patrón comprobando solo la equivalencia de los caracteres restantes:

En este caso lo que se hace es generar variaciones de la respuesta del alumno y confrontarlas con el patrón. Las variaciones se obtienen mediante operaciones que afectan a un solo símnolo:

• Eliminar un solo caracter de la respuesta.
• Añadir un nuevo caracter a la respuesta en cualquier posición.
• Sustituir un caracter de la respuesta por otro cualquiera.
• Intercambiar la posición de dos carecteres consecutivos de la respuesta.

Evidentemente, esta generación de variaciones tiene una complejidad lineal con la longitud de la respuesta, por lo que no debe utilizarse si se prevee que la respuesta va a ser larga.

Un ejemplo del funcionamiento de estas variaciones puede verse en la sección dedicada a las preguntas de respuesta libre.

Evidentemente, la potencia que ofrece el uso de estas expresiones en la definición de patrones de respuesta está limitado por el grado de tolerancia a fallos que se haya decidido aceptar. Se deja a criterio del profesor su buen uso. Como consejo general a la hora de crear preguntas de respuesta libre corregidas mediante patrones, lo mejor es concretar al máximo posible la pregunta, de manera que no existan muchas ambigüedades

El uso de patrones permite aceptar como respuestas un conjunto potencialmente muy grande de respuestas, siempre que éstas se limiten a un texto corto. Es difícil generar patrones que respondan exactamente bien a todas las posibles respuestas de los alumnos, sin embargo puede jugarse con la ventaja de realizar una modificación del patrón una vez obtenidas todas las respuestas de los alumnos, lo que en la practica asegura la corrección correcta del 100% de las respuestas. Para ello, Siette incluye: (1) Un listado para ver las respuestas de los alumnos y la correspondencia con los patrones de respuesta que se les ha adjudicado. (2) Un entorno de edición que permite modificar y probar los patrones; y (3) Un botón para volver a corregir una o todas las sesiones realizadas.

Cuando se utiliza la técnica de patrones, siempre puede pasar que el alumno dé una respuesta que no encaje con ninguno de los patrones que ha escrito el profesor en la pregunta. Para estos casos, Siette añade siempre a los patrones indicados por el profesor un patrón por defecto que encaja con cualquier respuesta que no esté en blanco. Este comportamiento es común para todos los tipos de patrones.