Informalmente se podría definir la evaluación como el proceso por el cual se van planteando preguntas al alumno para determinar a partir de sus respuestas cuál es su nivel de conocimientos.

Desde un punto de vista mas formal la evaluación es el proceso de medida o calibración de un modelo de conocimiento del alumno. Evaluar equivale a medir basándose en un modelo matemático y la herramienta con la que se mide son las preguntas.

A las evaluaciones automáticas normalmente se las conoce con el nombre de “test”, aunque la semántica habitual del término se presta alguna confusión. Según el DRAE un “test” es

test:

Prueba destinada a evaluar conocimientos o aptitudes, en la cual hay que elegir la respuesta correcta entre varias opciones previamente fijadas.

Diccionario de la Real Academia Española de la Lengua

Evidentemente las evaluaciones en Siette van mucho más allá de esta definición, ya que no solo se utilizan preguntas de múltiple opción. Sin embargo, a lo largo del desarrollo del sistema Siette se ha mantenido tradicionalmente el término “test” para hacer referencia a cualquier tipo de evaluación automática. ¹⁾. Entiéndase pues, en el contexto de Siette que cuando se dice “test de Siette” o simplemente “test” por brevedad, se está haciendo referencia a cualquier tipo de evaluación automática. ²⁾.

Siguiendo las indicaciones de la Real Academia Española, el plural de test es tambien test.

Para definir un test inicialmente es necesario indicar un subconjunto del banco de preguntas de la asignatura que pueden usarse para realizar la evaluación. Este conjunto es una selección previa, y supone simplemente un conjunto potencial de preguntas que pueden aparecer en las sesiones. Una vez hecha esta selección previa entrará en juego el criterio de selección para seleccionar una a una las preguntas a plantear.

Llamamos testlet a un grupo de preguntas que se presentan de forma simultánea al alumno, es decir se presentan en la misma página web. Lo habitual es presentar las preguntas de una en una, es decir, con un tamaño de testlet igual a uno, pero Siette puede presentar las preguntas en grupos de cualquier magnitud, incluso presentar todo el test en un solo testlet.

A cada una de las veces que un alumno realiza un test se denomina una sesión. Un alumno puede realizar mas de una sesión de un mismo test. Dependiendo del tamaño del [#Banco de pregunta de un test|banco de preguntas]] y del número de preguntas del test y de los criterios de selección y finalización, las sesiones podrán contener las mismas preguntas o preguntas diferentes, e incluso tener distinto número de preguntas.

Siette sigue siempre el siguiente esquema en la administración de un test:

En este grafo se muestra el proceso de evaluación en Siette. Inicialmente se comprueba si el alumno tiene acceso al test mediante los criterios de acceso y mediante el criterio de selección se selecciona una primera pregunta que se plantea al alumno. Éste responde lo que provoca una primera estimación de sus nivel de conocimientos. Llegados a este punto se aplica el criterio de finalización para determinar si el test debe seguir presentando preguntas o terminar definitivamente.

En cada iteración a partir de la priemra pregunta Siette actualiza el modelo de conocimientos del alumno aplicando el criterio de evaluación que se haya seleccionado, de manera que en todo momento se dispone de una estimación, supuestamente cada vez mas precisa, de su nivel de conocimientos

Si se van a seguir presentando preguntas se aplica el criterio de selección para determinar de entre todas las preguntas del banco de preguntas del test la siguiente pregunta a presentar, con el que el proceso vuelve al paso anterior.

Opcionalmente, según los criterios de presentación se mostrarán las preguntas de una en una o en grupos, denominados testlets. También es opcional mostrar las respuestas y la solución a cada una de las preguntas, ya sea después de cada pregunta, al finalizar el test o en el listado de sesiones.