Desde principios del siglo XX en el que aparece por primera vez la evaluación mediante test, se han desarrollado un conjunto de teorías para analizar los resultados de este tipo de pruebas de evaluación. En concreto, son parte del conocimiento de esta materia las siguientes teorías:

• Teoría clásica de los test (TCT)
• Teoría de respuesta al ítem (TRI)
• Teoría de test adaptativos informatizados (TAI)

La definición de DRAE hace referencia al término test (Véase Terminología) tal como se usa coloquialmente, y tal como la usan las teorías anteriormente citadas. No obstante, es claramente insuficiente en el caso de Siette, ya que Siette no solo utiliza preguntas con varias opciones de respuesta previamente prefijadas, sino una gran variedad de preguntas en los que el alumno debe actuar de forma proactiva y generar una respuesta que Siette evalúa. ¹⁾

La evaluación que realiza Siette consiste en reducir o simplificar la respuesta del alumno en un conjunto de opciones de respuesta a un conjunto de ítems (átomos de conocimiento) que subyacen a la tarea planteada, por lo que para realizar el análisis de los resultados Siette hace uso de las teorías ya existentes.

No es el objetivo de este manual explicar en que consisten estas teorías, o cuál es la hipótesis que las sustentan. El lector interesado debe acudir a la amplia bibliografía existente. Este manual son simplemente unas notas y referencias para indicar las funciones que realiza Siette.

Siette incorpora algunas herramientas para analizar los resultados de un test. Los análisis mas simples son los que pueden hacerse mediante técnicas de estadística descriptiva, es decir, mostrar la distribución de resultados, de tiempo de duración del test, y hallar valores medios, desviaciones típica, y cuartiles de estas distribuciones.

La ciencia se basa en crear modelos de la realidad. En el caso de la evaluación el objeto de estudio es el conocimiento que un alumno tiene de una determinada materia. Evidentemente, la complejidad del cerebro humano, sus conexiones neuronales, la memoria, el razonamiento y todo aquello que constituye lo que llamamos “conocimiento” es demasiado complejo y en gran parte desconocido. Por consiguiente, se recurre a modelos aproximados para “medir” de alguna forma este conocimiento.

Los modelos mas simples y mas usados en la practica se reducen a un simple valor numérico, al que se denomina “nivel de conocimiento”, sobre una materia en concreto. Así por ejemplo, los profesores acostumbran a poner notas a los alumnos que indican si saben mas o menos sobre una materia. Esta nota es una especie de aglutinante de los conceptos que el alumno tiene sobre la materia. Dos alumnos con la misma nota puede que no tengan el mismo conocimiento sobre una materia, puede que uno de ellos sepa unos conceptos en concreto y el otro no sepa esos conceptos, y tambien al contrario, aunque probablemente habrá un nucleo común que con mucha probabilidad ambos comparten. Imaginemos por ejemplo dos alumnos con una nota de 9 sobre 10 en la materia “Física”. Ppuede que uno de ellos haya alcanzado esta nota con algún fallo en los conceptos de “Mecánica”, pero haya alcanzado el máximo en “Electricidad”, mientras que otro alumno con la misma nota haya alcanzado el máximo en la primera, pero no en la segunda

Evidentemente pueden desarrollarse modelos mas complejos, que tengan en cuenta los conceptos que intervienen en el conocimiento de una materia que establezcan relaciones entre los conceptos, o el orden en que se aprenden. Estos modelos suelen ser diseñados específicamente para una materia y no directamente utilizables como modelos genéricos, es decir aplicables directamente a cualquier materia, salvo que se realice previamente un proceso de definición del modelo.

En este sentido, Siette incorpora algunas caracteristicas que pueden servir para crear modelos complejos que proporciones una descripción mas detallada del conocimiento del alumno, mas allá de un simple valor numérico.

El modelo jerárquico consiste simplemente en establecer una jerarquía entre el conjunto de conceptos que componen una materia. La jerarquía es simplemente una relación de tipo “es-parte-de”, por ejemplo podriamos decir que el concepto “Suma” es parte del concepto “Aritmetica” y éste a su vez del concepto “Matemáticas”, o que los conceptos “Mecánica” y “Electricidad” son partes del concepto “Física”, etc. En la terminología de Siette estos conceptos equivalen a Temas y Subtemas.

En Siette el profesor puede crear un curriculum o jerarquía de temas y subtemas y asociar las preguntas cada uno de estos temas o subtemas. Al realizar una evaluación Siette asume que para evaluar un tema puede utilizar todas las preguntas asociadas directamente a ese tema o a alguno de sus subtemas. Una vez completada la evaluación, Siette puede proporcionar información acerca del conocimiento del alumno en el tema objeto del test, pero tambien en cada uno de los subtemas que lo componen. Para ello simplemente obtiene la calificación usando las preguntas asociadas a cada subtema.

Evidentemente, si el test se componen de 50 preguntas y tiene 5 subtemas, cada uno de ellos puede tener una media de 10 preguntas, y si a su vez cada subtema tiene otros 5 subtemas, de cada sub-subtema se habrán realizado solamente 2 preguntas. Evidentemente la precisión de la medida sería muy baja en este caso.

Desde este punto de vista la evaluación es el mecanismo mediante el cuál se mide el nivel de conocimiento sobre una materia.

En el campo de la evaluación se distingue entre dos conceptos fundamentales: La validez y la fiabilidad. La validez hace referencia a que