En el campo de la evaluación se distingue entre dos conceptos fundamentales: La validez y la fiabilidad. La validez hace referencia a la correspondencia entre lo que se quiere medir y lo que realmente se mide, mientras que la fiabilidad hace referencia a la precisión con la que se mide. El siguiente gráfico es bastante ilustrativo. Evidentemente lo deseable es que concurran ambos aspectos, pero en cualquier caso, la validez siempre es preferible a la fiabilidad.

En el campo de la psicometría a su vez se hacen diferencias entre distintos tipos de validez. El concepto de validez mas común es el que se conoce como “validez del constructo” y es al que nos referimos en general al hablar de validez. Un test tiene validez si los resultados dependen realmente del conocimiento de la materia que se está midiendo y no de cualquier otro factor. Es decir, si las preguntas del test requieren conocimientos ajenos a la materia, o son conocidas previamente por los alumnos, la evaluación deja de ser válida.

El modelo de conocimiento clásico se basa en estimar el nivel de conocimiento global sobre una materia. Por consiguiente, si la materia esta dividida en diversos contenidos, para que la evaluación global sea válida es necesario que todos los contenidos esten representados en la evaluación, es decir que constituya una muestra adecuada y representativa de todos los contenidos de la materia a evaluar. Esto puede conseguirse simplemente con un muestreo aleatorio, si hay suficientes preguntas.

Como consecuencia directa de este concepto de validez, si los alumnos saben de antemano que solo se preguntarán ciertos temas, o que solo se hará un cierto tipo de ejercicios, la evaluación puede dejar de ser válida.

Se habla de validez convergente cuando las mediciones del conocimiento de una materia realizadas con distintos métodos correlacionan entre sí. Es decir, si se mide mediante un test de preguntas de opción múltiple o mediante preguntas abiertas, o mediante ejercicios de problemas el conocimiento de una materia los niveles de conocimiento inferidos para un mismo alumno deberían ser iguales por los distintos métodos para que hubiera validez convergente.

Si los resultados obtenidos por distintos medios no son los mismos puede ocurrir que cada uno de los distintos métodos de evaluación esté evaluando aspectos diferentes del conocimiento, por ejemplo diversos procesos cognitivos segun la taxonomia de Bloom. En este caso las evaluaciones puden ser validas pero complementarias ya que el nivel de conocimiento global podría entenderse como una combinación de los procesos cognitivos relacionados con el conocimiento (aprendizaje) de una materia. Pensemos por ejemplo en un test con preguntas de multiple opción sobre la tabla de multiplicar y en ejercicios de problemas de sobre multiplicaciones. En el primer caso basta con recordar de memoria ciertos valores, en el segundo es necesaio saber aplicarlos.

En el campo de la evaluación educativa normalmente se dice que una buena evaluación es una evaluación variada tanto en los contenidos (validez de contenidos) como en los métodos de evaluación.

El concepto de fiabilidad informalmente equivale al concepto de precisión de la medida. Un test será mas fiable cuando el error de la madida sea menor, es decir, cuando la medida que da sea lo mas cercana posible a la medida real. Sin embargo, a diferencia de la validez que es dificil de medir y cuantificar dentro de la teória clasica de los test (TCT) se han desarrollado definiciones matemáticas precisas de este concepto. Así pues, cuando se habla de fiabilidad de un test no nos referimos a algo abstracto o a la precisión en sentido general, sino a un valor estadístico que se puede definirse formalmente.

La TCT se basa en el supuesto de que el nivel real de conocimiento de un alumno $V$ puede medirse mediante un número real (vease la introducción sobre modelos del conocimiento), $X$ obtenido por ejemplo como porcentaje de preguntas acertadas, pero que por efecto del azar y otros factores desconocidos ambos valores no coinciden, ya que hay siempre un cierto error $E$ en la medida, es decir: $$V = X+E$$ El modelo asume que los errores $E$ son aleatorios, que el valor medio de la suma de los errores tiende a ser 0, y que no se correlaciona ni con el valor real de conocimiento, ni con el error en otros test lo que implica que las medias son insesgadas: $$E(X) = E(V) + E(E); E(E) = \mu_X = \mu_V$$ y que el cálculo de las varianzas puede simplificarse $$\sigma_{X}^{2} = \sigma_{V}^{2} + \sigma_{E}^{2} + 2\sigma_{EV}^{2} = \sigma_{V}^{2} + \sigma_{E}^{2}$$ $$\sigma_{XV}^{2} = E((V*E)V) + E(V+E)E(V) = \sigma_{V}^{2}$$

El coeficiente de fiabilidad $\rho$ se define como el cuadrado del coeficiente de correlación entre la puntuación verdadera y la observada. Aplicando la definición de correlación, con la hipotesis de que los errores son aleatorios e insesgados, en este caso resulta ser proporcional a la relación entre las varianzas del error y la puntuación observada. A mayor error, menor fiabilidad.

$$\rho_{XV}^2=\frac{\sigma_{XV}^2}{\sigma_X^2\sigma_V^2}=\frac{(\sigma_V^2)^2}{\sigma_X^2\sigma_V^2}=\frac{\sigma_V^2}{\sigma_X^2}=\frac{\sigma_X^2-\sigma_E^2}{\sigma_X^2}= 1-\frac{\sigma_E^2}{\sigma_X^2}$$

Sin embargo, como las puntuaciones verdaderas no se conocen, ni los errores tampoco, este coeficiente de correlación no puede hallarse directamente por lo que se recurre a estimaciones basadas en distintos supuestos.

Consiste en hacer dos test con preguntas equivalentes, las puntuaciones verdaderas deben ser las mismas, pero las puntuaciones observadas pueden diferir por causa del error.

$$X = V + E$$ $$X' = V + E'$$

Suponiendo ademas que estos errores no están correlacionados entre si y que tienen igual varianza: $$\sigma_{E}^2 = \sigma_{E'}^2$$ puede deducirse que $$E(VE') = E(EV) = E(EE') = 0$$

En este caso, la correlación entre la nota observada en el primer test y en el segundo test resulta ser exactamente el coeficiente de fiabilidad:

$$\rho_{XX'}=\frac{E(XX')}{\sigma_X\sigma_{X'}}=\frac{E(V+E)+E(V+E'}{\sigma_X\sigma_{X'}}=\frac{E(V^2)E(VE')+E(EV)+E(EE')}{\sigma_X\sigma_{X'}}=\frac{\sigma_V^2}{\sigma_X^2}=\rho_{XV}^2$$