En el campo de la psicometría a su vez se hacen diferencias entre distintos tipos de validez. El concepto de validez mas común es el que se conoce como “validez del constructo” y es al que nos referimos en general al hablar de validez. Un test tiene validez si los resultados dependen realmente del conocimiento de la materia que se está midiendo y no de cualquier otro factor. Es decir, si las preguntas del test requieren conocimientos ajenos a la materia, o son conocidas previamente por los alumnos, la evaluación deja de ser válida.

El modelo de conocimiento clásico se basa en estimar el nivel de conocimiento global sobre una materia. Por consiguiente, si la materia esta dividida en diversos contenidos, para que la evaluación global sea válida es necesario que todos los contenidos esten representados en la evaluación, es decir que constituya una muestra adecuada y representativa de todos los contenidos de la materia a evaluar. Esto puede conseguirse simplemente con un muestreo aleatorio, si hay suficientes preguntas.

Como consecuencia directa de este concepto de validez, si los alumnos saben de antemano que solo se preguntarán ciertos temas, o que solo se hará un cierto tipo de ejercicios, la evaluación puede dejar de ser válida.

Se habla de validez convergente cuando las mediciones del conocimiento de una materia realizadas con distintos métodos correlacionan entre sí. Es decir, si se mide mediante un test de preguntas de opción múltiple o mediante preguntas abiertas, o mediante ejercicios de problemas el conocimiento de una materia los niveles de conocimiento inferidos para un mismo alumno deberían ser iguales por los distintos métodos para que hubiera validez convergente.

Si los resultados obtenidos por distintos medios no son los mismos puede ocurrir que cada uno de los distintos métodos de evaluación esté evaluando aspectos diferentes del conocimiento, por ejemplo diversos procesos cognitivos segun la taxonomia de Bloom. En este caso las evaluaciones puden ser validas pero complementarias ya que el nivel de conocimiento global podría entenderse como una combinación de los procesos cognitivos relacionados con el conocimiento (aprendizaje) de una materia. Pensemos por ejemplo en un test con preguntas de multiple opción sobre la tabla de multiplicar y en ejercicios de problemas de sobre multiplicaciones. En el primer caso basta con recordar de memoria ciertos valores, en el segundo es necesaio saber aplicarlos.

En el campo de la evaluación educativa normalmente se dice que una buena evaluación es una evaluación variada tanto en los contenidos (validez de contenidos) como en los métodos de evaluación.