El concepto de fiabilidad informalmente equivale al concepto de precisión de la medida. Un test será mas fiable cuando el error de la madida sea menor, es decir, cuando la medida que da sea lo mas cercana posible a la medida real. Sin embargo, a diferencia de la validez que es dificil de medir y cuantificar dentro de la teória clasica de los test (TCT) se han desarrollado definiciones matemáticas precisas de este concepto. Así pues, cuando se habla de fiabilidad de un test no nos referimos a algo abstracto o a la precisión en sentido general, sino a un valor estadístico que se puede definirse formalmente.

En la TCT, el coeficiente de fiabilidad se define como el cuadrado del coeficiente de correlación entre la puntuación verdadera y la observada. Aplicando la definición de correlación, con la hipotesis de que los errores son aleatorios e insesgados, en este caso resulta ser proporcional a la relación entre las varianzas del error y la puntuación observada. A mayor error, menor fiabilidad.

$$\rho_{XV}^2=\frac{\sigma_{XV}^2}{\sigma_X^2\sigma_V^2}=\frac{(\sigma_V^2)^2}{\sigma_X^2\sigma_V^2}=\frac{\sigma_V^2}{\sigma_X^2}=\frac{\sigma_X^2-\sigma_E^2}{\sigma_X^2}= 1-\frac{\sigma_E^2}{\sigma_X^2}$$

Sin embargo, como las puntuaciones verdaderas no se conocen, ni los errores tampoco, este coeficiente de correlación no puede hallarse directamente por lo que se recurre a estimaciones basadas en distintos supuestos.

Consiste en hacer dos test con preguntas equivalentes, las puntuaciones verdaderas deben ser las mismas, pero las puntuaciones observadas pueden diferir por causa del error.

$$X = V + E$$ $$X' = V + E'$$

Suponiendo ademas que estos errores no están correlacionados entre si y que tienen igual varianza: $$\sigma_{E}^2 = \sigma_{E'}^2$$ puede deducirse que $$E(VE') = E(EV) = E(EE') = 0$$

En este caso, la correlación entre la nota observada en el primer test y en el segundo test resulta ser exactamente el coeficiente de fiabilidad:

$$\rho_{XX'}=\frac{E(XX')}{\sigma_X\sigma_{X'}}=\frac{E(V+E)+E(V+E'}{\sigma_X\sigma_{X'}}=\frac{E(V^2)E(VE')+E(EV)+E(EE')}{\sigma_X\sigma_{X'}}=\frac{\sigma_V^2}{\sigma_X^2}=\rho_{XV}^2$$

Evidentemente, suponer que el mismo test planteado dos veces al mismo alumno tendría errores completamente aleatorios, es demasiado suponer, simplemente porque el alumno recordaría las preguntas y las respuestas que dió en la primera ocasión, lo que invalida todo el planteamiento anterior.

Sin embargo, se puede intentar una aproximación a este caso ideal, planteando lo que se denominan test paralelos, es decir, dos test distintos pero que tienen preguntas parecidas que en el fondo son casi las mismas pero cuya redacción es diferente para evitar el problema anterior. Esta técnica se denomina “test paralelos”, y en la práctica tambien son muy difíciles de implementar. Para confirmar que dos test son efectivamente paralelos sus medias y desviaciones típicas deberían ser iguales.

En el caso en que se planteen dos test diferentes a un mismo alumno, en el caso hipotético de que los dos test fueran perfectamente paralelos, el coeficiente de correlación entre ambos sería exactamente la fiabilidad, ya que las discrepancias solo serían debidas a los errores aleatorios.

Si ambos test no son del todo paralelos, el valor que se obtiene de la correlación entre las puntuaciones en ambos test $\rho_{XX'}$ estaría siempre por debajo del valor de la fiabilidad. Por tanto hallar este valor nos da en cualquier caso una cota inferior de la fiabilidad del test.

Cualquier test compuesto por $N$ preguntas puede dividirse en dos mitades, considerando cada una de ellas como un test diferente. Hallando la correlación entre ambas mitades obtendremos un valor que indica la consistencia interna del test y que es una cota inferior de la fiabilidad. Repitiendo el experimento varias veces, y tomando el mayor valor de todas las pruebas tendremos una cota inferior de la fiabilidad.

Hay varias formas de dividir un test en dos mitades que se han usado tradicionalmente en el análisis de los test: * Dividir el test en preguntas pares-impares, según el orden de presentación * Ordenar la preguntas por dificultad y dividir por pares-impares. * Mitades aleatorias.

Los dos primeros casos son mas convenientes cuando el cálculo se hace manualmente, pero actualmente es mucho mas efectivo obtener las mitades de forma aleatoria y repetir el experimento muchas veces tomando el mayor valor. A este valor se le conoce como $\lambda_4$ de Gutman

En general, la fiabilidad de un test aumenta al aumentar el número de preguntas que lo componen. Suponiendo que los test sean realmente paralelos, combinando dos test la fiabilidad aumenta según la conocida como fórmula de Spearman-Brown: $$\rho_{XX'}=\frac{2\rho_{12}}{1+\rho_{12}}$$ en donde $\rho_{12}$ representa la correlación entre anterior (o entre ambas mitades), y $\rho_{XX'}$ la nueva correlación. Esta fórmula puede generalizarse en el caso de combinar $N$ test paralelos: $$\rho_{XX'}^*=\frac{N\rho_{XX'}}{1+(N-1)\rho_{XX'}}$$

En la práctica aumentar el número de preguntas aumenta la fiabilidad, pero hasta un cierto punto, pero en el mejor de los casos el aumento no es ni mucho menos lineal.

Un valor propuesto para medir la fiabilidad de un test se calcula mediante la fórmula: $$r=\frac{K}{K-1}\begin{bmatrix} 1-\frac{\sum_{i=1}^{K}p_iq_i}{\sigma_X^2} \end{bmatrix}$$

en donde, $K$ es el número de ítems; $p_i$ es la proporción de aciertos del ítem $i$-esimo, y $q_i$ la proporción de fallos $(p_i + q_i = 1)$ y $\sigma_X^2$ es la varianza de las puntuaciones del test.

Es otro indicador de la coherencia interna de un test. Suponiendo que la puntuación $X$ de un test depende de las puntuaciones obtenidas en $K$ items $X = Y_1 + Y_2 + ... + Y_K$, se define el valor estadístico $\alpha_{raw}$ como: $$\alpha_{raw} = \frac{K}{K-1}\begin{bmatrix} 1-\frac{\sum_{i=1}^{K}\sigma_{Y_i}^2}{\sigma_X^2} \end{bmatrix}$$

en donde $\sigma_X^2$ es la varianza de las puntuaciones del test y $\sigma_{Y_i}^2$ la varianza de los resultados del ítem $i$-esimo.

En el caso de variables dicotómicas (verdadero/falso), esta fórmula coincide con la de Kuder-Richardson. Alternativamente este valor puede calcularse mediante la formula: $$\alpha_{raw}=\frac{K\bar{c}}{\bar{\nu}+(K-1)\bar{c}}$$ en donde $\bar\nu$ es la media de la varianza de cada item y $\bar{c}$ es la media de la covarianza entre cada dos ítems.

Alternativamente se define el $\alpha$ de Cronbach estandar en función de la media de los $K(K-1)/2$ coeficientes de correlación $\bar{r}$, entre las respuestas a cada dos ítems. $$\alpha_{standard}=\frac{K\bar{r}}{1+(K-1)\bar{r}}$$ es decir de la media de los coeficientes de correlación no repetidos (el triangulo inferior de la matriz de correlaciones).