O cómo saber el alcance real de un resultado
En el área científica, un resultado “significativo” es a menudo interpretado como un hallazgo que lo más probable es que no haya sido producido por casualidad.
Sin embargo, un resultado que desde un punto de vista estadístico sea significativo a menudo es insignificante desde un punto de vista práctico (y viceversa). Esto es debido a que en la significancia estadística, el tamaño de la muestra influye en el resultado. Efectos muy pequeños y sin importancia pueden resultar ser estadísticamente significativos sólo porque un gran número de personas han sido utilizadas en el experimento. Es decir, si el efecto descubierto es pequeño pero el tamaño de la muestra es muy grande, el valor de p o p-value puede ser significativo.
En consecuencia, cuando el tamaño de la muestra es suficientemente grande, incluso resultados muy triviales pueden resultar significativos desde un punto de vista estadístico.
Ejemplo de tamaño muestral y significación
Imaginemos la siguiente situación: un investigador ha desarrollado un programa de entrenamiento para niños que tiene como objetivo aumentar el IQ (Coeficiente intelectual) de los niños. Como podemos ver en la tabla, con sólo cuatro niños inscritos en el programa, un incremento de 10 IQ puntos sería un resultado estadísticamente significativo, sin embargo, con 25 niños inscritos, un aumento de 4 IQ puntos también será significativo, y con 10.000 niños incluso un incremento de 0,2 IQ puntos puede ser estadísticamente significativo. Entonces, tendiendo en cuenta estos resultados, ¿mandaría a sus hijos a dicha escuela o recomendaría a otros padres que lo hiciesen? teniendo en cuenta que los valores IQ pueden estar en un rango entre 40 a 160 o más puntos (la normalidad está en torno a los 100 puntos), 0,2 puntos no es prácticamente nada. Esto significa que el hecho de que un hecho sea estadísticamente significativo puede no serlo desde un punto de vista práctico.
