Los investigadores no están exentos de ciertos usos y costumbres sin mucho más trasfondo que el histórico. Este es el caso de un clásico, el nivel de significatividad del 95%. El 95 no es un número mágico que convierte una medida en correcta o no. Entonces, ¿por qué investigadores de todo el mundo las utilizan como si fueran la frontera de la verdad? La respuesta parece ser que por costumbre. Una costumbre con cien años de antigüedad, su origen: una disputa por derechos de autor.
|
etiquetas: significación estadística , tablas , valor-p 
Reducir la relevancia de un resultado a unos pocos umbrales "fijos" tenía sentido en una época en la que, calcular el valor p concreto para cada experimento (sin calculadoras electrónicas) era una tarea compleja. Era mucho más sencillo calcular el estadístico (por ejemplo, un t-test) y, comprobar si su valor (t) era superior o inferior al necesario para superar p=0.05, p=0.01 o p=0.001, pre-calculados en los libros para distintos grados de libertad (número de repeticiones de cada muestra). Hoy en día, calcular el valor p exacto para cada caso es sencillo. Sin embargo, lamentablemente, se siguen usando umbrales fijos, clásicos, pero sin significado "natural", para decidir si un resultado es verdadero o falso. Sin matices.
Cuando todos discutíamos si las vacunas contra la COVID-19 eran fiables o no, en realidad mirábamos los valores p obtenidos, basados en las combinaciones de números de voluntarios contagiados / no contagiados / vacunados / placebo. La gente quería saber si, según los números, las vacunas eran ciertamente fiables o no. A pesar de que los valores-p obtenidos fueron muy bajos (muy favorables), sobre todo para las vacunas mRNA, la respuesta solo podía darse en términos de probabilidad, no de certezas. No poder afirmar rotundamente, con un 100% de probabilidad, que las vacunas nos iban a proteger, dio argumentos a los negacionistas y a los que decían que era imposible que las vacunas se hubieran desarrollado tan rápido con garantías.
Perdón por el tocho.
Un intento: es la probabilidad de obtener una diferencia tan grande (o más) como la que has obtenido entre tus muestras asumiendo que en la realidad no hay diferencia alguna. Por ejemplo entre las alturas promedio de los jóvenes de 2 ciudades.
Si ese p-value es de 0.34 te está diciendo que una diferencia tan alta o más que la que has encontrado te aparecería un tercio de las veces escogiendo… » ver todo el comentario
Si te sale un valor p de 0,05 significa que hay un 95% de probabilidad de que la misma hipótesis no funcione para las dos muestras. Ojo no quiere para nada decir que la hipótesis sea verdadera para una y para la otra falsa o para las dos falsas o para las dos verdaderas, o que sea una buenas o mala hipótesis.. simplemente te dice estadísticamente que no te vale la misma hipótesis… » ver todo el comentario
Si hay tal diferencia (de nivel de insulina) que el p value es 0.02 entonces te está diciendo que SI su diferencia real fuese 0 solo hay un 2% de probabilidades de que te salgan 2 valores tan distintos con lo que te invita a considerar que son seguramente valores de insulina diferentes en la realidad (por el motivo que sea).
Lo que me queda claro con todo esto es la importancia de replicar experimentos.
Pero es que en el caso de que lo supiéramos, no tendría absolutamente ningún sentido hacer una prueba estadística, porque ya sabemos lo que hay.
De hecho se rechaza la hipótesis nula porque consideramos poco probable que siendo cierta la hipótesis nula…
A ciencia cierta 100% nunca... no sé cuándo he dado a entender lo contrario. Ahora bien, si replicamos un experimento hasta la extenuación, y vemos que la distribución del valor de p es uniforme... es un buen indicio. Cuando hablo de la distribución, me refiero a la distribución de p, no de la variable objeto de estudio.
De hecho, intuyo que incluso haciendo lo de replicar el experimento para obtener la distribución del valor de p... habría que poner otro umbral para decidir con cuánta uniformidad se acepta H0.
De hecho, intuyo que incluso haciendo lo de replicar el experimento para obtener la distribución del valor de p... habría que poner otro umbral para decidir con cuánta uniformidad se acepta H0
Así es, pero eso no es algo propio a la estadística. Es la propia ciencia en si misma, en sus propios fundamentos, la que es así.
Por ejemplo no se dice que (a) la relatividad de Einstein sea verdad. Lo que se dice… » ver todo el comentario
Muy de acuerdo.
También pudiste haberle explicado (o recordado) el concepto de error de tipo I y tipo II.
En medicina los estudios se deben mirar por sus diferencias estadísticas y clínicas. Es decir un resultado puede ser estadísticas enteras significativo pero el medicamento nuevo sólo salva a 1 paciente. Con lo que las diferencias clínicas son escasas.
En los estudios vacunales falla la interpretación de la estadística no porque no se conociese que es el p valor, sino porque no se entendieron los resultados que se estaban exponiendo (porque esos resultados no se exponen para el público general)
En medicina los estudios se deben mirar por sus diferencias estadísticas y clínicas.
En todas las disciplinas, no sólo en medicina, se debe informar de las significación estadística (valor p) y del tamaño del efecto (valor d, o similar)
El 0.95 o similares (0.01, 0.001) vivirán para siempre porque los que cortan el bacalao en ciencia es lo que conocen y lo que usaron para llegar a donde están.
xkcd.com/882/
en.wikipedia.org/wiki/Misuse_of_p-values
El p valor no dice nada sobre la probabilidad del valor real del parámetro; para eso tiene que hacer una aproximación bayesiana. El p valor habla sobre la probabilidad de los datos observados; en el ejemplo, donde hay una medida positiva pero el valor real podría ser cero, el p valor es la probabilidad de encontrar esa medida positiva o más… » ver todo el comentario