Nota estadística

Statistical power in medical research. What position should be taken when research results are not significant?

C. Carazo-Díaz, L. Prieto-Valiente [REV NEUROL 2024;79:143-145] PMID: 39207129 DOI: https://doi.org/10.33588/rn.7905.2024099

OPEN ACCESS

Volumen 79 | Number 05 | Nº of views of the article 1.786 | Nº of PDF downloads 98 | Article publication date 01/09/2024

Download PDF Castellano Citation Search in PubMed

Share in:

Introducción Qué postura tomar, según su potencia, tras hacer un estudio con resultado no significativo Conclusión Statistical power in medical research. What position should be taken when research results are not significant?

Go to another issue

ABSTRACT

Abstract. The original idea of rejecting studies with low power and authorising them if their power is sufficiently high is reasonable and even an obligation, although in practice this reasoning is heavily constrained by the fact that the power of a study depends on several factors, rather than a single one. Furthermore, there is no threshold separating ‘high’ power values from ‘low’ power values’. However, if the result is very significant, considering how powerful it was it makes little sense after the study has been carried out. It is only possible to take advantage of the result. Situations in which this result is not statistically significant warrant further consideration. Consideration of the power may be useful in these circumstances. This article focuses on the position that should be adopted in these cases, and it shows that in order to draw reasonable conclusions about the effect size of the population, calculating the confidence interval is more useful than calculating the power, and its interpretation is more easily understood by physicians who lack training in statistical analysis. KeywordsMedical research p-value Real effect Standard deviation Statistical inference Statistical power

FULL TEXT (solo disponible en lengua castellana / Only available in Spanish)

Introducción

Aunque la idea original de rechazar estudios con baja potencia y autorizarlos si es alta es razonable e incluso obligada, en la práctica es de escasa utilidad, porque la potencia de un estudio no es única; depende de varios parámetros, que, tomando valores un poco diferentes, pueden dan lugar a potencias muy distintas. Para estimar la potencia de un estudio, lo ideal sería elaborar una tabla con las potencias correspondientes a distintos valores de estos parámetros dentro de una horquilla razonable [1]. Cuando, por ejemplo, las potencias calculadas están todas en torno al 20%, quiere decir que, si en realidad existe el efecto que la investigación está buscando, la probabilidad de encontrar valor de p del test suficientemente pequeño es baja. Si las potencias calculadas están en torno al 85%, por ejemplo, es muy probable obtener ese valor de p [1]. No obstante, no debemos olvidar que no existe ningún criterio ‘matemático’ ni ‘científico’ que justifique decidir un valor frontera que marque la separación entre los valores aceptables de potencia y los que no lo son.

Si un estudio ya realizado ha mostrado un valor de p muy pequeño, no tiene sentido preguntar por la potencia que tenía ese estudio antes de realizarlo. El hecho de tener un valor de p muy pequeño nos lleva a rechazar la hipótesis nula y concluir, por ejemplo, que el fármaco que estamos investigando es más efectivo que el placebo, independientemente de cuál fuera su potencia previa [2,3]. Consideración aparte merece el caso en que el resultado del estudio no sea estadísticamente significativo.

Qué postura tomar, según su potencia, tras hacer un estudio con resultado no significativo

Si el estudio que compara la eficacia de un fármaco frente a la del placebo da resultado no significativo, el valor de la potencia antes de realizarlo puede tener implicaciones lógicas bien definidas.

Para ayudarnos a entender la lógica del razonamiento, retomamos el ejemplo en el que, al terminar un largo paseo por Central Park, caemos en la cuenta de que probablemente en él, pero no sabemos en qué punto, hemos perdido una valiosa joya. A la mañana siguiente nos disponemos a buscarla [3]. Reproducimos aquí de nuevo la situación para que el lector tenga presente toda la información que necesita. Dado el gran tamaño del parque, si la búsqueda la hace una sola persona, la probabilidad de encontrar la joya es muy pequeña. Esa acción tiene ‘poca potencia’ y se desaconseja. Si colaboran n = 20 personas, esa probabilidad es mayor, y, si colaboran n = 200 personas, es mucho mayor. Si usted no tiene recursos para contratar más personas y decide ir solo a buscarla, está claro que tiene una muy pequeña probabilidad de encontrarla. Pero, si a pesar de ello va solo y encuentra la joya, no podemos cuestionar el resultado alegando que su acción tenía poca potencia. Una vez realizado, si ha habido éxito, solo cabe celebrarlo y aprovechar su resultado.

Ahora consideramos el caso en que el resultado de la investigación es negativo, es decir, no aparece la joya, para ver cómo interpretamos ese resultado ‘negativo’ según sea alta o baja la potencia.

Si fueron a buscarla 100 personas, era muy alta la probabilidad de encontrarla si está allí. Por ello, si no la encuentran, sospechamos que no está allí.

Pero si va una sola persona y no la encuentra, no haberla encontrado es totalmente compatible con la posibilidad de que esté allí. Por ello, si no la encuentra, aún pensamos que puede estar allí [4].

Merece la pena insistir en este razonamiento con otro ejemplo que nos ayude a ver cómo concluimos cuando el resultado es negativo y según que la potencia fuera grande o pequeña. Los estudios geológicos indican que probablemente hay una bolsa de petróleo de gran valor a unos 80 metros bajo el suelo de mi huerto. Si un investigador propone hacer una prospección con una sonda de 75 m, pensamos que, si el petróleo está allí, la probabilidad de encontrarlo es baja (modesta potencia). Si hace la prospección con esa sonda de 75 m y no encuentra petróleo, aún pensamos que puede estar allí.

Si otro investigador informa de que hizo una prospección con una sonda de 100 m y no encontró petróleo, sospechamos que no hay tal bolsa de petróleo. Equivale al ejemplo de la joya perdida, en que van muchas personas a buscarla (acción de alta potencia) y no aparece. Ello nos hace pensar que la joya no está en ese parque, porque si estuviera era muy probable que la hubieran encontrado.

Para ver este mismo razonamiento lógico en la investigación médica, volvemos a usar un ejemplo de Prieto-Valiente y Carazo-Díaz [3]: en un estudio destinado a indagar si el fármaco ‘F’ modifica los niveles en sangre del neurotransmisor ‘N12’, mediremos el nivel de N12 en cada individuo de dos muestras, tratamiento y placebo, de tamaño N.

Si hacemos el estudio con n = 20 y encontramos el resultado ilustrado en la tabla, tenemos un valor de p grande y no hay evidencia a favor de que el fármaco tiene el efecto en cuestión. Los datos son claramente compatibles con que no haya efecto. El intervalo de confianza para el efecto poblacional nos dice que el efecto real (en población) podría ser desde bajar en torno a siete unidades la media poblacional hasta subirla en 15 unidades.

Veamos si el cálculo de la potencia del estudio aporta información útil. Si tenemos motivos para estimar que la desviación, σ, es en torno a 17 y aspiramos a tener un valor de p < 0,05, con la fórmula pertinente encontramos que con n = 20 en cada grupo, si el efecto real es aumentar la media poblacional en 24 unidades, la potencia es del 99%. Es decir, si el efecto real fuera en torno a 24, era muy probable que apareciera un valor de p < 0,05, por lo que no haberlo obtenido sugiere que el efecto real no es 24 [5]. Es equivalente a ‘si buscan la joya 100 personas y no la encuentran, sospechamos que no está allí’. Nótese que, viendo el intervalo de confianza, también asumíamos que el efecto real no era aumentar 24 unidades.

Pero si proponemos como posible efecto real que el fármaco aumenta la media poblacional en tres unidades, con n = 20 en cada grupo, la potencia es 0,08. Es decir, la probabilidad de encontrar p < 0,05 es solo del 8%. Por ello, al encontrar un valor de p grande aún pensamos que podría haber ese efecto real de aumento de tres unidades. Es equivalente a ‘si busca la joya una persona y no la encuentra, aún pensamos que puede estar allí’. Nótese que, viendo el intervalo de confianza en la tabla, también asumíamos que el efecto real puede ser que la media aumenta tres unidades.

Conclusión

La estimación de la potencia para posibles valores del efecto poblacional no añade información relevante a la que proporciona el intervalo de confianza. Es decir, se llega a las mismas conclusiones observando el intervalo de confianza para el efecto poblacional que proponiendo posibles valores para el efecto real y descartándolos o aceptándolos, según como fuera la potencia asociada a ellos. Por ello, y por ser un concepto más difícilmente aprehensible para el médico no versado en estadística, el cálculo de la potencia estadística aporta poco en la investigación médica en la mayoría de los casos. La buena noticia es que el intervalo de confianza aporta información equivalente y es mucho más fácilmente entendible por el investigador no versado en inferencia estadística.

Bibliografía

↵ 1. Norton BJ, Strube MJ. Understanding statistical power. J Orthop Sports Phys Ther 2001; 31: 307-15.

↵ 2. Greenland S, Senn SJ, Rothman KJ, Carlin JB, Poole C, Goodman SN, et al. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. Eur J Epidemiol 2016; 31: 337-50.

↵ 3. Prieto-Valiente L, Carazo-Díaz C. Potencia estadística en investigación médica. ¿Qué postura tomar cuando los resultados de la investigación son significativos? Rev Neurol 2023; 77: 171.

↵ 4. Prieto L. Errores más frecuentes al elaborar conclusiones en trabajos científicos. Fisiología 2003; 6: 4-5.

↵ 5. Tsang R, Colley L, Lynd LD. Inadequate statistical power to detect clinically significant differences in adverse event rates in randomized controlled trials. J Clin Epidemiol 2009; 62: 609-16.

Statistical power in medical research. What position should be taken when research results are not significant?

Abstract. The original idea of rejecting studies with low power and authorising them if their power is sufficiently high is reasonable and even an obligation, although in practice this reasoning is heavily constrained by the fact that the power of a study depends on several factors, rather than a single one. Furthermore, there is no threshold separating ‘high’ power values from ‘low’ power values’. However, if the result is very significant, considering how powerful it was it makes little sense after the study has been carried out. It is only possible to take advantage of the result. Situations in which this result is not statistically significant warrant further consideration. Consideration of the power may be useful in these circumstances. This article focuses on the position that should be adopted in these cases, and it shows that in order to draw reasonable conclusions about the effect size of the population, calculating the confidence interval is more useful than calculating the power, and its interpretation is more easily understood by physicians who lack training in statistical analysis.

Key words. Medical research. p-value. Real effect. Standard deviation. Statistical inference. Statistical power.

Acceso directo al último número

Último Podcast

Nota estadística

Statistical power in medical research. What position should be taken when research results are not significant?

Introducción

Qué postura tomar, según su potencia, tras hacer un estudio con resultado no significativo

Conclusión

Bibliografía

Statistical power in medical research. What position should be taken when research results are not significant?