Los errores en la recolección de datos estadísticos se pueden clasificar de la siguiente manera:
Errores de gestión de datos
De acuerdo con Gawande (2010), los errores de gestión de datos suelen ser más idiosincrásicos que sistemáticos.
Datos Incompletos
En un caso, un grupo utilizó accidentalmente variables codificadas al revés, lo que hizo que sus conclusiones fueran las contrarias a las que apoyaban los datos. En otro caso, los autores recibieron un conjunto de datos incompleto porque se omitieron categorías enteras de datos. Cuando se corrigieron, las conclusiones cualitativas no cambiaron, pero las conclusiones cuantitativas cambiaron por un factor de >7 . Estos errores idiosincrásicos de gestión de datos pueden ocurrir en cualquier proyecto y, al igual que los errores de análisis estadístico, podrían corregirse mediante un nuevo análisis de los datos. En algunos casos, los errores idiosincrásicos pueden evitarse siguiendo las listas de comprobación.
Errores en el almacenamiento e Intercambio de Datos
Los errores en el almacenamiento e intercambio de datos a largo plazo pueden hacer que los hallazgos no sean confirmables porque los datos no están disponibles para ser reanalizados. Muchos metaanalistas, han intentado obtener información adicional sobre un estudio, pero no han podido hacerlo porque los autores no respondieron, no pudieron encontrar los datos o no estaban seguros de cómo habían calculado sus resultados originales.
Errores de análisis estadístico
Los errores de análisis estadístico implican métodos que no apoyan de forma fiable las conclusiones. Pueden producirse si no se cumplen los supuestos subyacentes de los análisis, se utilizan valores erróneos en los cálculos, se especifica mal el código estadístico, se eligen métodos estadísticos incorrectos o se interpreta mal el resultado de una prueba estadística, independientemente de la calidad de los datos subyacentes.
Causas de los errores de análisis estadístico
Bent et al (2003), señalan las siguientes causas:
En primer lugar, el análisis erróneo de los ensayos aleatorios por grupos
Puede suponer inadecuada e implícitamente la independencia de las observaciones. Peor aún, cuando sólo hay un conglomerado por grupo, los conglomerados están completamente confundidos con el tratamiento, lo que resulta en cero grados de libertad para probar los efectos de grupo. Esto también ha dado lugar a una retractación.
En segundo lugar, los tamaños del efecto para los metaanálisis pueden manejar inadecuadamente los grupos de tratamiento múltiples
Por ejemplo, asumiendo la independencia a pesar de compartir un grupo de control) o no utilizar el componente de varianza correcto en los cálculos. A su vez, las estimaciones metaanalíticas de estos cálculos del tamaño del efecto pueden ser incorrectas, y a veces han requerido corrección.
En tercer lugar, es inadecuado comparar la significación nominal de dos pruebas estadísticas independientes como medio para sacar una conclusión sobre los efectos diferenciales
Este error de «diferencias de significación nominal» se comete a veces en estudios con más de un grupo, en los que las mediciones finales se comparan con la línea de base por separado para cada grupo. Si una es significativa y otra no, un autor puede concluir erróneamente que los dos grupos son diferentes.
Efectos de los errores de análisis estadístico
Los efectos de estos errores en las conclusiones pueden ser graves. Sin embargo, cuando los efectos del tratamiento están mal analizados, a menudo no podemos decir inmediatamente que las conclusiones son falsas, sino que podemos decir que los análisis no son fiables para la inferencia estadística y las conclusiones. Hay que ponerse en contacto con los autores y editores para resolver el problema. En otros casos, las conclusiones pueden ser obviamente erróneas.
Si se comete un error de DINS en un estudio y las estimaciones puntuales de cada grupo son idénticas, está claro que la prueba apropiada entre grupos no sería estadísticamente significativa. Afortunadamente, la naturaleza de los errores estadísticos es tal que, si los autores y las revistas están dispuestos, y los datos subyacentes no son malos, los errores de análisis pueden corregirse. Desgraciadamente, la corrección de los errores suele requerir un arduo proceso que pone de manifiesto las limitaciones de la naturaleza autocorrectiva de la ciencia.
Errores de lógica
Aunque no se trate de un error en los datos o en los análisis, la investigación filtrada a través de la lente de una lógica deficiente puede distorsionar los resultados, dando lugar a conclusiones que no se desprenden de los datos, el análisis o las premisas fundamentales.
Falacias Lógicas
Las falacias lógicas clásicas aparecen en la literatura. «Cum hoc, ergo propter hoc» (con esto, por lo tanto, debido a esto; común a partir de datos transversales) y «post hoc, ergo propter hoc» (después de esto, por lo tanto, debido a esto; común con datos longitudinales) son dos ejemplos de errores de lógica que asumen que las asociaciones observadas son evidencia suficiente para la causalidad. Asumir la causalidad a partir de la evidencia observacional es común.
En algunos casos, los artículos tienen cuidado de describir adecuadamente las asociaciones en lugar de las afirmaciones de causalidad, como por ejemplo: «Se estimó que los factores dietéticos estaban asociados con una proporción sustancial de muertes por enfermedad cardíaca, accidente cerebrovascular y diabetes tipo 2» . Sin embargo, los medios de comunicación o las comunicaciones posteriores de los autores pueden sucumbir a estas falacias [por ejemplo, «La crisis nutricional de nuestra nación: casi 1.000 muertes cardiovasculares y por diabetes cada día (!) debido a una mala alimentación».
Argumentos en los errores de lógica
También son habituales los argumentos basados en la autoridad, la reputación y el razonamiento ad hominem. Estos argumentos pueden centrarse en las características de los autores, el calibre de una revista o el prestigio de las instituciones de los autores para reforzar o refutar un estudio. En un ejemplo de razonamiento ad hominem, se identificó despectivamente a un autor sólo como consultor de la industria química con un interés competitivo para desestimar pasivamente los argumentos, mientras que también se razonó a partir de la autoridad y la reputación contrastando negativamente los argumentos de los otros autores con entidades científicas independientes. Las mismas pueden servir como heurísticas útiles para tomar decisiones cotidianas. Utilizarlas para apoyar o refutar la calidad de las pruebas en los artículos publicados es tangencial a la ciencia.
Otras falacias lógicas son evidentes en la literatura, pero una que une a las demás es argumentar que las conclusiones extraídas de una investigación errónea son falsas: la «falacia de la falacia». La identificación de un error en un artículo o en un razonamiento no puede utilizarse para decir que las conclusiones son erróneas. Más bien, sólo podemos decir que las conclusiones no son fiables hasta un análisis más profundo.
Errores de comunicación
Los errores de comunicación no afectan necesariamente a los datos y métodos, sino que son fallos en la lógica utilizada para conectar los resultados con las conclusiones. En el caso más simple, la comunicación puede ser excesivamente entusiasta, extrapolando más allá de lo que un estudio puede decirnos.
Ejemplo 1 de Error de Comunicación
Los autores que discuten los beneficios y las limitaciones de los ensayos con animales para predecir el riesgo de cáncer en los seres humanos señalan que el problema de los ensayos con animales es que los resultados de los ensayos con animales a menudo se extrapolan incorrectamente a los seres humanos.
Se relatan estudios en los que las dosis suministradas a los animales eran grados de magnitud superiores a las esperadas para los humanos. En un estudio se administró a los animales una dosis de daminozida (un regulador del crecimiento de las plantas) que requeriría que los seres humanos consumieran 28.000 libras de manzanas al día durante 10 años para obtenerla – errores de extrapolación tanto en la especie como en la dosis.
Ejemplo 2 de Error de Comunicación
Otras formas de extrapolación errónea son evidentes. Un estudio sobre las respuestas a pequeñas exposiciones de 1 día puede ser inadecuado para extrapolarlas a exposiciones crónicas. Los sesgos de publicación, notificación y citación son otras formas de errores de comunicación que pueden conducir a una forma de datos erróneos cuando se considera una colección de informes científicos como datos en sí mismos. Si los científicos no publican algunos resultados por el motivo que sea, la totalidad de los datos utilizados para resumir nuestros conocimientos científicos (por ejemplo, el metaanálisis) está incompleta.
P-Hacking y P-Fidding
El «p-hacking» y las prácticas relacionadas por ejemplo, los grados de libertad del investigador y el «p-fiddling», entre otros nombres, representan una forma de información selectiva y también pueden considerarse errores de análisis estadístico. En la mayoría de los casos, no existe un método único y universalmente acordado para analizar un conjunto de datos concreto, por lo que probar múltiples análisis puede considerarse científicamente prudente para comprobar la solidez de los resultados.
Sin embargo, el p-hacking utiliza el valor P de un análisis como la regla por la que se elige un análisis concreto, en lugar de la idoneidad del propio análisis, a menudo sin revelar completamente cómo se eligió ese valor P. Las conclusiones son cuestionables porque la flexibilidad no revelada en la recogida y el análisis de datos permite presentar cualquier cosa como significativa. Un ejemplo llamativo es la publicación de resultados aparentemente muy significativos desde el punto de vista estadístico en el «Código de la Biblia», que posteriormente se desmintieron como una variante del p-hacking.
Temas de los factores contribuyentes
Según Verhulst et al (2012), los científicos son humanos cometen errores y conjeturas mal informadas, a veces con la mejor de las intenciones. Sin embargo, los procesos científicos están pensados para limitar estas debilidades humanas, pero los humanos siguen comunicando resultados derivados de métodos, datos o interpretaciones erróneos. A veces, los errores sólo se hacen evidentes con el tiempo y las mejoras tecnológicas. Entender e identificar qué contribuye a los errores que enturbian los procesos científicos puede ser clave para mejorar la solidez de los hallazgos científicos.
Ignorancia
Un tema obvio que contribuye es la simple ignorancia, ya sea de un individuo, del equipo de investigación, de un revisor, de los editores o de otros. Aunque se han catalogado y publicado la existencia de errores, esto sólo establece que los errores son conocidos por nosotros y por la comunidad científica en general, pero no necesariamente por cada individuo. En otras palabras, estos errores son «desconocidos»: errores conocidos por la ciencia, pero no por un científico en particular.
Los malos ejemplos en la literatura pueden, por sí mismos, perpetuar la ignorancia. Una revisión por pares eficaz después de la publicación puede ser particularmente útil para mitigar la ignorancia, ya que estos errores sirven como ejemplos instructivos de lo que no se debe hacer. También es importante reconocer que algunos errores aún no han sido cometidos, identificados o corregidos, y por lo tanto los errores son actualmente incógnitas desconocidas. El tiempo puede ser el componente más crítico para revelar estos errores aún no identificados.
Una mala concepción del estudio
Un estudio mal concebido presenta problemas de base para el resto del proceso de realización, análisis e informe de la investigación. El inicio del estudio puede bifurcarse en la generación de hipótesis y la comprobación de las mismas, aunque las dos ramas ciertamente se contribuyen mutuamente. Si un estudio se inicia con la intención de hacer un descubrimiento, pero sin un plan científico claro, las decisiones que se tomen en el camino seguirán a los datos.
Esto no es un problema en sí mismo, siempre que los resultados finales se comuniquen como una exploración errante. Por el contrario, una prueba mal planificada de una hipótesis puede permitir a los investigadores elegir variaciones en los métodos o análisis no basadas en una pregunta o teoría rigurosa, sino en intereses y expectativas. Un ejemplo que se utiliza con frecuencia es la experiencia de C. Glenn Begley, quien, tras no poder replicar los resultados de otro grupo de investigación, fue informado por uno de los autores originales de que se había probado un experimento varias veces, pero que sólo publicaron los resultados que daban la mejor imagen.
Harking o Storytelling Post Hoc
Generar hipótesis después de que se conozcan los resultados (el llamado HARKing o storytelling post hoc) proporciona la fachada de un estudio cuidadosamente realizado, pero de hecho, el camino desde la hipótesis, pasando por la recopilación de datos, hasta las conclusiones rigurosas se cortocircuita al mirar los resultados y aplicar una historia que se ajuste a los datos. En algunos aspectos, los estudios clásicos de genética de guisantes de Gregor Mendel son coherentes con este último modelo, con datos probablemente demasiado perfectos para haber surgido de forma natural.
Expectativas de publicación
Las publicaciones sirven como moneda de cambio académica, por lo que los académicos pueden verse presionados a publicar algo -a veces cualquier cosa- para aumentar esa moneda, obtener la titularidad o mantener la financiación. Este es el llamado paradigma de «publicar o perecer». Dada la expansión del número de revistas, hay menos barreras para publicar, y una expectativa más moderna puede incluir el deseo de publicar en revistas de mayor rango, obtener más publicidad o informar de resultados positivos, novedosos o emocionantes.
También puede haber expectativas personales. Tras meses de experimentación o años de recogida de datos, se desea obtener algo «útil» de un proyecto. No todo vale la pena publicarlo si no aporta conocimientos. Si los datos son malos, los métodos defectuosos o las conclusiones no son válidas, la publicación no contribuirá al conocimiento, sino que puede restarlo. La presión basada en la publicación y orientada a objetivos puede alejar el comportamiento de la ciencia rigurosa. En 1975, Paul Feyerabend expresó su preocupación por el aumento de las publicaciones sin un aumento concomitante de los conocimientos. Señalaba que la mayoría de los científicos de hoy en día están desprovistos de ideas, llenos de miedo, con la intención de producir algún resultado insignificante para poder contribuir a la avalancha de artículos inanes que ahora constituye el progreso científico en muchas áreas.
Emoción
Muchos científicos comenzaron sus líneas de investigación por un interés innato: una profunda curiosidad, un deseo de descubrimiento o una conexión personal con un problema del mundo. Realizar experimentos, analizar datos y observar el mundo no son sólo aspectos de la ciencia, sino que también representan intereses y pasiones personales. Así, cuando los resultados aportan algo interesante, la pasión y el entusiasmo corren el riesgo de anular el hecho de que la ciencia está diseñada para ser el gran antídoto contra el veneno del entusiasmo y la superstición.
Recursos
Ya sea tiempo, personal, educación o dinero, la ciencia rigurosa requiere recursos. Unos recursos insuficientes pueden fomentar los errores. Si el tiempo es escaso, se puede renunciar a las comprobaciones adecuadas para el rigor. Si hay demasiado poco personal, un equipo puede ser insuficiente para completar un proyecto. Pi hay demasiado poca educación, puede faltar la experiencia adecuada. Al ser así, la metodología rigurosa puede ser inaccesible. Hay que hacer compromisos prácticos, a veces a costa del rigor.
Prioridades contradictorias
Una comprobación insuficiente de los métodos, los resultados o las conclusiones debido a un conflicto de prioridades también puede contribuir a introducir o ignorar errores. Un investigador puede saber conscientemente que no debe cometer ciertos errores o atajos, pero las prioridades pueden competir por los recursos, la atención o la fuerza de voluntad. El resultado puede ser una ciencia chapucera, un comportamiento negligente o una distorsión de las observaciones. De hecho, puede haber cierta disparidad entre los científicos en lo que respecta a la atención de tales conflictos. Según un metaanálisis, la mayor creatividad se asocia con niveles más bajos de concienciación, en comparación con los de menor creatividad.
A menudo es imposible determinar si los autores sucumbieron a estos conflictos de prioridades, se desviaron intencionadamente del rigor científico o cometieron errores honestos. El discurso más común sobre las prioridades gira en torno a la revelación de posibles conflictos financieros, pero hay muchas otras fuentes de conflicto. Cuando los individuos creen plenamente en una idea o han construido toda una carrera e imagen sobre una idea, publicar algo en contra sería entrar en conflicto con una ideología arraigada. En otros casos, la ideología que un autor puede defender se considera justa.
Nuestros especialistas esperan por ti para que los contactes a través del formulario de cotización o del chat directo. También contamos con canales de comunicación confidenciales como WhatsApp y Messenger. Y si quieres estar al tanto de nuestros novedosos servicios y las diferentes ventajas de contratarnos, síguenos en Facebook, Instagram o Twitter.
Si este artículo fue de tu agrado, no olvides compartirlo por tus redes sociales.
Referencias Bibliográficas
Verhulst B, Eaves L, Hatemi PK (2012) Correlation not causation: The relationship between personality traits and political ideologies. Am J Pol Sci 56:34–51, and erratum (2016) 60:E3–E4.Google Scholar
Bent S, Tiedt TN, Odden MC, Shlipak MG (2003) The relative safety of ephedra compared with other herbal products. Ann Intern Med 138:468–471, and correction (2003) 138:1012.Google Scholar
Gawande A (2010) The Checklist Manifesto: How to Get Things Right (Metropolitan Books, New York).Google Scholar
Errores en la Recolección de Datos Estadísticos (II)
