SciELO - Scientific Electronic Library Online

 
vol.36 número1Diagnóstico diferencial en pacientes con granulomas en biopsias de pulmón, pleura y/o ganglios mediastínicos del Instituto Nacional del TóraxEfectos biológicos protectores del ejercicio en modelos experimentales de tabaquismo: Más allá de la cesación y la abstinencia índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Revista chilena de enfermedades respiratorias

versión On-line ISSN 0717-7348

Rev. chil. enferm. respir. vol.36 no.1 Santiago mar. 2020

http://dx.doi.org/10.4067/S0717-73482020000100026 

Actualización

Sobre las revisiones sistemáticas y narrativas de la literatura en Medicina

On systematic and narrative literature reviews in medicine

Mauricio Salinas F.* 

*Especialista en Medicina Interna - Enfermedades respiratorias. Magister en Salud Pública Instituto Nacional del Tórax. Facultad de Medicina. Universidad de Chile. Clínica Santa María. Santiago, Chile

Resumen

Las revisiones de la literatura son cada día más frecuentes en el ámbito biomédico, ya sea de tipo narrativo, revisiones sistemáticas o meta-análisis. En este artículo se revisan y describen las características de cada una de ellas, con sus ventajas y desventajas. Además, se presentan los principales elementos a tener en consideración en el análisis de los meta-análisis, incluyendo análisis de sensibilidad, búsqueda de heterogeneidad y sesgos de publicación.

Palabras clave: Meta-análisis; Medicina Basada en la Evidencia; Revisión; Sesgo de Publicación

ABSTRACT

Reviews are becoming more common in the biomedical field, whether it be a narrative type, systematic review, or meta-analysis. In this article, I review and describe the characteristics of each of them, with their advantages and disadvantages. In addition, I discuss main elements to considerer when you read meta-analyzes, including sensitivity analysis, search for heterogeneity and, publication biases.

Key words: Meta-analysis; Review; Publication bias; Evidence-Based medicine

Introducción

La investigación y divulgación científica es una actividad fundamental en el progreso de la humanidad y de la medicina. Durante el siglo pasado, la explosión del desarrollo científico y tecnológico llevó a un crecimiento exponencial de las publicaciones científicas, en todos los ámbitos de la ciencia, incluyendo la medicina y aquellas relacionadas a la salud. El año pasado por ejemplo se agregaron casi un millón de citaciones en MEDLINE PubMed, acumulando más de 25 millones de citaciones en total, ¿cómo leer y discriminar toda esa cantidad de información?1,2

En este contexto, surgen varios problemas: el más obvio es que es imposible que médicos o investigadores puedan estar leyendo todo aquello que se publica respecto a algún tópico en particular. Otro problema es que frecuentemente existen varios estudios sobre un mismo tópico que entregan resultados diferentes o incluso, contradictorios. Surge entonces, de manera espontánea, la necesidad de realizar y revisar resúmenes o actualizaciones de los temas de interés.

El objetivo de este artículo es dar una visión actual de los conceptos de revisión, meta-análisis y términos afines, sus características, ventajas y limitaciones

La revisión narrativa

Desde hace décadas se han presentado, en libros y en artículos de revistas, resúmenes de enfermedades o síndromes, habitualmente escritos por expertos en el campo temático respectivo. Este tipo de revisiones son llamadas ‘narrativas’ o no sistemáticas, en contraste a aquellas sistemáticas, que se explican más adelante3. Este tipo de revisiones pueden abarcar todo el ámbito de la enfermedad, es decir, definición, causas, fisiopatología, cuadro clínico, exámenes de apoyo y tratamiento, y así dar una visión global y actualizada de algún tópico. Esto es especialmente útil para aquellos que se están introduciendo recién en el ámbito de estudio o para estudiantes de medicina. La revisión narrativa también puede abarcar solamente un aspecto médico de una enfermedad, como por ejemplo la fisiopatología o el tratamiento de una condición específica. Un aspecto destacado de estas revisiones es que permiten dar una perspectiva histórica o enumerar hitos en el desarrollo del conocimiento de una patología; al mismo tiempo, puede dar perspectivas futuras de como continuar avanzando o investigando, planteando líneas de investigación a seguir o elementos nuevos a explorar. Lo anterior permite dar una visión más amplia que la que se podría obtener en un estudio científico riguroso, que solo responde a una pregunta de investigación. Estas cualidades difícilmente se pueden plasmar en una revisión sistemática3,4.

Este tipo de revisión rara vez utiliza un método explícito de búsqueda de bibliografía y obtiene conclusiones específicas en torno a una pregunta de investigación, aunque ello es posible4. La revisión narrativa hoy en día suele ser de mirada amplia, pero el sustento científico entregado es variable y dependerá del autor; suele transmitir también en mayor o menor grado, la experiencia de los autores, aunque no necesariamente tenga evidencia sólida. Esto último puede ser un aporte novedoso, distinto y necesario de alguien con amplia experiencia en un tópico, pero también puede ser un sesgo, ya que traduce la visión de uno o un grupo de autores que no necesariamente representa la conducta más habitual o científicamente respaldada.

La revisión narrativa puede ser entretenida y amena de lectura, pero como se dijo previamente, lo más habitual es que no tenga una construcción y escritura siguiendo el método científico y, por lo tanto, puede tener sesgos en lo escrito y el potencial riesgo de llevar a errores al lector. Dado que ésta no tiene una metodología explícita, no puede ser sometida a un análisis crítico por parte de los lectores.

No existen estándares internacionales sobre cómo realizar y escribir una revisión narrativa, pero si hay diversas recomendaciones al respecto5,6.

La revisión sistemática

En contraparte a lo anteriormente expuesto, la revisión sistemática está basada en el método científico y por lo tanto sigue un riguroso y estructurado proceso de elaboración, desarrollo y presentación, que la hacen reproducible y de alto valor científico7.

Aunque no es el objetivo de este artículo, se debe mencionar que el origen de la revisión sistemática es reciente, de finales del siglo pasado y, podríamos decir, que es el hito culminante del desarrollo de la Medicina Basada en Evidencias y de la búsqueda de evidencia científica sólida que respalde las decisiones y terapias que aplican los médicos. Uno de los pioneros y personajes más relevantes en este campo fue Archibald Cochrane, médico y epidemiólogo británico con crítica visión del actuar médico no fundamentado y cuyos esfuerzos culminaron con el desarrollo de una base de datos en Oxford, que luego se convertiría en la Cochrane Collaboration, cuna del desarrollo de las revisiones sistemáticas. Como dato interesante para el ámbito de la Neumología, Archie Cochrane trabajó varios años en investigaciones sobre tuberculosis y neumoconiosis en EE.UU. y en Gales8,9.

Con alguna frecuencia se utilizan de manera indistinta los términos revisión sistemática y meta análisis, lo que no es correcto.

Una revisión sistemática debe tener10:

    –. Un objetivo o pregunta de investigación claramente establecido.

    –. Tener definida la forma de buscar artículos fuentes, ‘los motores de búsqueda’ utilizados y el proceso de elección de los documentos utilizados.

    –. Un método de calificación de los estudios seleccionado en cuanto a su calidad y sesgos.

    –. Una presentación sistemática y resumida de los resultados encontrados.

    –. Una conclusión que se deriva del análisis anterior.

Por otra parte, el concepto de meta-análisis se refiere a los métodos estadísticos que se utilizan para resumir y presentar los resultados obtenidos de la revisión sistemática.

Antes de entrar en más detalle acerca del meta análisis, es conveniente precisar que las revisiones sistemáticas y meta análisis pueden ser cuantitativas o cualitativas. Aquellas cuantitativas utilizan cifras y medidas resumen (promedio, desviación estándar, etc.) de datos agrupados; utilizan las aproximaciones estadísticas y matemáticas clásicas de la literatura médica, que se explican más adelante. Éstas constituyen por lejos, la gran mayoría de las revisiones sistemáticas en el ámbito médico.

Las revisiones y meta análisis cualitativas son de aparición reciente y son infrecuentes, al menos hasta ahora, en el ámbito médico. El ámbito y alcance de la investigación cualitativa va mucho más allá de esta revisión, pero en términos simples y sucintos los estudios cualitativos tienen objetivos amplios, exploratorios, buscan conocer y profundizar acerca de las características o el origen de un problema; utilizan instrumentos abiertos (entrevistas individuales o de grupos, entrevistas de respuesta abiertas, entre otros) y permiten obtener abundante información que da cuenta en detalle de un fenómeno. Sin embargo, su construcción es compleja, el análisis es difícil de sistematizar y sus resultados conllevan al planteamiento de hipótesis más que a la construcción de evidencias11. Este tipo de análisis es utilizado frecuentemente en psicología y ciencias sociales. Los meta-análisis cualitativos, también llamados meta síntesis, son posibles de realizar para este tipo de estudios, existiendo métodos descritos para su construcción12,13. Sin embargo, al menos en el ámbito biomédico, éstas acompañan una revisión cuantitativa y no son suficientes por sí solas. En concordancia con lo anterior, la Cochrane collaboration no permite por el momento la publicación aislada de revisiones sistemáticas cualitativas10 aunque sí incorpora un capítulo en su manual acerca de este tipo de revisiones, con sugerencias al respecto y describiendo las limitaciones existentes. En el resto del documento nos referiremos a revisiones y meta análisis cuantitativas, salvo que se detalle explícitamente lo contrario.

Un meta análisis, en términos simples, busca agrupar los datos de distintos estudios seleccionados y combinar (en el más amplio sentido de la palabra) los resultados de estos. En este proceso de combinación existen dos alternativas:

  1. Combinar los resultados de los distintos estudios. Estos corresponden a meta-análisis agregados y son los más frecuentes.

  2. Combinar los resultados de todos los individuos participantes en cada estudio seleccionado. Estos se denominan meta-análisis individuales. Son mucho menos frecuentes en las publicaciones. Involucran más trabajo ya que se debe acceder a las bases de todos los estudios para combinar los datos de todos los sujetos.

El ejemplo más común y fácil de entender es el estudio de tratamientos, usualmente tratamiento nuevo versus placebo. Para hacer un meta-análisis del tratamiento nuevo, se toman todos los ensayos clínicos controlados donde se utilizó este fármaco y se suman los pacientes tratados con la tratamiento nuevo o con placebo. El detalle de los métodos estadísticos utilizados en los meta análisis escapa al ámbito de revisión de este documento, pero se puede encontrar en el manual de revisiones Cochrane u otros textos de referencia10,14.

No todas las revisiones sistemáticas incluyen o pueden tener meta análisis de datos. El equipo investigador puede definir solamente presentar la descripción y resultados de la revisión sistemática sin meta análisis o en algunos casos puede no ser factible (v. gr. datos insuficientes, escasos estudios).

Las ventajas de agregar un meta análisis incluyen15:

    –. Incrementar el número de sujetos para análisis y por ende, la potencia estadística.

    –. Obtener medidas de efecto (Odds ratio por ejemplo) de la intervención o terapia en estudio con una muestra más grande. Esto genera intervalos de confianza más pequeños y mayor precisión de las estimaciones.

    –. Si existen estudios contradictorios (intervención en estudio es favorable y desfavorable) permite aproximarse a cuál es el real efecto de la intervención.

    –. Cuantificar la heterogeneidad de los datos en análisis. Este concepto se explica más adelante.

    –. Comparar a través de subgrupos o estratos de interés, lo que no es posible en estudios individuales con muestras pequeñas.

    –. Realizar análisis de sensibilidad.

El análisis de sensibilidad se refiere a repetir el meta-análisis cambiando criterios escogidos inicialmente en el estudio y que usualmente no tienen un sustento científico y son más bien arbitrarios. Dado lo anterior, se modifican para evaluar si el resultado se mantiene. Ejemplos de esto puede ser: cambiar la agrupación de edad escogida (cada 10 años, cada 5 años) o cambiar el criterio usado con los datos perdidos (eliminarlos todos, colocar el peor valor posible, el promedio, etc.). Existen innumerables ejemplos de análisis de sensibilidad que se aplican a ensayos clínicos y meta análisis16.

Presentación de resultados de los metaanálisis

Los resultados de las revisiones sistemáticas suelen presentarse de manera bastante homogénea, de acuerdo a las recomendaciones internacionales de Cochrane y Prisma18.

Usualmente se incluye primero una figura dando cuenta del proceso de búsqueda, estudios encontrados, seleccionados y descartados.

En la presentación de resultados, las revisiones sistemáticas suelen utilizar al menos dos grupos de tablas.

La primera da cuenta de las principales características de cada uno de los estudios incluidos, en cuanto a:

    –. Tipo de estudio (ensayo clínico, ciego, observacional, etc).

    –. Características principales de los sujetos estudiados (edad, género, país).

    –. Intervención

    –. Desenlaces (outcomes)

La segunda tabla incluye resultados en cuanto a:

    –. Desenlace especificado.

    –. Cifras relativas a la frecuencia de la enfermedad o condición en estudio.

    –. Medidas de efecto absoluto y relativo logrado con la intervención.

    –. Número de sujetos con los que se hizo el análisis específico.

    –. Calificación del riesgo de sesgo para cada estudio.

Los resultados de un meta análisis se suelen presentar mediante un Forest Plot, a veces traducido como gráfico de bosque, que se explica en detalle en la Figura 1.

Figura 1 Gráfico de Forest Plot. El gráfico de Forest suele tener una estructura más o menos estándar. La primera columna indica el nombre del estudio. Las siguientes cuatro columnas a la derecha de estas contienen el número de sujetos que tuvieron el desenlace en estudio (eventos) y el total de sujetos estudiados, separados para tratamiento y para placebo. La columna siguiente se denomina peso (weight en inglés) y muestra porcentualmente cuando aporta el estudio al metaanálisis. Después se presenta la medida de efecto (riesgo relativo en este caso) con su intervalo de confianza y detallando si la estimación fue por método fijo (fixed) o aleatorio (random). Y en la columna final la gráfica de Forest dando cuenta de los mismos datos mencionados en la fase previa. La figura de diamante abajo indica el riesgo relativo obtenido y su intervalo de confianza con el meta análisis. Abajo se indican los totales de casos para cada columna y se anotan las pruebas y medidas de heterogeneidad. 

Para el último punto, actualmente se suele incluir la calificación GRADE, que es un método sistemático, ampliamente utilizado que entrega recomendaciones y una apreciación del nivel de evidencia que sustenta esa recomendación. Detalles se pueden encontrar en las referencias19,20.

Heterogeneidad

Un concepto fundamental en las revisiones sistemáticas es el de heterogeneidad. La heterogeneidad como la palabra lo indica, intenta aproximarse al problema de cuanta diferencia existe entre los estudios que se están analizando en conjunto. Imaginemos una revisión sistemática de terapia; es importante hacer notar que por muy específica que sea un tratamiento en sus indicaciones o por rara que sea la enfermedad, los ensayos clínicos suelen tener ciertas diferencias en los criterios de inclusión y exclusión lo que hace a las poblaciones de distintos estudios de este tipo no homogéneas. Cuando se hacen revisiones de estudios observacionales, la heterogeneidad suele ser mayor aun, ya que las poblaciones y criterios son más diversas y usualmente estos estudios no son prospectivos. Se ha definido heterogeneidad como a “las diferencias entre resultados de exposición y desenlace, que no se explican solamente por el azar del muestreo”21.

El concepto de heterogeneidad es bastante más amplio que la heterogeneidad estadística, que es lo que se suele evaluar, cuantificar y presentar en los meta análisis. Este concepto está en evolución y aun no existe una manera ideal de acercarse al problema, a su evaluación y a cómo hacer la corrección de la heterogeneidad en los meta análisis. Existen distintas formas y medidas estadísticas para evaluar la heterogeneidad, las que se suelen usar en combinación y se resumen en la Tabla 1 22,23.

Tabla 1 Medidas y pruebas para evaluar heterogeneidad en un meta análisis 

Prueba Tipo Resultado
Cochran's Q. Prueba de significación estadística Probabilidad de que la heterogeidad encontrada se deba al azar
Higgins - 12 Cuantifica la heterogeidad en el conjunto de estudios Entrega un porcentaje de heterogeneidad entre 0 y 100%
Se le pueden añadir intervalos de confianza
Forest Plot Inspección visual Apreciación subjetiva de las diferencias entre los estudios

Una heterogeneidad significativa hace cuestionables los resultados de un meta análisis, aunque las medidas resumen muestren resultados favorables a alguna intervención.

Sesgo de publicación

Por último, los meta análisis suelen incluir una evaluación de la posibilidad de sesgos en las publicaciones disponibles.

Dado que el proceso de meta análisis comienza con la selección de estudios publicados (ya sea en artículos, conferencias o resúmenes de congresos), existe la posibilidad cierta que se hayan desarrollado estudios, pero que no hayan sido publicados; de hecho, este fenómeno ha sido estudiado y documentado, y se sabe que los estudios con resultados negativos es menos probable que sean publicados25,26.

Para la evaluación de los sesgos de publicación existen básicamente dos formas:

    –. El gráfico de embudo (‘Funnel plot’ en inglés). Este se explica en la Figura 2, siendo la forma más utilizada.

    –. Pruebas estadísticas. Existen distintas pruebas estadísticas para evaluar la presencia de sesgos de publicación, que dependen del tipo de variable que se está evaluando en el metaanálisis. Las más conocidas son las pruebas de Egger y de Harbord.

Figura 2 Gráfico del embudo. En este gráfico en el eje Y se coloca el error estándar, que es una medida de la precisión de las estimaciones en los estudios. Mientras más grande la muestra y menor el intervalo de confianza, mayor precisión. El eje Y está en orden inverso, por lo cual los estudios de mayor precisión están en la parte superior y los de menos precisión están en la parte inferior. En el eje X se coloca una medida de precisión como odds ratio o riesgo relativo. La línea vertical en la mitad del triángulo representa el efecto obtenido en el metaanálisis; las líneas que dibujan el triángulo representan el área donde el 95% de los estudios deberían estar representados. Cada punto representa un estudio. Si no existen sesgos en las publicaciones, debería haber puntos con resultados distribuidos en ambos lados del triángulo. De lo contrario se debe pensar en sesgo, aunque puede haber otras explicaciones. Otras variantes han sido descritas27

Existe cierta discusión sobre la utilidad y limitaciones de estas pruebas, pero hasta el momento son los métodos existentes y la recomendación es siempre incluir una evaluación de este tipo27.

Comentario final

Las revisiones sistemáticas son una herramienta poderosa, sólida en sus conclusiones, si están bien construidas, y probablemente serán cada día más relevantes en la toma de decisiones en medicina. El número de revisiones sistemáticas va en aumento y existe actualmente un registro internacional de revisiones sistemáticas, análogo a clinicaltrials.gov, llamado PROSPERO, que tiene registro de más de 30.000 revisiones sistemáticas hechas o en proceso28. Cabe mencionar además que la Cochrane Collaboration también promueve un proceso continuo de actualización de éstas.

Como hemos visto, las revisiones sistemáticas están enfocadas principalmente en intervenciones terapéuticas y tratamiento, pero también pueden abarcar otros aspectos de la clínica como las herramientas diagnósticas. Sin embargo, solo se aplican a un número restringido de patologías y problemáticas, se enfocan en una pregunta específica o aspecto y no dan una visión holística del problema de salud. La recomendación es leer ambos tipos de revisiones, y leer más de una fuente de información, lo que dará más posibilidades de tener una visión amplia del problema.

Agradecimientos

Al Dr. Leandro Biaggini por sus comentarios y sugerencias a este documento.

Bibliografía

1.- MEDLINE PUBMED PRODUCTION STATISTICS. Disponible en: https://www.nlm.nih.gov/bsd/medline_pubmed_production_stats.html. (Accedido el 5 de marzo de 2019). [ Links ]

2.- LANDHUIS E. Information overload How to manage the research-paper deluge? Blogs, colleagues and social media can all help. Nature 2016; 535: 457-8. [ Links ]

3.- ROSSELLA F. Writing narrative style literature reviews. Medical Writing 2015; 24: 230-5. [ Links ]

4.- VANWEE B, BANISTER D. How to Write a Literature Review Paper? Transport Reviews 2016; 36: 278-88. [ Links ]

5.- PAUTASSO M. Ten Simple Rules for Writing a Literature Review. PLoS Comput Biol. 2013; 9(7): e1003149. doi:10.1371/journal.pcbi.1003149. [ Links ]

6.- SIWEK J1, GOURLAY ML, SLAWSON DC, SHAUGHNESSY AF. How to write an evidence-based clinical review article. Am Fam Physician 2002; 65: 251-8. [ Links ]

7.- YANG, B. Meta Analysis Research and Theory Building. Advances in Developing Human Resources. 2002; 4: 296-316. [ Links ]

8.- STARR M, CHALMERS I, CLARKE M, OXMAN A. The origins, evolution, and future of The Cochrane Database of Systematic Reviews. International Journal of Technology Assessment in Health Care. 2009; 25(S1): 182-95. doi:10.1017/S026646230909062X. [ Links ]

9.- ROBBINS RA. Profiles in medical courage: evidence-based medicine and Archie Cochrane. Southwest J Pulm Crit Care 2012; 5: 65-73. [ Links ]

10.- Part 2: General methods for Cochrane reviews. EN: Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0. [updated March 2011]. Editors: JPT Higgins & S. Green. Disponible en: https://hand-book-5-1.cochrane.org/. [ Links ]

11.- POSES RM, ISEN AM. Qualitative research in medicine and health care: questions and controversy. J Gen Intern Med 1998; 13: 32-8. [ Links ]

12.- LADISLAV T. Meta-analysis of qualitative studies: A tool for reviewing qualitative research findings in psychotherapy. Psychotherapy Research; 2009: 19: 4-5, 591-600. [ Links ]

13.- HEIDI M, LEVITT. How to conduct a qualitative meta-analysis: Tailoring methods to enhance methodological integrity. Psychotherapy Research 2018; 28: 367-78. [ Links ]

14.- Chapter 20: Meta-Regresion. In: Introduction to Meta Analysis. M. Borenstein, L. V. Hedges, J. P. T. Higgins and H. R. Rothstein. 2009 John Wiley & Sons, Ltd. ISBN: 978-0-470-05724-7. [ Links ]

15.- HAIDICH AB. Meta-analysis in medical research. Hippokratia. 2010; 14(Suppl 1): 29-37. [ Links ]

16.- THABANE L, MBUAGBAW L, ZHANG S, SAMANN Z, MARCUCCI M, CHENGLIN C, et al. A tutorial on sensitivity analyses in clinical trials: the what, why, when and how. BMC Med Res Methodol. 2013; 13:92. doi: 10.1186/1471-2288-13-92. [ Links ]

17.- Chapter 11: Presenting results and ‘Summary of findings’ tables. In: Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0. [updated March 2011]. Editors: JPT Higgins & S Green. Disponible en: https://handbook-5-1.cochrane.org/Links ]

18.- MOHER D, LIBERATI A, TETZLAFF J, ALTMAN DG, PRISMA GROUP. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med. 2009; 6(7): e1000097. [ Links ]

19.- GUYATT GH, OXMAN AD, VIST GE, KUNZ R, FALCK-YTTER Y, ALONSO-COELLO P, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ. 2008; 336(7650): 924-6. [ Links ]

20.- ALONSO-COELLO P, SCHÜNEMANN HJ, MOBERG J, BRIGNARDELLO-PR, AKL EA, DAVOLI M, et al. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction BMJ 2016; 353: i2016. [ Links ]

21.- BAHI TAKKOUCHE, CARMEN CADARSOSUÁREZ, DONNA SPIEGELMAN; Evaluation of Old and New Tests of Heterogeneity in Epidemiologic Meta-Analysis. Am J Epidemiol 1999; 150: 206-15. Disponible en: https://doi.org/10.1093/oxfordjournals.aje.a009981. [ Links ]

22.- HIGGINS JP, THOMPSON SG, DEEKS JJ, ALTMAN DG. JOHN P. Measuring inconsistency in metaanalyses. BMJ. 2003; 327(7414): 557-60. [ Links ]

23.- IOANNIDIS A. Interpretation of tests of heterogeneity and bias in meta?analysis. J Eval Clin Pract; 2008; 14: 951-7. [ Links ]

24.- HWANG TJ, CARPENTER D, LAUFFENBURGER JC, WANG B, FRANKLIN JM, KESSELHEIM AS. Failure of Investigational Drugs in Late-Stage Clinical Development and Publication of Trial Results. JAMA Intern Med. 2016; 176: 1826-33. [ Links ]

25.- DEVITO NJ, GOLDACRE B. Catalogue of bias: publication bias BMJ Evid Based Med. 2019; 24: 53-4. doi: 10.1136/bmjebm-2018-111107. [ Links ]

26.- STERNE JA, SUTTON AJ, IOANNIDIS JP, TERRIN N, JONES DR LAU, et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ (Clinical research ed). 2011. 343. d4002. ISSN 0959-8138 doi: https://doi.org/10.1136/bmj.d4002. [ Links ]

27.- Page MJ, Shamseer L, Tricco AC. Registration of systematic reviews in PROSPERO: 30,000 records and counting. Syst Rev. 2018;7: 32. doi: 10.1186/s13643-018-0699-4. [ Links ]

Correspondencia a: Dr. Mauricio Salinas F. Email: msalinasf@clinicasantamaria.cl

Creative Commons License This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.