SciELO - Scientific Electronic Library Online

 
vol.141 issue9Standardized Patients in Clinical Skills Training in Undergraduate Medical Education: ReplyComparison of regional data of effectiveness of treatment of hypertension according to the National Health Survey (Chile) and the Monthly Statistical Reports author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista médica de Chile

Print version ISSN 0034-9887

Rev. méd. Chile vol.141 no.9 Santiago Sept. 2013

http://dx.doi.org/10.4067/S0034-98872013000900019 

Cartas al Editor

 

Observando bajo el agua: la evaluación de proceso en investigación en salud

Learning to look under the water: the evaluation process in health research

 

Báltica Cabieses, PhD

Docente Facultad de Medicina, Universidad del Desarrollo. Santiago, Chile.
Visiting Scholar, University of York, UK. Associate Epidemiologist, BIHR, UK.

Correspondencia a:


 

Sr. Editor:

El cuidado de la salud y su investigación se han convertido inevitablemente en un proceso cada vez más complejo1. Hoy es central discriminar si cuando una intervención falla, lo que realmente falla es la intervención misma o su implementación. Y cuando un programa es mal implementado, se requiere conocer las razones de dicho fracaso para su mejoramiento futuro. Además, se requiere identificar todos los factores necesarios para que el programa funcione de manera exitosa.

La evaluación de proceso (EP) es una incipiente metodología de investigación que contribuye a discriminar entre los diversos factores que afectan al éxito de una nueva intervención en salud. La EP responde a las siguientes tres preguntas: ¿Logró la intervención su objetivo? ¿Qué sucedió durante su implementación? y ¿Qué respuesta se obtuvo de parte de quienes recibieron dicha intervención?2. Esta carta pretende revisar la metodología de EP, aún pobremente desarrollada en investigación en salud (IS) en Chile.

La principal meta de la EP es identificar los "ingredientes activos" de intervenciones en salud. La EP tiene el potencial de permitir avanzar en problemas de salud que parecen estancados o insolubles. Además, reconoce la inherente complejidad asociada al éxito de cualquier intervención en salud ejecutada en la vida real. Esta idea ha sido revisada internacionalmente, por ejemplo, por expertos en salud basada en evidencia, culminando con una actualización del formulario CONSORT para la entrega de mayor detalle respecto de las intervenciones desarrolladas en ensayos clínicos con diseño aleatorio. De acuerdo con lo recomendado por algunos autores, la EP mide y explora al menos los siguientes 6 componentes2:

1) Dosis: ¿cuánto fue implementado de cada actividad que la intervención contenía? ¿cuánto fue entregado y cuánto de ello fue efectivamente recibido?

2) Calidad: ¿fueron las intervenciones bien realizadas? ¿planificadas oportunamente? ¿contaron con el tiempo necesario? ¿estaban bien calificados quiénes la ejecutaron? ¿se utilizó el diseño adecuado? ¿los instrumentos/materiales eran pertinentes y bien elaborados?

3) Fidelidad: ¿se ejecutaron las intervenciones tal como fueron planificadas y consistentes a lo largo del tiempo/lugares/ejecutores?

4) Participación: ¿hubo adecuada participación? ¿cómo se favoreció la participación de personas/grupos involucrados? ¿cómo fue la intervención evaluada? ¿era clara/consistente/confiable/culturalmente adecuada?

5) Lógica: ¿logra la intervención realmente tener el efecto que se esperaba? Si la intervención tiene varios componentes ¿cuál de ellos es el que logra el verdadero efecto y como afectan los demás elementos para el logro de dicho efecto?

6) Otros factores: se han enumerado otros factores que facilitan/reducen el éxito de la implementación de una intervención en salud. Dichos factores están asociados con:

a. La implementación: habilidades, conocimientos, motivación y confianza de quienes planifican y ejecutan la intervención.

b. El grupo objetivo: tasa de respuesta/participación, motivación, características demográficas, socioeconómicas y culturales. Han sido discutidos también aspectos referidos a la EP de la interacción entre quienes ejecutan la intervención y quienes la reciben: ¿en qué medida el proceso de interacción interpersonal contribuye al logro de la intervención? ¿cuál es el propósito de incluir la interacción interpersonal en una EP? ¿qué métodos son utilizados para describir y analizar el proceso de interacción entre proveedor y receptor?

c. El sistema en el cual la intervención está inmersa: gestión de apoyo, infraestructura, recursos económicos/humanos disponibles.

d. Propios de la intervención: complejidad de la intervención, preparación y entrenamiento de quienes lo ejecutan, maquinarias y tecnologías requeridas.

e. Socio-culturales: normas, creencias, valores de la población.

f. No anticipados: elementos inesperados que pudieran afectar el éxito de una intervención en salud (catástrofes naturales, conflictos políticos).

En la literatura se reconocen algunos desafíos pendientes en torno a la EP3,4. Primero, no es exigido de manera formal como parte del protocolo de un estudio experimental o de impacto en salud, y, por lo tanto, no es siempre capturada una valiosa información. Segundo, existen limitaciones asociadas a la cercanía entre quien lidera la intervención y quien evalúa su proceso (generalmente los mismos investigadores). Esto ha generado la discusión en torno a la calidad de la EP y su riesgo de sesgo, que debe ser urgentemente revisado. Tercero, se ha reportado el riesgo de que la EP modifique el diseño inicial de la intervención, pues su dinámico proceso de evaluación permanente puede dar a conocer algunas posibles causas de fracaso de una intervención antes de que el estudio finalice. Alternativas para resolver este problema en estudios altamente controlados es que el evaluador de proceso sea un tercero no involucrado en el diseño de la intervención y que los resultados de la EP no se revelen hasta el final. En estudios pragmáticos o de base comunitaria, modelos de investigación con participación social (ej. Participación-acción) permiten la modificación de la intervención en grados variables a lo largo del estudio5. Cuarto, la EP exige importantes desafíos en la recolección y síntesis de información de múltiples fuentes y características. El manejo simultáneo de información de base cualitativa (que podría ser recolectada como parte de una EP) y su triangulación con resultados de efectos en salud de naturaleza cuantitativa exige importantes habilidades por parte del equipo de investigación. No obstante su complejidad, es reconocido el creciente desarrollo e interés internacional en estudios con métodos mixtos, que no sólo intentan identificar dirección, magnitud y eventual causalidad de diversos agentes en salud, sino que también exploran beneficios y efectos adversos percibidos, calidad de vida, factores facilitadores y obstaculizadores, confiabilidad y auto-eficacia, entre otros5.

En mi opinión, la principal virtud de la EP es que aporta de manera directa al creciente entendimiento de la salud como un fenómeno amplio, complejo y dinámico, y por lo tanto, difícil de predecir. En la era de la práctica basada en evidencia, es central discriminar si cuando fracasa una intervención, lo que realmente fracasó fue dicha intervención o más bien su implementación y la EP es una herramienta concreta para dicho análisis.

Agradecimientos: Al Profesor Hilary Graham, Head, Department of Health Sciences, University of York, y al Public Health Research Consortium del Reino Unido, por su valiosa orientación en la búsqueda y selección de artículos científicos y documentos relevantes para el tópico revisado en este manuscrito.

 

Referencias

1. Parrish JK, Edelstein-Keshet L. Complexity, pattern, and evolutionary trade-offs in animal aggregation. Science 1999; 284 (5411): 99-101.         [ Links ]

2. Hogard E. Purpose and method for the evaluation of interpersonal process in health and social care. Eval Program Plann 2008; 31 (1): 34-40.         [ Links ]

3. Ogilvie D, Mitchell R, Mutrie N, Petticrew M, Platt S. Evaluating health effects of transport interventions methodologic case study. Am J Prev Med 2006; 31 (2): 118-26.         [ Links ]

4. Platt S, Backett-Milburn K, Gnich W, Rankin D, Ritchie D, Truman J. Applying process evaluation: learning from two research projects. In: Thorogood M, Coombes Y, editors. Evaluating Health Promotion. 2nd ed. Oxford: Oxford.         [ Links ]

5. Parry O, Gnich W, Platt S. Principles in practice: reflections on a 'postpositivist' approach to evaluation research. Health Educ Res 2001; 16 (2): 215-26.         [ Links ]

 


Conflictos de Intereses:

Báltica Cabieses

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License