SciELO - Scientific Electronic Library Online

 
vol.87 número4Estado nutricional de adolescentes pertenecientes a una cohorte de niños nacidos prematurosMorfea o esclerodermia localizada juvenil: caso clínico índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Revista chilena de pediatría

versión impresa ISSN 0370-4106

Rev. chil. pediatr. vol.87 no.4 Santiago ago. 2016

http://dx.doi.org/10.1016/j.rchipe.2016.02.003 

ARTÍCULO ORIGINAL

 

Aplicación del Examen Clínico Objetivo Estructurado en la residencia de Pediatría de la Ciudad de Buenos Aires

The Use of the Objective Structured Clinical Examination for Paediatric residents in the City of Buenos Aires

 

Magalí Hamuia, Juan Pablo Ferreiraa, Agustina Paganinia, Fernando Torresa, María Fabiana Ossorioa, Horacio Yulittab, Kumiko Eiguchib, Fernando Ferreroc,*

a Docencia e Investigación, Hospital General de Niños Pedro de Elizalde, Buenos Aires, Argentina
b Dirección General de Docencia e Investigación, Ministerio de Salud, Gobierno de la Ciudad de Buenos Aires, Buenos Aires, Argentina
c Departamento de Pediatría, Hospital General de Niños Pedro de Elizalde, Buenos Aires, Argentina

Correspondencia a:


Resumen

Introducción: A pesar de considerarse el estándar de oro para la evaluación de competencias en posgrado, el Examen Clínico Objetivo Estructurado (ECOE) es escasamente aplicado en América Latina. El Gobierno de la Ciudad de Buenos Aires (GCBA) posee un sistema de residencia de Pediatría con cerca de 400 residentes, distribuidos en 13 hospitales, que comparten examen de ingreso y programa de formación. Nuestro objetivo es describir la experiencia de aplicación del ECOE a todos los residentes de Pediatría del GCBA, y comparar el desempeño según el tipo de hospital.

Sujetos y método: Estudio descriptivo, incluyendo a todos los residentes de Pediatría del GCBA que finalizaban primer año, pertenecientes a 13 hospitales (2 pediátricos y 11 generales). El ECOE incluyó 10 estaciones.

Resultados: Participaron 85 residentes; el 88,2% (IC 95% 79,7-93,5) aprobó la evaluación. No se encontraron diferencias significativas en la proporción de residentes que aprobó la evaluación entre los que provenían de hospitales pediátricos y los de hospitales generales (89,5 vs. 85,7%; OR = 1,4; IC 95% 0,4-5,5; p = 0,8).

Conclusiones: En 2015 por primera vez se desarrolló un ECOE como evaluación unificada para todos los residentes de Pediatría del GCBA. La experiencia permitió identificar debilidades de cada evaluado y del sistema, estableciendo estrategias para superarlas.

PALABRAS CLAVE Competencia profesional. Evaluación. Educación de posgrado en medicina. ECOE.


Abstract

Introduction: The Objective Structured Clinical Examination (OSCE) is considered the reference standard for competence evaluation, but its use in Latin America is limited. The City of Buenos Aires Government (CBAG) administers a Paediatric residency system that includes 400 residents distributed in 13 hospitals, sharing an admission system and education program. We aim to describe the experience of administering an OSCE for evaluating all the Paediatric residents of the CBAG.

Subjects and method: Descriptive study, including all paediatric residents of the CBAG, belonging to 13 hospitals (2 paediatric and 11 general), ending their first year of training. The OSCE included 10 stations.

Results: Eighty-five residents participated in the OSCE, and 88.2% (95% CI 79.7-93.5) passed the examination. There were no significant differences in the pass rate between residents from paediatric hospitals and from general hospitals (89.5 vs. 85.7%; OR = 1.4; 95% CI 0.4-5.5; P = .8).

Conclusions: In 2015, the OSCE was administered to all paediatric residents of the CBAG for the first time. This experience allowed identifying weaknesses in the education system, in order to develop strategies to overcome them.

KEYWORDS Professional competence. Evaluation. Post-graduate medical education. OSCE.


 

Introducción

El Examen Clínico Objetivo Estructurado (ECOE) es un tipo de evaluación en la que se pueden incluir diferentes elementos para valorar el desempeño de los médicos en formación. Los participantes transcurren por un circuito con diferentes estaciones donde enfrentan situaciones de la práctica médica, incluyendo simulación con actores, interpretación de exámenes complementarios, realización de maniobras habituales tanto en la urgencia como en el consultorio y resolución de casos clínicos1,2.

Desde que fue descrito por Harden et al. en 19753, el ECOE se ha difundido a distintas instancias de la evaluación, transformándose prácticamente en el estándar de oro para la educación de posgrado1. A diferencia de evaluaciones sumativas tradicionales, este tipo de evaluación incluye un importante trasfondo formativo, ya que permite identificar debilidades específicas de los alumnos y plantear estrategias para superarlas4.

Si bien en América del Norte y Europa el ECOE es aplicado habitualmente en la evaluación de alumnos de posgrado, en América Latina la aplicación es escasa y habitualmente limitada a la enseñanza de grado5–7.

El Gobierno de la Ciudad de Buenos Aires (GCBA) posee un sistema de formación en Pediatría basado en un programa de residencia con más de medio siglo de vigencia8. Si bien el ingreso al sistema y el programa de formación son comunes a todas las sedes de residencia9, la evaluación de los residentes a lo largo del programa es responsabilidad de cada centro. El Hospital General de Niños Pedro de Elizalde, que forma parte del sistema de residencias del GCBA, desde hace 10 años desarrolla de manera ininterrumpida un ECOE para sus residentes de primer año10. Paulatinamente fueron participando de la experiencia otras sedes de posgrado de Pediatría del GCBA11, hasta que en el año 2015 fue instaurado como obligatorio para todos los residentes de los hospitales de la Ciudad de Buenos Aires.

El objetivo del presente reporte es describir la experiencia de la primera aplicación de un ECOE a todos los residentes de Pediatría del GCBA al finalizar su primer año de formación, y evaluar el desempeño según el tipo de hospital.

Sujetos y método

Diseño

Estudio descriptivo.

Población

Se incluyeron todos los residentes de Pediatría del GCBA que finalizaban su primer año de residencia. Estos pertenecían a 13 hospitales, 2 de ellos pediátricos y 11, generales. El ECOE fue desarrollado en abril de 2015.

El ECOE incluyó 10 estaciones de evaluación más 2 estaciones de descanso oportunamente dispuestas. Cada estación tuvo una duración de 7 min, siendo la duración total del ECOE de 84 min para cada participante.

Para la implementación del ECOE se utilizaron recursos físicos (aulas, instrumental médico, ordenadores, maniquíes –dummy humano– y cronómetro con alarma), recursos educacionales (diseño de las estaciones, guiones para pacientes simulados, consignas para los alumnos, material auxiliar, listas de verificación) y recursos humanos (docentes, especialistas consultores, actores, observadores, coordinadores).

Las competencias evaluadas fueron: conocimiento aplicado, juicio clínico, habilidades comunicacionales, destreza en la realización de procedimientos y habilidad en la interpretación de estudios complementarios (tabla 1).

 

Tabla 1 Características de las estaciones que integraron el Examen Clínico Objetivo Estructurado

 

A todos los participantes se les ofreció previamente una explicación del ECOE, sus objetivos, alcance y forma de desarrollo.

Luego de la instancia de evaluación, y analizados sus resultados, se efectuó la devolución con los residentes participantes, así como con los responsables de su formación. Estas devoluciones fueron tanto grupales como individuales para dar a conocer las fortalezas y los puntos a reforzar de cada participante en particular.

Para los fines de evaluación y devolución se consideró aprobada aquella estación en la que se alcanzara el 60% del puntaje correspondiente al percentil 95% de la distribución. Para aprobar el ECOE los alumnos debían superar este puntaje en al menos 6 de las 10 estaciones.

Consideraciones estadísticas

Los datos fueron volcados a una planilla realizada en Excel, la carga se realizó por duplicado y posteriormente se procedió a evaluar la consistencia de los datos para evitar errores. Para la descripción de los resultados obtenidos se utilizan proporciones para las variables categóricas (con sus IC 95%). Para comparar proporciones se utilizó la prueba de Chi cuadrado. El análisis se realizó con el programa SPSS® 11.0.

Consideraciones éticas

El presente estudio solo describe los datos correspondientes al desarrollo de la evaluación. Previamente al análisis se efectuó una adecuada disociación de cualquier información filiatoria que pudiera permitir la identificación de cualquier sujeto, cumpliendo con la legislación vigente al respecto.

Resultados

De los 89 residentes de Pediatría pertenecientes al GCBA finalizando su primer año, participaron del ECOE 85; las 4 ausencias estuvieron justificadas.

La tasa global de aprobación fue de un 88,2% (IC 95% 79,7-93,5).

No se encontraron diferencias significativas entre la proporción de residentes provenientes de hospitales pediátricos que aprobó el ECOE con respecto a los participantes de hospitales generales (89,5 vs. 85,7%; OR = 1,4; IC 95% 0,4-5,5; p = 0,8).

Tampoco se encontraron diferencias en la tasa de aprobación entre ambos tipos de hospitales, al considerar cada estación (fig. 1).

 

Figura 1 Porcentaje de alumnos que aprobaron cada estación según el tipo de hospital.

 

Las estaciones con menor tasa de aprobación fueron la que evaluó la competencia para efectuar indicaciones a enfermería (46%) y la que evaluó la competencia en la interpretación de electrocardiograma (52%). El resto de las estaciones tuvo una tasa de aprobación superior al 74% (tabla 1).

Discusión

Aunque el ECOE podría considerarse el estándar de oro para la evaluación de competencias en educación médica de posgrado1, las dificultades originadas en la logística de su implementación hacen que su aplicación pueda ser limitada. Nuestra experiencia muestra que se trata de una iniciativa que demanda un importante esfuerzo, pero es factible, aun en nuestro medio.

Es posible que, además de las dificultades reales, ciertos preconceptos limiten la aplicación del ECOE. Harden identifica 5 preconceptos habitualmente ligados al ECOE (elevado costo, falta de enfoque holístico, escenario poco realista, rol del examinador limitado y estresante para los alumnos) que finalmente son rechazados con sólidos argumentos. El costo siempre puede reducirse con estrategias simples, como compartir el mismo ECOE con otras instituciones; el enfoque integrador puede lograrse incluyendo al ECOE junto con otros métodos de evaluación; el realismo de escenario puede mejorarse con una adecuada planificación e implementación de cada estación; el rol del examinador puede ser mucho más amplio, haciéndolo participar del diseño de las estaciones y del feed-back a los examinados; finalmente, el estrés puede reducirse garantizando una adecuada organización de las estaciones y un grado de dificultad acorde al momento de formación12.

Hasta donde conocemos, esta es la primera experiencia publicada en implementar el ECOE en el mayor sistema de residencias médicas de la Argentina. El sistema de residencias del GCBA cuenta con medio siglo de historia y más de 3.000 residentes. La residencia de Pediatría forma parte de este desde su inicio y actualmente incluye cerca de 400 residentes distribuidos en 13 sedes distintas. El sistema cuenta con un examen de ingreso y un programa académico en común, y los residentes comparten cerca de la mitad de los escenarios de aprendizaje. Esto permite lograr una homogeneidad académica en todos los residentes que finalizan su formación en Pediatría independientemente de la sede hospitalaria. No haber encontrado diferencias significativas en el rendimiento del ECOE entre los residentes que provenían de hospitales generales y los que se desempeñaban en hospitales pediátricos refuerza la importancia de aquellos elementos del sistema que son comunes (ingreso, programa, escenarios).

A pesar de no ser el principal objetivo de este tipo de evaluación, la tasa de aprobación global (88%) fue satisfactoria, especialmente considerando la falta de entrenamiento de la mayoría de los alumnos con este tipo de evaluación.

Solo 2 estaciones presentaron un rendimiento significativamente menor. En el caso de la estación donde se evaluaba la competencia para efectuar indicaciones a enfermería, el desempeño pudo haber estado condicionado por la clave de corrección utilizada, que si bien se ajustaba a un modelo utilizado en educación de posgrado local, puede no haber contemplado usos y costumbres propios de cada sede participante13. En el caso de la interpretación de electrocardiograma, probablemente refleje un déficit real en la capacitación en ese punto en particular, tanto en el programa de residencia como en los estudios de grado universitario previos14.

Una potencial limitación de nuestra experiencia es el número de estaciones utilizado (10), habida cuenta de que el incremento en el número de estaciones (entre 10 y 15) aumenta la confiabilidad de la prueba15. Sin embargo, considerando los objetivos educacionales para residentes que terminan el primer año de su posgrado, las competencias evaluadas con este número de estaciones fueron lo suficientemente variadas como para evaluar su desempeño para ese momento de su formación. Además, a pesar de que agregar estaciones a un ECOE puede considerarse complicado, existe evidencia de que una vez que su uso se generaliza, las evaluaciones tienden a incluir más estaciones de menor duración, sin incrementar la complejidad de su implementación16.

Con respecto a las características de las estaciones, a lo largo de nuestra experiencia con este tipo de evaluación, tanto en grado como en posgrado11, hemos incorporado actores que desempeñan el rol de padres de pacientes, fundamentales a la hora de evaluar las habilidades comunicacionales en la consulta pediátrica. Sin embargo, también es importante incorporar a niños como integrantes de esta herramienta de evaluación17, incluso para explorar otros aspectos de la consulta médica no siempre tenidos en cuenta, como la opinión de los niños sobre sus médicos18. De igual forma, hemos incorporado la evaluación de las indicaciones escritas, ya que se demostró que la habilidad de la escritura es evaluable en el ECOE19 y que esta se relaciona con las destrezas en la comunicación verbal, siendo ambas habilidades esenciales en la evaluación de los médicos en formación de posgrado.

Finalmente, consideramos que la aplicación continua y sistemática del ECOE puede impactar favorablemente en la formación profesional de los alumnos de posgrado20, siendo este método, probablemente, el que mejor demuestra que la evaluación es una instancia fundamental en el proceso formativo. En la Ciudad de Buenos Aires, por primera vez se desarrolló una evaluación unificada para todos los residentes de primer año de Pediatría, utilizando un ECOE como herramienta. A pesar del desafío logístico, la experiencia pudo desarrollarse con éxito, permitiendo identificar fortalezas y debilidades de los participantes.

Referencias

1. Sloan D.A., Donnelly M.B., Schwartz R.W., Strodel W.E. The Objective Structured Clinical Examination. The new gold standard for evaluating postgraduate clinical performance. Ann Surg. 1995;222:735-42.         [ Links ]

2. Martínez J.M. Los métodos de evaluación de la competencia profesional: la evaluación clínica objetiva estructurada (ECOE). Educ Med. 2005;8(Supl 2):s18-22.         [ Links ]

3. Harden R.M., Stevenson M., Downie W.W., Wilson G.M. Assessment of clinical competence using objective structured examination. Br Med J. 1975;1:447-51.         [ Links ]

4. Townsend A.H., McLlvenny S., Miller C.J., Dunn E.V. The use of an objective structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance. Med Educ. 2001;35:841-6.         [ Links ]

5. Triviño X., Vásquez A., Mena A., et al. Aplicación del examen clínico objetivo estructurado (OSCE) en la evaluación final del internado de pediatría en dos escuelas de medicina. Rev Med Chil. 2002;130:817-24.         [ Links ]

6. Vargas A.L., Boulet J.R., Errichetti A., van M., López M.J., Reta A.M. Developing performance-based medical school assessment programs in resource-limited environments. Med Teach. 2007;29:192-8.         [ Links ]

7. Trejo J.A., Martínez A., Méndez I., Morales S., Ruiz L.C., Sánchez M. Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gac Med Mex. 2014;150:8-17.         [ Links ]

8. Gobierno de la Ciudad de Buenos Aires. Residencias y concurrencias [consultado 8 Sep 2015]. Disponible en: http://www.buenosaires.gob.ar/salud/residenciasyconcurrencias/presentacion-de-residencia-y-concurrencias.         [ Links ]

9. Gobierno de la Ciudad de Buenos Aires. Programa docente de la residencia de pediatría. Año 2015 [consultado 8 Sep 2015]. Disponible en: http://www.buenosaires.gob.ar/sites/gcaba/files/prog_pediatria.pdf.         [ Links ]

10. Bustos M., Chiolo M.J., Cutri A., et al. Examen clínico estructurado objetivo para residentes de pediatría. Presentación de una experiencia. Arch Argent Pediatr. 2007;105:333-6.         [ Links ]

11. Di S., Manjarin M., Torres F., Ossorio M.F., Wainsztein R., Ferrero F. Empleo del examen clínico objetivo estructurado (ECOE) en diversos niveles de educación de la pediatría. Rev Fac Cien Med Univ Nac Cordoba. 2014;71:94-7.         [ Links ]

12. Harden R.M. Misconceptions and the OSCE. Med Teach. 2015;37:608-10.         [ Links ]

13. Arpi L., Peralta M.A., Soria A.M., Ciriaci C., Figueroa C.M. Errores en internación. Buenos Aires: Sociedad Argentina de Pediatría. Programa Nacional de Actualización Pediátrica (PRONAP), (2013) pp. 11-54.         [ Links ]

14. Ochoa-Castro C.E., Cobos-Aguilar H., Pérez-Cortez P., Marroquín-Cardona M.A., Gómez-Sánchez M.M. Aptitud clínica en la interpretación de electrocardiograma en una muestra de médicos becarios. Inv Ed Med. 2014;3:9-15.         [ Links ]

15. Brannick M.T., Erol-Korkmaz H.T., Prewett M. A systematic review of the reliability of objective structured clinical examination scores. Med Educ. 2011;45:1181-9.         [ Links ]

16. Lin C.W., Tsai T.C., Sun C.K., Chen D.F., Liu K.M. Power of the policy: How the announcement of high-stakes clinical examination altered OSCE implementation at institutional level. BMC Med Educ. 2013;13:8.         [ Links ]

17. Tsai T.C. Using children as standardised patients for assessing clinical competence in paediatrics. Arch Dis Child. 2004;89:1117-20.         [ Links ]

18. Bardgett R.J., Darling J.C., Webster E., Kime N. What makes a good children's doctor? Exploring the child perspective in the OSCE setting. Med Teach. 2015;:1-5.         [ Links ]

19. Keely E., Myers K., Dojeiji S. Can written communication skills be tested in an objective structured clinical examination format?. Acad Med. 2002;77:82-6.         [ Links ]

20. Opoka R.O., Kiguli S., Ssemata A.S., Govaerts M., Driessen E.W. Perceptions of postgraduate trainees on the impact of objective structured clinical examinations on their study behavior and clinical practice. Adv Med Educ Pract. 2015;6:431-7.         [ Links ]

 


Recibido el 3 de enero de 2016
Aceptado el 8 de febrero de 2016

Conflicto de intereses

Este trabajo cumple con los requisitos sobre consentimiento/asentimiento informado, comité de ética, financiación, estudios animales y sobre la ausencia de conflicto de intereses según corresponda.

Agradecimientos

A la Sra. Verónica Gatto Bellora, por la corrección de los guiones utilizados por los actores.
A los responsables de los programas de residencia en los diferentes hospitales, por su decidida colaboración.

Correspondencia a: Fernando Ferrero
Correo electrónico: fferrero@intramed.net

0370-4106/© 2015 Publicado por Elsevier España, S.L.U. en nombre de Sociedad Chilena de Pediatría. Este es un artículo Open Access bajo la licencia CC BY-NC-ND
(http://creativecommons.org/licenses/by-nc-nd/4.0/).

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons