SciELO - Scientific Electronic Library Online

 
vol.146 número10Oscar Castro Zúñiga: el poeta vencido por la tuberculosisCarcinoma epidermoide primario del estómago. Reporte de tres casos índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Revista médica de Chile

versión impresa ISSN 0034-9887

Rev. méd. Chile vol.146 no.10 Santiago dic. 2018

http://dx.doi.org/10.4067/S0034-98872018001001197 

Educación Médica

Diseño e implementación de OSCE para evaluar competencias de egreso en estudiantes de medicina en un consorcio de universidades chilenas

A standardized objective structured clinical examination to assess clinical competencies in medical students

CLAUDIA BEHRENS1 

VERÓNICA MORALES2 

PAULA PARRA3 

AMELIA HURTADO4 

ROSARIO FERNÁNDEZ5 

ELISA GIACONI4  a 

LUCÍA SANTELICES5  b 

SOLEDAD ARMIJO6 

GAIL FURMAN7 

1Facultad de Medicina Universidad Católica del Norte, Chile.

2Facultad de Medicina Universidad Andrés Bello, Chile.

3Universidad de Concepción, Chile.

4Universidad Mayor, Chile.

5Universidad Finis Terrae, Chile.

6Facultad de Medicina Universidad del Desarrollo, Chile.

7National Board of Medical Examiners, USA.

aPsicóloga, Chile.

bProfesora de Biología y Ciencias naturales, Chile.

ABSTRACT

Background: Outcomes-based education is a trend in medical education and its assessment is one of the main challenges. The Objective Structured Clinical Examination (OSCE) is one of the tools used to assess clinical competencies. Although Chilean medical schools have used OSCEs for 18 years, there is a vast variability in the way these examinations are administered. Aim: To design and implement an integrated OSCE to assess clinical competencies at the end of the medical program in Chilean medical schools, aiming to reduce variability between these schools. Material and Methods: Seven medical schools, supported by experts from the National Board of Medical Examiners, designed a 12 station OSCE to measure clinical outcomes at the end of the seventh year of medical training. Unlike traditional OSCEs, this new examination incorporated the assessment of clinical reasoning and communication skills, evaluated from patients’ perspective. Results: One hundred twenty-five volunteers took the same exam at five different venues. The internal consistency was 0.62. Following a compensatory approach, 85% of students passed the exam. Communication assessment showed poorer results than those reported in the literature. Conclusions: Among Chilean medical students, the assessment of clinical outcomes in a collaborative way, through a valid and reliable exam, is feasible. A consensus on how to teach and assess clinical reasoning across the medical curriculum is required. The assessment of students’ communication skills requires further development.

Key words: Clinical Competence; Educational Measurement; Students, Medical

La tendencia mundial en educación médica está orientada a la formación de los profesionales con un enfoque por competencias, debido a que el enfoque tradicional centrado mayoritariamente en aspectos cognitivos no ha satisfecho las necesidades reales de los sistemas de salud1. Esto ha obligado a las instituciones formadoras a replantear sus curriculum, llegando incluso a incorporar las actividades profesionales de confianza (“entrustable professional activities”) como parte de los programas de pregrado2.

Reconociendo que la adquisición de las competencias clínicas en el pregrado es fundamental, su evaluación se transforma en uno de los problemas en la educación médica3,4. La utilización de instrumentos válidos y confiables que permitan evaluar dichas competencias, es esencial para dar cuenta del perfil de egreso y asegurar la calidad de los nuevos profesionales. Existen diversos estudios para el diseño y validación de instrumentos de evaluación que permiten certificar las competencias clínicas5,6. Uno de los instrumentos de evaluación de competencias clínicas más utilizado es el Examen Clínico Objetivo Estructurado (Objective Structured Clinical Examination, OSCE)3,5-8.

Los OSCE han demostrado mejorar la validez y confiabilidad de las evaluaciones, y son ampliamente utilizados para la evaluación de competencias clínicas4,9. Los OSCEs fueron introducidos en las Escuelas de Medicina chilenas a comienzos del siglo 21, específicamente en el área de cirugía10 y pediatría11,12al finalizar los internados. Desde el 2013, se ha utilizado este tipo de examen para la revalidación del título de médico-cirujano para profesionales que adquirieron su grado en el extranjero13.

El formato de este tipo de exámenes ha evolucionado en el tiempo, desde el uso de pautas de cotejo para evaluar destrezas psicomotoras y habilidades de entrevista clínica, hacia un concepto más global, donde el diagnóstico, razonamiento clínico y evaluación de la comunicación con el paciente son parte fundamental de este método de evaluación13. Por otra parte, ya desde el 2007, existen reportes del uso de esta metodología como evaluación formativa14 previo a su aplicación con fines sumativos.

Si bien existen recomendaciones internacionales sobre como evaluar la calidad de los OSCEs15, con respecto a los criterios de calificación, no existe una clara definición si una evaluación por logros es más adecuada que un enfoque compensatorio en donde se integran los puntajes totales del examen16.

Aunque en la actualidad la mayoría de las universidades chilenas está realizando OSCEs, existe una gran variabilidad en la forma en que estos exámenes se realizan y utilizan en cada institución.

El objetivo de este trabajo fue diseñar e implementar un OSCE integrado para evaluar competencias de egreso en estudiantes de medicina de un consorcio de Universidades chilenas.

Materiales y Métodos

El año 2014, un consorcio de siete universidades chilenas se adjudica un proyecto financiado por el “National Board of Medical Examiners” (NBME) para optimizar la evaluación de competencias clínicas en estudiantes de Medicina. Para ello, dos expertos en la implementación del examen de certificación de competencias prácticas de médicos en Estados Unidos, realizaron una capacitación a tres docentes expertos en educación médica de cada una de las escuelas de medicina involucradas. En un workshop inmersivo de dos días de duración, se profundizó en las particularidades del examen que aplica actualmente el NBME, capacitando a los asistentes en el diseño del blueprint, construcción de los guiones y de pautas de calificación, además del proceso de entrenamiento de pacientes estandarizados.

El blueprint del examen consideró doce estaciones para evaluar las competencias de anamnesis, examen físico, diagnóstico, razonamiento clínico, plan diagnóstico, plan terapéutico y comunicación efectiva con el paciente, de acuerdo al nivel de desempeño que se espera para un médico general según ASOFAMECH17. Los casos clínicos fueron seleccionados siguiendo un enfoque por sistemas y considerando las especialidades de medicina interna, pediatría, gineco-obstetricia, cirugía y salud mental. El diseño del blueprint se describe en la Tabla 1.

Tabla 1 Blueprint para OSCE  

Una vez definidas las competencias a evaluar y los casos clínicos, se procedió a construir las estaciones. Éstas fueron diseñadas por expertos en educación médica pertenecientes a lo menos a dos universidades del consorcio en base al formato utilizado por la NBME. Posteriormente, para su validación de contenido, estas estaciones fueron analizadas por clínicos de todas las universidaçdes hasta alcanzar consenso tanto en el contenido y forma de los guiones, como en los criterios y ponderaciones para la calificación (Tabla 2).

Tabla 2 Distribución porcentual de ponderaciones para la calificación de las estaciones  

Para la evaluación de la comunicación con el paciente, se decidió utilizar una pauta previamente validada, denominada Communication Assessment Tool (CAT)18, para ser aplicada por el paciente estandarizado.

Considerando que la implementación del examen se realizó en lugares geográficamente distantes, se crearon videos con pacientes entrenados (actores profesionales) para apoyar el entrenamiento estandarizado de los actores de las diferentes sedes. Posteriormente y previo a la realización del examen, cada institución supervisó la representación de los pacientes simulados. Los actores que evaluaron el desempeño en examen

físico fueron entrenados por clínicos expertos en educación y OSCE para estandarizar su rol de evaluador

.

Se realizó un muestreo intencionado de carácter voluntario. Fueron invitados a participar cuatrocientos quince recién egresados de la carrera de medicina pertenecientes a seis universidades del consorcio, a quienes se solicitó participar de una evaluación OSCE de carácter formativo de ciento ochenta minutos de duración, previa firma de un consentimiento informado aprobado por cada una de las instituciones participantes. Se excluyeron del estudio los estudiantes que hubieran reprobado algún internado.

Este examen se llevó a cabo durante el mes de noviembre de 2015 en seis locaciones, distribuidas en cuatro ciudades a lo largo del país (Coquimbo, Viña del Mar, Santiago y Concepción).

Los circuitos se administraron sin evaluador clínico dentro de las estaciones, el examen físico y la comunicación fueron evaluados por el paciente estandarizado y la duración de cada estación fue de quince minutos. Los egresados debían distribuir su tiempo para realizar la entrevista y en los casos solicitados el examen físico, además de contestar la pauta de evaluación de cada estación. Las pautas de evaluación incluían, de acuerdo al blueprint, secciones para evaluar Anamnesis, Examen Físico, Diagnóstico y Razonamiento Clínico, Plan diagnóstico y Plan terapéutico (Tablas 1 y 2). Los evaluados debían registrar los elementos claves de la anamnesis y del examen físico, y argumentar, en base a la información recogida, tanto la priorización de los diagnósticos como los planes de acción. En cada sección se definieron respuestas posibles en relación al guión construido para el paciente estandarizado de cada caso, y se definieron criterios para categorizar las respuestas en Insuficiente, Suficiente y Satisfactorio (Figura 1). No se utilizó checklist para calificar esta sección de las estaciones.

Figura 1 Pauta de razonamiento clínico neumonía. 

Mientras los egresados registraban sus respuestas, dando cuenta de su proceso de razonamiento clínico, los pacientes estandarizados evaluaban la comunicación utilizando pauta CAT. Las pautas CAT se analizaron considerando el total de descriptores calificados como excelente en la suma de todas las estaciones, de acuerdo a lo descrito por el autor18.

Cada universidad revisó las pautas de evaluación de sus egresados registrando los resultados en una planilla común, manteniendo el anonimato de cada evaluado. Cada escuela entregó feedback a sus egresados participantes. Además, algunas escuelas realizaron reuniones de análisis grupal al final del examen, recogiendo percepciones de los egresados y los pacientes estandarizados sobre el método de evaluación.

Resultados

De los cuatrocientos quince egresados de las escuelas del consorcio, ciento veinticinco accedieron a participar constituyendo 30% de la muestra. De los participantes, 58,4% fueron mujeres y 41,6% hombres.

El desempeño global mostró una leve asimetría positiva que no difería significativamente de una distribución normal (KS = 0,055; p = 0,20), tal y como se observa en la Figura 2.

Figura 2 Distribución del desempeño obtenido en el OSCE por los estudiantes de Medicina. 

Al evaluar la confiabilidad del OSCE, considerando las doce estaciones se obtuvo un coeficiente alfa de Cronbach de 0,62.

El porcentaje global de logro de cada competencia se detalla en la Tabla 3. Las estaciones globalmente mejor logradas son las de síndrome coronario agudo, neumonía y climaterio, en tanto que las que mostraron más bajo desempeño corresponden a anticoncepción oral, control sano y depresión (Tabla 4).

Tabla 3 Resultados de logro global por competencia 

Tabla 4 Porcentajes de logros por estación obtenidos  

El porcentaje de aprobación del examen aplicando criterio de calificación compensatoria, fue de 84%.

El análisis de resultados de la competencia comunicación efectiva con el paciente, se obtuvo mediante la sumatoria del puntaje máximo de cada ítem (porcentaje de excelentes) obteniéndose un promedio de 41,3% (DS = 17,4).

Entre las principales opiniones de los egresados destaca la percepción de mayor realismo al tener más tiempo con el paciente y ausencia de evaluador en la estación. Manifestaron satisfacción con esta modalidad, porque el instrumento les permitió demostrar de manera más completa su desempeño clínico, aunque las primeras estaciones les resultaron más difíciles debido al nuevo formato y, en algunas de ellas acusaron, falta de tiempo (estaciones 4 y 11).

En relación a los pacientes estandarizados, refirieron que fue positivo contar con un guión más detallado, y tener un entrenamiento acabado en cada una de las estaciones, que incluyó video. En cuanto a su rol como evaluadores de la comunicación efectiva, indicaron que el instrumento utilizado fue fácil y rápido de completar.

Discusión

Los resultados permiten señalar que es factible evaluar colaborativamente las competencias de egreso en estudiantes de medicina en Chile, consensuando criterios para el diseño, implementación y evaluación, mediante un OSCE integrado que cumple con criterios de validez y confiabilidad (alfa de cronbach 0,62).

Este es el primer OSCE colaborativo reportado en la literatura entre seis universidades chilenas, integrando las cinco disciplinas básicas de la medicina, respaldado en el diseño metodológico por el NBME para evaluar competencias de egreso. En Chile, existen reportes de evaluación con OSCE enfocados solo a una disciplina en particular10,11,13.

Con respecto a 30% de participación de egresados, cabe señalar que pudo haber sido influenciado por tratarse de una experiencia voluntaria, implementada una vez finalizado el período formativo y ad portas del EUNACOM teórico de ese año.

El análisis de los datos de los OSCEs es reportado en la literatura en base a resultados por estaciones10,13y no en base a logros de competencias. Nuestro análisis de resultados se realizó primariamente en base a logros debido a que nos interesaba conocer el nivel de desempeño global alcanzado por los evaluados en cada competencia. La decisión de aprobación se basó en un enfoque compensatorio que es lo recomendado para pregrado.

Si bien es cierto los porcentajes globales de logro alcanzados en el examen fueron altos, al analizar en forma separada cada estación pudimos constatar que en aquellos casos en que el logro en anamnesis fue menor, coincidentemente se observó menor rendimiento en el razonamiento clínico (Tabla 4). Desde nuestra interpretación, esto es esperable en médicos novatos, quienes utilizan un enfoque hipotético deductivo en la toma de decisiones clínicas19.

Dentro de otros factores que pueden afectar los resultados, está el hecho que el examen no tenía calificación ni consecuencias en la promoción, a diferencia de lo que ocurre con las evaluaciones al interior de cada curriculum, para las cuales los estudiantes usualmente se preparan.

En segundo lugar, la evaluación se realizó en un formato diferente al que usualmente se usa en pregrado. En este caso, los evaluados registran los elementos clave de la anamnesis y del examen físico, y argumentan, en base a la información recogida, tanto la priorización de los diagnósticos como los planes de acción, a diferencia del formato tradicional de OSCE, que utiliza pautas de cotejo con conductas preestablecidas, aplicadas por un evaluador que observa el desempeño. Adicionalmente, en este examen se evaluaron de manera sincrónica las cinco especialidades básicas, independiente del tiempo en que cada estudiante culminó su práctica clínica supervisada.

En tercer lugar, no existe un consenso explícito en la enseñanza ni en la evaluación del razonamiento clínico en las instituciones involucradas. Sin embargo, desde esta experiencia es posible definir líneas de acción conjunta para mejorar los procesos de enseñanza y evaluación de esta competencia. Se sugiere que a partir de la didáctica en educación médica se unifiquen criterios para la enseñanza del razonamiento clínico19, incluyendo instancias formativas que permitan retroalimentar a los estudiantes durante su proceso de aprendizaje, y no solo como una evaluación terminal20,21. Esto requiere además, la formación de los docentes para la enseñanza e identificación precoz de los avances y problemas en la práctica del razonamiento clínico de los estudiantes de pregrado22,23.

Respecto de la evaluación de la comunicación, el porcentaje promedio de excelentes fue menor al punto de corte definido por la literatura18. No hay reportes del uso de este instrumento en contextos simulados y aplicado por actores, cuyo nivel de exigencia podría ser muy alto para calificar la comunicación, dada su condición de expertos en este ámbito.

Los evaluados consideraron positiva la experiencia, reconociendo tanto el realismo de la representación como la importancia de la implementación de una pauta que deje mejor registro de sus procesos de pensamiento.

Como fortalezas de la aplicación del proceso, destacan no sólo el trabajo colaborativo de las universidades del consorcio, sino que también la oportunidad de diseñar estaciones con formatos que pusieran énfasis en el razonamiento clínico y la comunicación médico-paciente. Así mismo, la posibilidad de entregar feedback efectivo, posibilitó la generación de nuevos aprendizajes, tanto en los estudiantes como en los académicos involucrados. La oportunidad de trabajar con actores estandarizados, es sin duda una experiencia que permite aumentar la validez del exámen y al mismo tiempo generar redes que posibiliten trabajos posteriores.

Este trabajo colaborativo permitió generar nuevos conocimientos en el área de evaluación de competencias clínicas en medicina, mejorar la calidad del OSCE y avanzar hacia la propuesta de un futuro examen clínico de habilitación nacional con criterios comunes y consensuados.

Fuente de apoyo financiero: Para la implementación del examen se obtuvo un grant del National Board of Medical Examiners, primer concurso de Grants para latinoamérica. Sin embargo, esta institución no tuvo influencia en el diseño del estudio, solo realizó la capacitación docente para implementar este tipo de examen en Chile y en la revisión final del manuscrito.

Referencias

1. Horwitz N. El cambio de la práctica médica: Desafíos psicosociales para la profesión. Rev Med Chile 2004; 132 (6): 768-72. Disponible en www.scielo.cl [consultado el 20 de noviembre de 2017]. [ Links ]

2. Chen HC, van den Broek WE, ten Cate O. The case for use of entrustable professional activities in undergraduate medical education. Acad Med 2015; 90 (4): 431-6. doi: 10.1097/ACM.0000000000000586. [ Links ]

3. Epstein RM. Assessment in medical education. N Engl J Med 2007; 356 (4): 387-96. [ Links ]

4. McKinley DW, Norcini JJ. How to set standards on performance-based examinations: AMEE Guide No 85 . Med Teach 2014; 36 (2): 97-110. doi: 10.3109/0142159X.2013.853119. Epub 2013 Nov 20. [ Links ]

5. Brailovsky C, Grand’Maison P, Lescop J. Construct validity of the québec licensing examination SP‐based OSCE Teaching and Learning in Medicine 1997; 9 Iss. 1. [ Links ]

6. Sloan DA, Donnelly MB, Schwartz RW, Strodel WE. The Objective Structured Clinical Examination. The new gold standard for evaluating postgraduate clinical performance. Ann Surg 1995; 222 (6): 735-42. [ Links ]

7. Harden R, Gleeson F. Assessment of Clinical Competence Using an Objective Structured Clinical Examination. Medical Education 1979; 13: 41-54. [ Links ]

8. Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: an historical and theoretical perspective. Med Teach 2013; 35 (9): e1437-46. doi: 10.3109/0142159X.2013.818634. [ Links ]

9. Khan KZ, Gaunt K, Ramachandran S, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: organisation & administration. Med Teach 2013; 35 (9): e1447-63. doi: 10.3109/0142159X.2013.818635. [ Links ]

10. Bustamante M, Carvajal C, Gottlieb B, Contreras J, Uribe M, Melkonian E, et al. Hacia un nuevo instrumento de evaluación en la carrera de Medicina.: Uso del método OSCE. Rev Med Chile 2000; 128 (9): 1039-44. [ Links ]

11. Triviño BX, Vásquez MA, Mena MA, López TA, Aldunate RM, Varas PM, et al. Aplicación del Examen Clínico Objetivo Estructurado (OSCE) en la evaluación final del internado de pediatría en dos escuelas de medicina. Rev Med Chile 2002; 130 (7): 817-24. [ Links ]

12. Sandoval GE, Valenzuela PM, Monge MM, Toso PA, Triviño XC, Wright AC, et al. Analysis of a learning assessment system for pediatric internship based upon objective structured clinical examination, clinical practice observation and written examination. J Pediatr (Rio J) 2010; 86 (2): 131-6. [ Links ]

13. Kunakov N, Bozzo S. La revalidación práctica del título de médico cirujano a través de un método estandarizado: Experiencia de la Universidad de Chile. Rev Med Chile 2015; 143 (8): 1058-64. [ Links ]

14. Morales C. Examen clínico objetivo estructurado formativo en el Internado de Medicina: evaluación del proceso por los estudiantes Rev Educ Cienc Salud 2007; 4 (2): 106-10. [ Links ]

15. Pell G, Fuller R, Homer M, Roberts T; International Association for Medical Education. How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49. Med Teach 2010; 32 (10): 802-11. doi: 10.3109/0142159X.2010.507716. [ Links ]

16. Newble D. Techniques for measuring clinical competence: Objective structured clinical examinations. Medical Education 2004; 38: 199-203. http://dx.doi.org/10.1111/j.1365-2923.2004.01755.xLinks ]

17. Examen Unico Nacional de Conocimientos de Medicina (EUNACOM). Disponible en (Disponible en (http://www.eunacom.cl/contenidos/contenidos.html ) [extraído el 13 de mayo de 2016]. [ Links ]

18. Makoul G, Krupat E, Chang CH. Measuring patient views of physician communication skills: developmet and testing of the Communication Assessment Tool. Patient Educ Couns 2007; 67 (3): 333-42. Epub 2007 Jun 18. [ Links ]

19. Castro FR De, Carrillo-Díaz T, Freixinet-Gilart J, Julià-Serdà G. Razonamiento clínico. Fem 2017; 20 (4): 149-60. [ Links ]

20. Mangold K, Jeffers J, Burns R, Trainor J, Unti SH, Eppich W, et al. An Objective Structured Clinical Examination to Improve Formative Assessment for Senior Pediatrics Residents. Journal of Graduate Medical Education 2015; 7 (3): 470-4. [ Links ]

21. Prince P. From play to problem solving to Common Core: The development of fluid reasoning. Appl Neuropsychol Child 2017; 6 (3): 224-7. doi: 10.1080/21622965.2017.1317487. Epub 2017 May 12. [ Links ]

22. Eva KW, Rosenfeld J, Reiter HI, Norman GR. An admissions OSCE: the multiple mini-interview. Med Educ 2004; 38 (3): 314-26. [ Links ]

23. Audétat MC, Laurin S, Dory V, Charlin B, Nendaz MR. Diagnosis and management of clinical reasoning difficulties: Part II. Clinical reasoning difficulties: Management and remediation strategies. Med Teach 2017; 39 (8): 797-801. doi: 10.1080/0142159X.2017.1331034. Epub 2017 Jun 7. [ Links ]

: de ; Recibido: 22 de Mayo de 2018; Aprobado: 27 de Septiembre de 2018

*Correspondencia a: cbehrens@ucn.cl

Correspondencia a: Claudia Behrens Larrondo 1281, Coquimbo, Chile. cbehrens@ucn.cl

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons