SciELO - Scientific Electronic Library Online

 
vol.146 número3Adaptación del instrumento WAST para la detección de violencia doméstica en Centros de SaludCreatinina y su uso para la estimación de la velocidad de filtración glomerular índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Revista médica de Chile

versión impresa ISSN 0034-9887

Rev. méd. Chile vol.146 no.3 Santiago mar. 2018

http://dx.doi.org/10.4067/s0034-98872018000300341 

Comunicación Breve

Experiencia con el empleo del examen OSCE en el ciclo de evaluación de competencias clínicas de médicos que revalidan su título

Objective structured clinical evaluation to assess clinical skills of international medical graduates

Claudia Morales1 

Natalia Álvarez2 

Paula Candia2 

Felipe Celedón3 

Lital Meyer3 

Katherine Daniel4  a

Nebenka Lombardic4  b

Ernesto Guiraldes1 

1Escuela de Medicina, Facultad de Ciencias, Universidad Mayor, Santiago, chile (cm, Directora; EG Presidente Comité de Calidad).

2Escuela de Medicina, Universidad Mayor. Santiago, Chile.

3Hospital de la Fuerza Aérea de chile. Santiago, Chile.

4Centro de Simulación Clínica, Universidad Mayor. Santiago, Chile.

ABSTRACT

Background:

Our institution adopted the Objective Structured Clinical Evaluation (OSCE) format to assess clinical skills of International Medical Graduates (IMGs) aiming to practice in Chile. The OSCE has clear advantages over oral exams due to its objective and structured nature.

Aim:

To report our experience with OSCE.

Material and Methods:

A team consisting of clinical specialists and medical educators with expertise in clinical simulation organized this OSCE cycle. IMGs were required to pass four clinical examinations (Internal Medicine, Surgery, Pediatrics and Obstetrics & Gynecology) where their respective general medical competences were evaluated. The latter were carefully selected from those issued by the Chilean Medical Evaluation policy-making body (EUNACOM). Each OSCE consisted of ten stations. Initially conceived to last five minutes each, they were afterwards expanded to seven minutes, after it was realized that most candidates had never been exposed to an OSCE examination before. A post-hoc analysis according to qualitative and psychometric quality criteria followed each OSCE.

Results:

The proportion of candidates passing the first two examinations of the cycle, were 65 and 75% respectively and reached 100% in the last ones. Lack of IMG familiarity with the OSCE system initially hampered their full expression of competencies. Extending the stations’ duration to seven minutes subsequently rectified this situation, as well as potential adverse impacts on the validity of results.

Conclusions:

This evaluative process, which entails important consequences for the community and the IMGs, requires a meticulous and coordinated planning and post-hoc quality control.

Key words: Certification; Clinical Competence; Health Education

Para revalidar su título en Chile, los médicos graduados en el exterior deben aprobar un examen inicial escrito y subsecuentemente, una evaluación práctica de carácter clínico. La Escuela de Medicina de la Universidad Mayor forma parte de las instituciones que toman el examen clínico. Desde 2016, éste se realiza en nuestra institución de acuerdo al formato OSCE (Objetive Structured Clinical Examination)1 modalidad que es más defendible que la del examen oral en términos de estandarización, objetividad e inferencias de validez y confiabilidad de sus resultados2. Siendo éste un examen de decisiva trascendencia, es imperativo aplicar la herramienta evaluativa que ofrezca mayores garantías de criterios uniformes, estandarizados y explícitos1.

En esta comunicación presentamos la experiencia de nuestra institución en la organización, ejecución y control de calidad del examen OSCE, aplicado a médicos en proceso de revalidación de título.

Material y Método

Los revalidantes deben rendir cuatro módulos prácticos, correspondientes a las especialidades básicas: Medicina Interna, Cirugía, Pediatría y Ginecología-Obstetricia. Nuestra Escuela encomendó la administración de cada uno de ellos a un equipo encabezado por los respectivos coordinadores institucionales del internado de estas asignaturas, quienes fueron asesorados por docentes con experiencia profesional en educación médica y en medicina clínica, así como por profesionales del Centro de Simulación Clínica de la Universidad (CSC). Cada grupo de trabajo definió un conjunto de competencias clínicas medulares de cada dominio a evaluar en un médico general, derivadas del Perfil de Conocimientos “EUNACOM”. Se generaron así los correspondientes blueprints, que constaron de muestras representativas de las competencias seleccionadas para cada dominio, en las áreas: cognitiva, procedimental y actitudinal. Por la especificidad de contenidos de las disciplinas en cuestión, cada estación del OSCE enfatizaría la evaluación de alguna de las dos primeras áreas. Así, se implementaron estaciones con paciente simulado, otras, con fantomas, y el resto, que evaluaron toma de decisiones en situaciones clínicas teóricas, con buzones de respuestas.

Los exámenes se rindieron en el CSC, a lo largo de un período de 4 meses. El equipo evaluador de cada OSCE estuvo conformado tanto por especialistas de las correspondientes asignaturas, como por staff del CSC y académicos de la Escuela encargados de gestión académica y control de calidad de la docencia. Los pacientes simulados fueron reclutados del grupo de actores profesionales que ha colaborado durante años con nuestra institución en exámenes OSCE.

Cada OSCE constó de diez estaciones. En el primero (Pediatría), se asignó a cada estación una duración de cinco minutos. Para los subsiguientes exámenes (ver más abajo), el tiempo se amplió a siete minutos. En cada estación, el puntaje total resultante de la sumatoria de ítems se ajustó a una escala total de 100 puntos. El criterio de aprobación de cada estación y del examen global se fijó en ≥ 60% del puntaje teórico máximo, más la aprobación de 60% de las estaciones.

Resultados

La Tabla 1 muestra el número de examinandos, la proporción de aprobados/reprobados, y los promedios globales obtenidos.

Tabla 1 Resultados de los exámenes OSCE de revalidación (n = 20 revalidantes) 

Especialidad Pediatría Obstetricia-Ginecología Cirugía Medicina interna
N° y % de: aprobados/reprobados 13 (65%) / 7 (35%) 15 (75%) / 5 (25%) 20 (100%) / 0 (0%) 20 (100%) / 0 (0%)
Puntaje promedio obtenido (%) y desviación estándar 61,4; 8,6 62,6; 5,1 85,1; 7,2 73,6; 3,3

La proporción de aprobados fue aumentando a medida que transcurría el ciclo de revalidación práctica, con 65% de aprobación en el primer OSCE (Pediatría); 75% en el segundo (Obstetricia-Ginecología), y 100% en el tercero (Cirugía) y cuarto (Medicina Interna).

Tras el primer examen y consultados los revalidantes respecto a su experiencia en exámenes estructurados, quedó evidenciado que un 85% de los examinandos nunca antes había rendido un examen con formato OSCE. Vistos los resultados de este primer examen (Pediatría), y recabada la opinión de evaluadores y pacientes simulados, el comité organizador decidió aumentar el tiempo asignado a cada estación, de cinco a siete minutos. Asimismo, la Escuela envió una comunicación electrónica a cada candidato, con recomendaciones operacionales coincidentes con aquellas divulgadas por el Medical Council de Canadá y destinadas a revalidantes noveles3. Ellas están orientadas a evitar errores usuales, como: no leer cuidadosamente las instrucciones, dar demasiadas indicaciones a los pacientes y hablar en exceso durante la entrevista.

Discusión

Aparentemente, el principal factor que impidió que los revalidantes pudieran expresar inicialmente en forma cabal sus competencias lo constituyó su casi total inexperiencia en el modelo OSCE. El otorgamiento de un tiempo proporcionado a las tareas requeridas y las explicaciones sobre las características del formato OSCE cooperaron a subsanar ulteriormente esta desventaja. Esta modificación rectifica un potencial impacto adverso en las subsecuentes inferencias de validez de estos resultados2. Dado que el OSCE es una situación artificial, para que sus resultados puedan generalizarse a partir del desempeño de un profesional, su escenario debe ser congruente con las tareas requeridas2, permitiendo así la expresión acabada de las competencias del candidato.

El análisis post-examen se efectuó en cada caso para determinar situaciones que pudieran requerir enmienda4,5. Se revisaron detalladamente los resultados de cada estación, según criterios cualitativos de calidad vigentes, y pruebas psicométricas, como el alfa de Cronbach y la correlación de Pearson4,5. Así, se ha podido identificar y rectificar las estaciones que, por cuestiones estructurales o de fondo, no se ajustan apropiadamente a los objetivos o los resultados globales del examen. Con ello se pretende optimizar las evidencias de validez y confiabilidad de las conclusiones emanadas de futuros OSCEs4.

Aquellos revalidantes que se sometieron a exámenes de segunda oportunidad aprobaron éstos en su totalidad.

La experiencia que hemos adquirido incluidas la retroalimentación dada por los revalidantes, ha servido también como un elemento importante para refinar nuestras acciones evaluativas y perfeccionar el trabajo colaborativo y complementario entre la Escuela de Medicina y el CSC.

Un proceso evaluativo como éste, que se ejecuta periódicamente a escala nacional, es costoso y complejo. Entraña, asimismo, unas consecuencias de particular importancia para la comunidad y los examinandos. Además de la debida transparencia, objetividad y calidad técnica de los procesos, otras condiciones esenciales para lograr un examen único, defendible y aceptable incluyen las decisiones consensuadas sobre sus aspectos estructurales, criterios de aprobación/reprobación, el análisis sistemático de calidad de los resultados con la correspondiente retroalimentación a las partes involucradas, y la estrecha colaboración inter-institucional.

Trabajo no recibió financiamiento.

Agradecimientos:

Los autores agradecen las útiles sugerencias proporcionadas por Mr Godfrey Pell, Principal Research Fellow, Leeds Institute of Medical Education, U.K.

Referencias

1. Harden R, Lilley P, Patricio P. The definitive guide to the OSCE: the objective structured clinical examination as a performance assessment. 1st ed. Edinburgh; New York: Churchill Livingstone. 2015. [ Links ]

2. Boursicot K, Etheridge L, Setna Z, Sturrock A, Ker J, Smee S, et al. Performance in assessment: consensus statement and recommendations from the Ottawa conference. Med Teach 2011; 33: 370-83. [ Links ]

3. Medical Council of Canada. Common mistakes made on objective structured clinical examination stations. http://mcc.ca/examinations/common-mistakes-objective-structured-clinical-examination-stations/Links ]

4. Pell G, Fuller R, Homer M, Roberts T. How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49. Med Teach 2016; 27: 1-9. [ Links ]

5. Tavakol M, Dennick R. Post-examination analysis of objective tests. Med Teach 2011; 33: 447-58. [ Links ]

Recibido: 27 de Junio de 2017; Aprobado: 26 de Abril de 2018

Correspondencia a: Dr. Ernesto Guiraldes Camerati Av. El Bosque Sur 827, Providencia. Santiago, chile. eguirald@gmail.com

a

Enfermera.

b

Matrona.

Los autores declaran no tener conflictos de interés.

Creative Commons License This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.