SciELO - Scientific Electronic Library Online

 
vol.143 número8Monitorización terapéutica de antibióticos: Nuevas metodologías: biosensoresLa vitamina C y algo más: Un premio Nobel poco conocido en Chile índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


Revista médica de Chile

versão impressa ISSN 0034-9887

Rev. méd. Chile vol.143 no.8 Santiago ago. 2015

http://dx.doi.org/10.4067/S0034-98872015000800014 

EDUCACIÓN MÉDICA

 

La revalidación práctica del título de médico cirujano a través de un método estandarizado. Experiencia de la Universidad de Chile

A standardized practical examination for title revalidation of graduates of foreign medical schools

 

Natasha Kunakov1,a, Sergio Bozzo2,a

1 Departamento de Educación en Ciencias de la Salud.
2 Departamento de Medicina Interna, Hospital San Juan de Dios.Facultad de Medicina de la Universidad de Chile.
a Magíster en Educación en Ciencias de la Salud.

Correspondencia a:


Background: The University of Chile, backed by its extensive experience in Objective Structured Clinical Examinations (OSCEs), performs the practical exam to graduates of foreign medical school in this format. This test format would give more guarantees of validity and fairness as compared with the previous oral examination that was required for title revalidation. Aim: To compare the performance of graduates of foreign medical schools and last year medical students of the University of Chile in the same internal medicine OSCE. Material and Methods: Seventy-seven last year medical students and thirty-three graduates of foreign medical schools participated in the same Internal Medicine OSCE, but in different moments. At the end of the examination, graduates of foreign medical schools answered a questionnaire about their prior experience with OSCEs and about their perception about this type of examination. Results: The performance of graduates of foreign medical schools was lower than those of our last year medical students in four of the eight stations of the examination. Graduates of foreign medical schools considered the examination objective, fair, and that it assessed skills adequately and that the degree difficulty was homogeneous for all examinees. Conclusions: The possibility of obtaining comparable results in a transparent process makes the OSCE the assessment tool of choice for title revalidation of physicians migrating from foreign countries.

Key words: Certification; Clinical competences; Test taking skills.


 

Los objetivos de la formación médica en la Universidad de Chile responden a la cultura y las características biopsicosociales de la población chilena y apuntan al manejo de los problemas más prevalentes en la población todo esto expresado en el perfil de egreso1.

Los estándares para la formación médica en Chile han sido recogidos, revisados y consensuados por la Asociación de Facultades de Medicina de Chile (ASOFAMECH) y se expresan en el “Perfil de conocimientos” del EUNACOM. Este es un estándar al que la sociedad chilena está habituada.

Es un deber de las autoridades, por mandato de la sociedad, corroborar que los médicos formados en el extranjero tengan, al menos, un nivel de calidad de atención similar a la de los formados en Chile. Para países adscritos a convenio con Chile, la revalidación del título médico es realizada por el Ministerio de Relaciones Exteriores. Los restantes, desde 1981, se evalúan en la Universidad de Chile2. Modificaciones introducidas por la ley 20.261 a partir del año 20093,4, responsabilizan de la revalidación a ASOFAMECH a través del EUNACOM, consistente en una evaluación con secciones teórica y práctica, que requieren aprobación en forma independiente. La primera abarca el conjunto de contenidos teóricos definidos en el “perfil de conocimientos”3.

Para efectos de la evaluación práctica exigida por EUNACOM, a los médicos formados en Chile, se les homologa los Exámenes de Pregrado realizados en sus respectivas escuelas. Para los revalidantes, la evaluación práctica consiste en “una evaluación clínica en un entorno de atención médica real o simulado3, en cada una de las especialidades básicas (medicina interna, cirugía, pediatría, y obstetricia-ginecología). La cantidad de revalidantes que rindieron examen teórico de revalida el año 2014 fue 1.147, cifra similar a la de médicos formados en Chile3. Solamente 15% de los revalidantes aprobó, a diferencia de 82% de los nacionales21. Desde este año, es requisito aprobar examen teórico para presentarse al práctico, con los consecuentes beneficios de la reducción del número de evaluados y su pre-selección académica. Esto permite una optimización de recursos humanos y económicos en su realización.

El examen práctico tradicionalmente se realiza en un ambiente de atención médica real: el evaluado debe enfrentar en forma supervisada a pacientes reales, en contextos ambulatorio y/u hospitalario, siendo calificado por un académico de experiencia2. En este tipo de exámenes, los pacientes son generalmente no programados y aunque sean escogidos por el evaluador, son incidentales, es decir la situación clínica que presentará el paciente podría ser distinta a la esperable, ser atípica o poco frecuente, representando con incertidumbre lo que se quiere evaluar y en forma no estandarizada para los diferentes evaluados. Otra característica es que no existen criterios claros para llevar a cabo la evaluación de los desempeños y los evaluadores no están formalmente entrenados como tales, es decir cada académico utiliza sus propios criterios de evaluación y ponderación. La falta de criterios uniformes, estandarizados y explícitos afecta a los evaluados a quienes no se les entrega transparencia en su evaluación5. El EUNACOM aprobado es requisito obligatorio para postular a cargos en sistema público y programas de especialización, para todos los egresados de las escuelas chilenas y extranjeras.

En 2012, la Universidad de Chile abre 60 cupos para realizar el examen práctico a través de un ECOE6, avalado por la experiencia de la Escuela de Medicina de más de una década realizándolo como parte de la evaluación de práctica clínica de sus estudiantes e internos(as)7,8. El ECOE del término de Internado, en particular, evalúa los desempeños que debe tener un médico egresado en determinada área1.

Este instrumento se utiliza como herramienta de evaluación práctica para los fines de revalidación desde hace más de una década en USA y Canadá, con excelentes resultados9. En estos países, la opción de las autoridades por este instrumento se basa en sus ventajas, principalmente la estandarización que muestra por sobre los exámenes tradicionales5. En el caso chileno los exámenes de pregrado son presentados en este formato, y la falta de estandarización es una situación que también se sospecha en Chile, si bien, no ha sido documentada.

En un ECOE, los evaluados rotan por escenarios clínicos sucesivos, representativos del actuar médico, acordes a las competencias a evaluar, siendo observados a través de un vidrio espejo unidireccional por profesionales debidamente preparados y en base a una pauta preestablecida6. En un ECOE típico los examinados deben atender pacientes reales o estandarizados, en contextos ambulatorios u hospitalarios, primera consulta o control, y/o realizar procedimientos clínicos con simuladores. El desempeño se observa y evalúa utilizando listas de chequeo. El registro en formatos de vídeo y audio permite la revisión posterior y es un respaldo de la evaluación.

Los resultados de los revalidantes en el primer ECOE fueron inesperados y decepcionantes, no aprobando más de 25%, lo que difería de lo observado en los(as) internos(as) de la Universidad de Chile quienes, generalmente, no tienen reprobados.

Consideradas la importancia y trascendencia de los resultados de esta evaluación, es necesario que el instrumento utilizado presente características de estandarización, validez y confiabilidad, permitiendo comparar los resultados sobre estándares de desempeño definidos. Por ello se plantea un estudio comparativo a través del ECOE, manteniendo el máximo de variables bajo control, de modo que el factor desempeño del evaluado sea lo relevante y poder caracterizar los determinantes de las diferencias que surjan. Esto en el contexto de poder mostrar que el ECOE es el instrumento más adecuado para realizar los exámenes de revalidación de título.

Método

En julio de 2013 se realizó el ECOE de Medicina Interna correspondiente a la rotación programada. Esta vez fue aplicado sucesivamente a 77 internos(as) de medicina de la Universidad de Chile y a 31 revalidantes.

De un total de ocho estaciones, seis (Tabla 1 ), fueron iguales para internos y revalidantes, compartiendo el mismo tema, guión, paciente simulado y pauta de evaluación. Los evaluadores fueron diferentes, aún cuando su preparación y entrenamiento es la misma. La duración de cada estación fue de 7 min.

 

Tabla 1. Descripción de temas y desempeños evaluados en las estaciones

Al finalizar el examen se les aplicó a los revalidantes una encuesta respecto sobre este, explorando experiencia previa, valoración y percepción de discriminación del examen.

Ambos son grupos naturales dado que no fueron seleccionados aleatoriamente. Por consiguiente, no se pueden hacer los supuestos propios de normalidad de la distribución muestral. Así el análisis de los datos fue mediante pruebas no paramétricas.

Resultados

Se compararon los puntajes obtenidos por su desempeño en las estaciones entre un grupo de internos(as) de medicina de la Universidad de Chile (77) y los revalidantes (31). La Tabla 2 muestra una diferencia estadísticamente significativa entre los desempeños observado en internos(as) de medicina de la Universidad de Chile y en los revalidantes, en las estaciones 1, 4, 5 y 7. En la estación 2, referida a patología reumatológica, internos(as) tienen mejor promedio sin llegar a ser estadísticamente significativo. En la estación 6, los desempeños fueron equivalentes.

 

Tabla 2. Pruebas no paramétricas, comprobando que la diferencia
es estadísticamente significativa

En la Tabla 3 se muestran los resultados de la encuesta post examen aplicada a los revalidantes, observándose que 87% no había sido sometido a un examen similar. Sin embargo, 90% encontraron que evaluaba los principales temas de medicina interna y 60% opinaba que había evaluado sus destrezas actitudinales y psicomotoras. Aparece como un examen “justo”, en relación a que 80% percibió que ni la suerte ni la rigurosidad del evaluador habían influido en su evaluación. El 90% percibió que el examen presentaba el mismo grado de dificultad para todo el grupo y que la metodología favorece un examen más objetivo y estandarizado.

 

Tabla 3. Resultados de la encuesta post ECOE a los revalidantes en porcentaje

 

Discusión

La movilidad generada por la globalización, una característica de la sociedad actual, ha permitido que los profesionales se trasladen de un país a otro, y, por supuesto, los emigrantes pretenden trabajar ejerciendo su profesión.

En el área de la Salud, esto conlleva desafíos particulares. Las poblaciones donde los médicos ejercen presentan características diferentes de un país a otro, condicionadas principalmente por el entorno físico (clima, suelos, aislamiento, otros) y por la cultura (idioma, religión, otros). Esto tiene fuertes implicancias sobre la formación de médicos, dado que, la medicina que se enseña en las escuelas de cada país responde a los desafíos que plantea su población respectiva, y es contextualizada a su entorno físico y a su cultura. Esta situación obliga a los encargados sanitarios de la población a asegurarse que los médicos formados en otros países presenten el adecuado manejo de los problemas de salud locales antes que puedan ejercer en la población a la cual han migrado.

El examen práctico que tradicionalmente se ha utilizado para certificar a los médicos inmigrantes, y aún en uso, consiste en la observación del desempeño del evaluado en la atención clínica de uno o dos pacientes, en un ambiente real, esto concuerda con la definición de lo que es llamado examen oral en la literatura2,6. Estos exámenes presentan mucha amenaza a su validez, por ejemplo, el sub-muestreo; como cualquier otra evaluación, debe proporcionar una muestra suficiente de datos de la cual se pueda inferir el dominio del desempeño que se va a evaluar. Si los datos son obtenidos desde dos o tres temas o escenarios clínicos no es probable que proporcione una muestra amplia y sistemática del dominio de un desempeño6. Por otra parte, si el examen está vinculado a los encuentros con pacientes reales, el contenido a ser evaluado puede estar limitado por la disponibilidad de pacientes (cada vez más restringido), la capacidad del paciente para cooperar y consentir para el examen. Si los estudiantes se ponen a prueba en diferentes pacientes, sus evaluaciones pueden no ser equivalentes en dificultad o contenido, comprometiendo la equidad y la comparabilidad de resultados.

Algunos estudios observan que las preguntas planteadas en los exámenes orales no son diferentes de las de los exámenes escritos evaluando sólo conocimientos y no desempeño; incluso, aproximadamente dos tercios son de simple recuerdo10.

También en el examen oral pudieran influir factores que pueden ser considerados como discriminatorios e irrelevantes para el desempeño que se evalúa, como el lenguaje y la fluidez, la apariencia y el atractivo, la presencia de anormalidades físicas o peculiaridades personales11-13. En este caso el nivel de confianza de los candidatos puede tener más influencia en la puntuación otorgada por los examinadores que el desempeño mismo14.

Otros problemas son: la supervisión de lo realizado tiene la limitación de la presencia del evaluador en el escenario de atención, junto al evaluado. En un número importante de casos, este último no es supervisado directamente, completándose el proceso con la presentación oral de la historia clínica del paciente atendido, discutiéndose posteriormente sus diagnósticos y propuestas de manejo, lo que no evalúa el desempeño. Además, esta forma de examen está sujeta a variables incidentales que dependen del paciente, la patología y su estado evolutivo en ese momento, el nivel y lugar de atención, circunstancias determinadas por las disponibilidades de espacio y tiempo.

Así entendido, el examen práctico tradicional no es un instrumento estandarizado. La estandarización implica que la situación en la que se evalúa al postulante, sea similar o equivalente a la utilizada con todos los otros postulantes, lo que puede lograrse en ambientes clínicos simulados donde es posible el control de variables y la evaluación está dirigida al desempeño que se ha considerado necesario para ejercer como médico en la sociedad y cultura chilena, como realizar una anamnesis ajustada al motivo de consulta, manejo de patologías frecuentes en la población, habilidades interpersonales y de comunicación del médico que respondan a nuestra población y otras5.

Como se dijo, la Escuela de Medicina de la Universidad de Chile presenta experiencia en este examen estandarizado, el ECOE6, que pretende “muestrear”, relevando una muestra significativa de los desempeños como médico de un postulante. Sobre este examen los estudios internacionales avalan validez y confiabilidad15-18. A la fecha, ASOFAMECH informa de 2 universidades que utilizan esta modalidad de examen en revalida médica, la Pontificia Universidad Católica de Chile y la Universidad de Chile21.

En 2013, la oferta de cupos para realizar el examen en el Centro de Habilidades Clínicas de la Facultad de Medicina de la Universidad de Chile fue realizada basándose en la experiencia que se tenía en el uso de este instrumento con los internos7,8, y se usaron las mismas estaciones que se empleaban en los exámenes de internado. Se logran controlar la mayoría de las variables, sólo los evaluadores no fueron los mismos pero recibieron el mismo entrenamiento. En este entorno controlado los desempeños presentados por nuestros internos eran mejores que los presentados por lo revalidantes en 4 de las 6 estaciones (dos tercios de las situaciones evaluadas).

Las ventajas del ECOE sobre el examen tradicional quedan expuestas: se puedan controlar las situaciones en las cuales se desean evaluar los desempeños de los postulantes, obteniendo una muestra significativa. Todos, además, son sometidos a las mismas situaciones.

La posibilidad de preparar el examen de ECOE es cierta y pueden surgir instituciones que lo realicen. Sin embargo, el examen evalúa desempeño, las conductas y hábitos sobre las cuales se asienta el desempeño son difíciles de cambiar. En USA se ha demostrado que revalidantes repitiendo las mismas estaciones no mejoran su performance, indicando que no existe un aprendizaje en su desempeño aunque se repitan las mismas condiciones15.

Siendo el ECOE un instrumento de evaluación con validez y confiabilidad reconocidas y que permite la estandarización16-19, podemos decir que la revalidación del título de médico debiera utilizarlo para exigir a los revalidantes el mismo estándar que a nuestros internos.

Como limitaciones del estudio se mencionarán dos situaciones: los evaluadores no fueron los mismos y según los estudios en la materia esto es una de las principales fuentes de error20; por otra parte, los(as) internos(as) han sido sometido en varias oportunidades durante la carrera a exámenes ECOE en medicina interna, y según encuesta realizada a los revalidantes, la gran mayoría (87%) no había sido sometido a un examen similar previamente, lo que constituiría un hándicap. Siendo la encuesta anónima, no fue posible correlacionar los puntajes obtenidos con las percepciones del examen. Es interesante que la opinión generalizada de los revalidantes sea que el ECOE les parece válido en relación a que evaluaba los conocimientos y desempeños como médico. También aparece como un examen objetivo donde las características personales del evaluado o del evaluador no influenciarían el resultado de la evaluación, coincidiendo con lo que plantea la literatura16-20.

Conclusiones

Es necesario realizar más estudios para entregar juicios claros, pero en primera instancia estos resultados indican que al parecer los desempeños que muestran nuestros internos son mejores que los mostrados por los revalidantes. A pesar de ello los revalidantes tuvieron una buena percepción del examen.

Como sociedad debiéramos tener el mismo estándar para certificar las competencias en los médicos que atienden nuestra población, sean formados en Chile o en el extranjero, y que los desempeños observados sean demostrables y objetivos. Los parámetros para hacer la comparación están dados por el perfil de conocimientos del EUNACOM.

La revisión de la literatura y la experiencia desarrollada indican que el instrumento evaluativo que se evidencia como más adecuado es el ECOE porque asegura comparabilidad; asegura equidad, todos los postulantes son sometidos a la misma evaluación de su desempeño, lo cual cubre un aspecto ético; asegura la fe pública, entregando evidencia de que son los desempeños más relevante y necesarios para ejercer en esta sociedad y entrega testimonio de la calidad de los desempeños de los sujetos.

El examen tradicionalmente llevado a cabo no cumple con las características de estandarización, reproducibilidad y objetividad, que debieran tener este tipo de exámenes. Por lo tanto, aparece recomendable utilizar el ECOE como instrumento de evaluación para certificar a todo el universo de revalidantes.

 

Referencias

1. Escuela de Medicina, U. d. C. (2014). “Perfil profesional”. Recuperado el 16 de septiembre de 2014, desde http://medicina.med.uchile.cl/pregrado.html.         [ Links ]

2. Estévez De VA, Mateluna GE, Rosselot JE. Autorización para el ejercicio profesional médico en Chile: experiencia de la Comisión de Reválida de la Escuela de Medicina de la Universidad de Chile, período 1984-1999. Rev Med Chile 2000; 128 (9): 1053-60.         [ Links ]

3. EUNACOM. “EUNACOM, examen único de Conocimientos en Medicina.” Recuperado el 28 de enero de 2015, 2015, de http://www.eunacom.cl/home.html         [ Links ]

4. Enríquez LO, Mena CB. Habilitación profesional. Condiciones para el aseguramiento de la calidad de la educación médica y condiciones para la confianza recíproca: Experiencia y visión de ASOFAMECH. Rev Med Chile 2005; 133 (4): 483-94.         [ Links ]

5. Tekian A, Yudkowsky R. Oral Examinations. En Downing SM and Yudkowsky R, Editores, Assessment in Health Professions Education. New York, Editorial Routledge; 2009. p. 269-86.         [ Links ]

6. Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ 1979; 13 (1): 41-54.         [ Links ]

7. Bustamante ZM, Carvajal HC, Gottlieb BB, Contreras PJE, Uribe MM, Melkonian TE, et al. Hacia un nuevo instrumento de evaluación en la carrera de Medicina: Uso del método OSCE. Rev Med Chile 2000; 128 (9): 1039-44.         [ Links ]

8. Triviño BX, Vásquez MA, Mena MA, López TA, Aldunate RM, Varas PM, et al. Aplicación del Examen Clínico Objetivo Estructurado (OSCE) en la evaluación final del internado de pediatría en dos escuelas de medicina. Rev Med Chile 2002; 130 (7): 817-24.         [ Links ]

9. NBME. “National Board of Medical Examiners.” Recuperado el 18 de julio de 2014 desde http://www.nbme.org.         [ Links ]

10. Jayawickramarajah PT. Oral examinations in medical education. Med Educ 1985; 19 (4): 290-3.         [ Links ]

11. Schwiebert P, Davis A. Increasing inter-rater agreement on a family medicine clerkship oral examination-a pilot study. Fam Med 1993; 25 (3): 182-5.         [ Links ]

12. Wass V, Wakeford R, Neighbour R, Van der Vleuten C. Achieving acceptable reliability in oral examinations: an analysis of the Royal College of General Practitioners membership examination’s oral component. Med Educ 2003; 37 (2): 126-31.         [ Links ]

13. Weingarten MA, Polliack MR, Tabenkin H, Kahan E. Variations among examiners in family medicine residency board oral examinations. Med Educ 2000; 34 (1): 13-7.         [ Links ]

14. Thomas CS, Mellsop G, Callender K, Crawshaw J, Ellis PM, Hall A, et al. The oral examination: A study of academic and non-academic factors. Med Educ 1992; 27: 7.         [ Links ]

15. Swygert KA, Balog KP, Jobe A. The impact of repeat information on examinee performance for a large-scale standardized-patient examination. Acad Med 2010; 85 (9): 1506-10.         [ Links ]

16. Hodges B. Validity and the OSCE. Med Teach 2003; 25(3): 250-4.         [ Links ]

17. Khan KZ, Gaunt K, Ramachandran S, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: organisation & administration. Med Teach 2013; 35 (9): e1447-63.         [ Links ]

18. Nickbakht M, Amiri M, Latifi SM. Study of the reliability and validity of objective structured clinical examination (OSCE) in the assessment of clinical skills of audiology students. Glob J Health Sci 2013; 5 (3): 64-8.         [ Links ]

19. Walters K, Osborn D, Raven P. The development, validity and reliability of a multimodality objective structured clinical examination in psychiatry. Med Educ 2005; 39 (3): 292-8.         [ Links ]

20. Downing SM. Validity: on meaningful interpretation of assessment data. Med Educ 2003; 37 (9): 830-7.         [ Links ]

21. ASOFAMECH. Asociación de Facultades de Medicina. Recuperado el 28 enero 2015, desde http://www.asofamech.cl/noticias/noticias2015-0005.html        [ Links ]

 


Recibido el 2 de octubre de 2014, aceptado el 22 de junio de 2015.

Correspondencia a: Dra. Natasha Kunakov
Facultad de Medicina, Universidad de Chile. Teléfono 29786005;
nkunakov@med.uchile.cl

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons