Método

Se solicitó autorización a la dirección de EUNACOM y a las autoridades de las instituciones participantes para la planificación, diseño y evaluación de este proyecto. Dado que la información de este examen es de carácter público, está exento de revisión por comité de ética de la investigación. No obstante, se consideraron los requisitos propuestos por Emmanuel: valor científico y social, validez científica, transparencia en la selección de participantes, equilibrio entre riesgo y beneficios y respeto hacia los sujetos, instituciones y comunidades que participan¹⁴.

El estudio fue de tipo descriptivo, no experimental, de corte transversal y de alcance analítico.

La unidad de análisis fue el EUNACOM-SP y las variables del estudio consideraron la validez, confiabilidad y aplicabilidad de la propuesta.

Para comparar el ECOE con los métodos de examinación vigentes en las universidades participantes, se entrevistó a los encargados de cada escuela, incluyendo las siguientes variables:

Las escuelas de medicina de la U. de Chile, PUC y UdeC designaron a una académica respectivamente para integrar el comité directivo de esta propuesta, encargado de la planificación y diseño del examen. También apoyaron con el tiempo de los médicos evaluadores.

La dirección de EUNACOM dio su aprobación, aportando gran parte del financiamiento requerido para la ejecución del proyecto. Participaron una secretaria y una coordinadora de pacientes estandarizados, encargadas de brindar soporte y coordinación en la implementación. En el equipo de pacientes simulados participaron actores de la U. de Chile y PUC. La infraestructura utilizada fue el Centro de Habilidades Clínicas de la U. de Chile.

Esta propuesta fue diseñada bajo la modalidad de ECOE basado en la amplia experiencia internacional en certificación^7,9,15 y por contar con evidencia de validez y confiabilidad adecuadas en medicina¹⁶. Se seleccionó la modalidad acoplada: situación clínica con paciente estandarizado y/o simulador, luego una segunda instancia escrita, fuera del box de atención, donde se completa el evento clínico. La validez de contenido se aseguró mediante el uso de tabla de especificaciones¹⁶ considerando los contenidos definidos por el perfil de conocimientos de EUNACOM⁵.

Las estaciones fueron recolectadas de los bancos de casos de las universidades que evaluaban los contenidos y desempeños definidos en la tabla de especificaciones y correspondieran con el perfil de conocimientos de EUNACOM⁵. Fueron previamente validadas y estandarizadas y se adaptaron al formato y tiempo de nueve minutos por estación. Se definieron cuatro fechas de examen, con un intervalo de un mes, para cada especialidad evaluada: cirugía y traumatología, ginecología y obstetricia, medicina y pediatría, incluyendo temas de medicina familiar en las dos últimas.

Los participantes en el EUNACOM-SP fueron 40 médicos titulados en el extranjero designados por EUNACOM.

En agosto, se realizó una reunión informativa con los postulantes para explicar la metodología, realizar reconocimiento del centro y aclarar dudas.

Los exámenes se realizaron los meses de septiembre, octubre, noviembre y diciembre del año 2014. Cada ECOE duró 3 h por postulante, con evaluadores médicos especialistas-docentes. En enero de 2015 se realizaron exámenes de repetición para quienes no aprobaron previamente. Los resultados fueron informados a cada candidato una semana después de rendido el examen. Se aclararon dudas de los candidatos sobre respuestas correctas, puntajes y resultados.

Resultados

Las respuestas de los encargados del EUNACOM-SP de cada institución (Tabla 5) señalaron que en los exámenes vigentes los contenidos y desempeños evaluados corresponden a las descritas en el perfil de conocimientos de EUNACOM⁵. En cuanto al tiempo empleado para la planificación del examen, solo uno informó esta cuantificación, estimándose en aproximadamente 20 h totales. Sobre el tiempo empleado para la ejecución del examen, se informó un rango de 4 a 6,5 h según método de examinación empleado, especialidad e institución. Sin embargo, la relación de tiempo por cada evaluador y evaluado tuvo un rango que varía entre 6 y 9 h. Solo una institución declaró que la herramienta de evaluación que emplea está estandarizada mediante juicio de expertos y consistencia interna de los ítems, calculado con alfa de Cronbach.

Los costos directos e indirectos fueron cuantificados en una de las instituciones, estimándose en $680.000. (US $ 1.050 a agosto de 2015).

En esta propuesta, las estaciones de cada universidad incorporadas también evaluaron contenidos y desempeños presentes en el perfil de conocimientos de EUNACOM⁵.

El tiempo docente empleado para la planificación de cada ECOE fue de 20 h. La ejecución fue de 3 h para 20 evaluados; para evaluar 40 candidatos, cada ECOE se realizó en dos oportunidades durante el mismo día y participando los mismos evaluadores (6 h por 10 docentes). La revisión de las respuestas escritas demandó 40 h docentes (40 candidatos por 10 estaciones por 4 preguntas cada una). Se alcanzó un total de 120 h docentes por cada ECOE de especialidad. Por lo tanto, la relación de tiempo fue de 3 h docentes para cada evaluado. Se incluyó una valorización aproximada de $ 20.000 por cada hora docente ocupada en el proceso. Los costos totales fueron $575.000 (US$ 885 a agosto de 2015) por evaluado, incluyendo: arriendo del Centro de Habilidades Clínicas, actores, colación para actores, secretaria e insumos menores (jeringas, trocares, etc.) (Tabla 5).

En cuanto a la validez: cada ECOE piloto fue estandarizado mediante la confección de tablas de especificidad y representatividad (Tablas 1, 2, 3 y 4). La confiabilidad fue corroborada por juicio de expertos y consistencia interna de las estaciones calculado con alfa de Cronbach. El alfa de Cronbach de los resultados de las pautas de evaluación del ECOE de la especialidad de medicina interna y medicina familiar fue de 0,708; en el caso de pediatría fue de 0,816; obstetricia y ginecología de 0,805 y cirugía 0,528. Este último fue el valor más bajo, lo que podría atribuirse a que la muestra que rindió el ECOE fue menor. Sin embargo, según diferentes autores, la aceptación de confiabilidad de una evaluación tipo ECOE oscila entre 0,40 y 0,88^17-19, por lo que todos los valores obtenidos fueron aceptables. La objetividad la entregó el formato mismo del ECOE, los evaluadores fueron observadores externos y respondieron una lista de chequeo dicotómica, lo hizo/no lo hizo.

Nacionalidad de los postulantes. 

Discusión y Conclusiones

Esta propuesta está enmarcada en las recomendaciones de diversos autores nacionales^1-3 e internacionales⁶. La movilidad de profesionales médicos obliga a cada país a comprobar la calidad de los profesionales formados en otras latitudes^1-4,8.

Para certificar las competencias de los médicos revalidantes ante la fe pública son necesarios exámenes que evalúen estas competencias, en forma válida, confiable y objetiva^{6,7,9,11-13,16-21}.

En la actualidad, EUNACOM SP está distribuido en diversas escuelas con diversos métodos de examinación, todos legales. De acuerdo a los datos aportados por los encargados de cada universidad, todos presentan evidencias de validez de contenidos, porque se adscriben al perfil de conocimientos de EUNACOM⁵, pero no hay evidencias de confiabilidad, ni de objetividad del EUNACOM SP realizado. Las críticas que presenta la literatura sobre los exámenes tradicionales se centran en la falta de evidencia de validez, confiabilidad y objetividad^6,10,11,20. Situación que aparece solucionada con la modalidad de examinación ECOE, dado que esta propuesta entrega buena evidencia de validez, confiabilidad y objetividad, tal como se observa en los resultados y la literatura^8,9,13,16-19. La objetividad del ECOE está dada por su estandarización, donde todos los postulantes son sometidos a la misma situación que contribuye a la equidad de la examinación.

En la elección de los casos utilizados se constató un alto porcentaje de situaciones clínicas similares que evaluaban los mismos conocimientos relevantes o desempeños clínicos, esto da cuenta de la validez de contenido, indicando que el método de examinación se potenciaría al ser realizado por un consorcio de instituciones en forma coordinada y colaborativa. En la literatura anglosajona se introdujo el concepto de “Entrustable professional activities (EPAs)”, entendido como tareas o responsabilidades que la facultad confía a un aprendiz a ejecutar, sin supervisión, una vez que él o ella ha obtenido la competencia adecuada²¹. Es posible que la presencia de casos repetidos en las 3 universidades pueda dar cuenta de EPAs, esto será explorado en una investigación adicional.

En la experiencia de esta propuesta, el ECOE, comparado con los métodos de examinación vigente, requiere menos inversión de tiempo tanto del examinado como de los examinadores. En los últimos, esto es relevante, porque el tiempo docente invertido es menos de la mitad.

La inversión económica que requiere el ECOE aparentemente es alta, porque los costos del examen tradicional no se han visibilizado. Sin embargo, es importante usar estrategias de evaluación válidas, confiables y objetivas para que la sociedad chilena pueda confiar en que las instituciones encargadas de certificar que los médicos que atenderán los problemas de salud de la población, son competentes.

En esta propuesta los costos por postulante aparecen más altos que los cobrados actualmente por EUNACOM⁵, pero inferiores al examen estadounidense⁸. Esto desafía a un nuevo análisis económico y a la búsqueda del origen de la subvención de esta diferencia: en primera instancia, es probable que corresponda a cada universidad, donde las unidades académicas nacionales deben destinar recursos humanos avanzados, en desmedro del quehacer institucional comprometido, ante esto surge la pregunta ¿deben las instituciones que realizan el examen, y en última instancia, la sociedad chilena financiar los costos adicionales de esta certificación?

En conclusión, se puede afirmar que un examen único nacional de certificación a través de modalidad ECOE es más justo, estandarizado y costo eficiente. Centralizar la examinación pareciera, también, ser más eficiente y justa. Lo cual constituiría un avance en la colaboración entre universidades para el desarrollo de la certificación médica en Chile.