SciELO - Scientific Electronic Library Online

 
vol.128 número9Paquete básico de prestaciones basados en evidencia para el nivel primario de atención: una propuestaMalformaciones congénitas en los hijos de madres diabéticas índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

Compartilhar


Revista médica de Chile

versão impressa ISSN 0034-9887

Rev. méd. Chile v.128 n.9 Santiago set. 2000

http://dx.doi.org/10.4067/S0034-98872000000900013 

Hacia un nuevo instrumento de
evaluación en la carrera de
Medicina. Uso del método OSCE

Objective Structured Clinical
Examination for the evaluation
of medical students

Marco Bustamante Z, Carlos Carvajal H, Beatriz Gottlieb B,
Juan E Contreras P, Mario Uribe M, Ernesto Melkonian T,
Patricio Cárdenas S, Aracelis Amadori G, Juan A Parra G.

Background: Objective structured clinical examination has advantages over traditional oral examinationt of medical student. However, it is not routinely used in Chile. Aim: To describe the objective structured clinical examination system and report the results of its first use with Chilean medical students. Material and methods: Thirteen interns ware evaluated at the end of their surgical rotation, using the objective structured clinical examination. Thirteen stations were structured for this examination: one for history taking, two for physical examination, four for problem solving and knowledge, one for radiological interpretation, one for instrumental recognition, one for skills and one for text comprehension. There were a total of 88 questions. Results: All students exceeded 60% of requirements. Mean approval score was 73%. The higher score was 80% and the lower 61%. Ten students had a score over 70%. The method was well accepted by teachers and students. Conclusions: This first local experience with the objective structured clinical examination was successful (Rev Méd Chile 2000; 128: 1039-44).
(Key-words: Education, medical, undergraduate; Internship).

Recibido el 10 de agosto, 1999. Aceptado en versión corregida el 2 de marzo, 2000.
Departamento de Cirugía. Campus Oriente. Facultad de Medicina. Universidad de Chile.
Oficina de Educación Médica. Facultad de Medicina. Universidad de Chile. Santiago de Chile.

Si bien la adquisición de habilidades y destrezas son un requisito central durante los estudios de Medicina, su evaluación es dependiente de métodos que son susceptibles de mejorar. En nuestro país las interrogaciones orales son habitualmente las metodologías destinadas a la evaluación de estas capacidades. Sin embargo, este tipo de exámenes han sido objeto de una serie de críticas, debidas a su subjetividad y a su falta de estructuración1-4. Se ha señalado, además, que habilidades y destrezas son rara vez observadas durante las interrogaciones orales5.

El método OSCE (Objective Structured Clinical Examination) fue concebido para medir habilidades y destrezas y ha conseguido una importante aceptación en los lugares que se ha implementado6-10.

Los autores hemos recibido entrenamiento práctico en su aplicación, en talleres impartidos por la Oficina de Educación Médica de la Facultad de Medicina de la Universidad de Chile.

Nuestro propósito es usar este examen en forma rutinaria en los alumnos de pregrado en nuestro Departamento. Para este efecto se llevó a cabo una experiencia piloto en un grupo de internos que acababan de finalizar su rotación por Cirugía.

El objetivo de esta comunicación es la descripción del examen y el análisis de esta experiencia inicial.

MATERIAL Y MÉTODO

El método OSCE consiste en una evaluación de competencias clínicas, en la cual todo el curso es evaluado en forma simultánea. Para ello, cada alumno, debe efectuar una rotación por distintas estaciones, en las cuales es sometido a una actividad especifica, cuya resolución demora un tiempo breve, habitualmente 5 min. Una vez finalizado el tiempo, el alumno debe pasar a la estación siguiente y su lugar es ocupado por el alumno que viene de las estaciones precedentes. Las estaciones tienen la misma duración, de tal manera que la rotación es simultánea y continua.

La evaluación de cada estación se efectúa en el mismo momento, con la aplicación por parte del docente de una hoja de registro del tipo pauta de cotejo, la que está previamente diseñada, y que es común para todos los alumnos.

El recinto utilizado fue el policlínico de especialidades quirúrgicas, el que cuenta con un número suficiente de oficinas. Se contó con la participación de Enfermeras y Técnicos Paramédicos quienes actuaron como pacientes simulados.

Las competencias evaluadas fueron: anamnesis, examen físico, resolución de problemas, interpretación de radiografías, comunicación, educación en salud, reconocimiento de instrumental quirúrgico, habilidades, destrezas y comprensión de publicaciones del área quirúrgica (Tabla 1).


Instrucciones al alumno: El alumno en cada estación recibió por escrito una instrucción breve de la competencia a desarrollar. Por ejemplo, la transcripción de la Estación 6 dice: "La Sra. Valeria Saavedra, de 47 años, con antecedentes de asma bronquial severa debe someterse a reparación de hernia crural. Ella está muy preocupada porque su operación se hará con anestesia raquídea. Ud. deberá explicarle el procedimiento y contestar las preguntas que la paciente le formulará".

Instrucciones al paciente simulado: En los casos que se requirió un paciente simulado, éste fue entrenado previamente por el docente a cargo de la estación. Para ello se usó una pauta prediseñada. El paciente simulado debió ser capaz de reproducir la pauta utilizando la forma habitual de comunicación que usan los pacientes reales. En la estación 6 se usó la siguiente pauta: "Ud. se muestra preocupada y le hace las siguientes preguntas al doctor: a) Que le explique la secuencia del procedimiento b) Que tiene aprensiones por ser operada vigil. c) Exprese su temor por la cefalea post raquídea. d) Las ventajas de la anestesia raquídea. e) Si va a quedar con parálisis. f) Cuanto tiempo va a durar el efecto de la anestesia.

Pauta de evaluación: Cada estación cuenta con una pauta de evaluación. En cada una de ellas se consignaron un número variable de ítems. La siguiente es la pauta de evaluación de la estación 6. El alumno explica: posición de la paciente, sitio de punción, tipo de agente anestésico, efecto anestésico, duración del efecto, es posible ser operada vigil, es posible dar hipnótico, uso de trocares finos y morbilidad por LCFA. Esto se califica como: satisfactorio, intentado no satisfactorio, no intentado.

RESULTADOS

Se examinaron 13 internos que terminaron su rotación en Cirugía. La duración del examen fue 70 min.

Número de preguntas: El número total de preguntas fue 88. El número de preguntas fue distinto en las estaciones. La mayor parte de las estaciones tuvieron entre 5 y 10 preguntas. (Tabla 2).


Aprobación de las estaciones: Para fines del cómputo del rendimiento, a todos los ítems se les asignó un valor similar. En las respuestas calificadas como intentado no satisfactorio se consideraron en 50% como correctas y en el 50% como incorrectas. El porcentaje de aprobación de las estaciones osciló entre 66 y 100 %. (Tabla 3).


Rendimiento general: Todos superaron el 60% de rendimiento. El rendimiento promedio fue de 73%. La mayor parte de los alumnos tuvo un rendimiento sobre el 70% (Tabla 4)


Rendimiento individual: El rendimiento por alumno osciló entre un puntaje máximo de 80% a un mínimo de 61%. La mediana fue de 76% (Tabla 5).


DISCUSIÓN

En la carrera de Medicina, la evaluación en el área clínica está constituida por medición de conocimientos teóricos y de habilidades y destrezas. Ambos componentes con ponderación diferente en la nota final. De acuerdo al reglamento, conocimientos teóricos son valorados con 30% de la nota final, mientras que habilidades y destrezas con 70%11. La metodología de evaluación de las últimas ha sido tradicionalmente las interrogaciones orales.

Las interrogaciones orales tienen ventajas y limitaciones. Entre las primeras hay que destacar que además de ser útiles para evaluar el dominio cognoscitivo, dan la posibilidad de verificar procesos de pensamiento seguidos en la solución de problemas y habilidades adquiridas para la comunicación oral12. Esta afirmación es apoyada por Zelenock13, quien en análisis de exámenes orales en Cirugía concluye que estas evaluaciones son suficientemente amplias y profundas, que los docentes mejoran su apreciación del rendimiento global, evalúan la capacidad de los alumnos de pensar por sí mismos, son una valiosa experiencia de aprendizaje, fomentando la interacción docente alumno, lo que justifica el esfuerzo y tiempo invertidos en ellas.

Por otra parte, las limitaciones más serias de este tipo de pruebas es su baja confiabilidad, lo que se debe principalmente a: I) El bajo número de preguntas que incluyen, lo cual permite una fuerte influencia del azar, y II) La subjetividad del examinador, que siempre está presente en la valoración de la respuesta12.

En este sentido se han hecho experiencias en las que se comparan los resultados otorgados por docentes independientes en un mismo alumno, y el grado de discordancia encontrado impide calificar estos exámenes como objetivos14. También se han publicado experiencias en las que diferentes docentes analizan exámenes orales videograbados y se han encontrado discordancias incluso en el criterio de aprobación o reprobación15.

El hecho que hay docentes que sistemáticamente califican con los puntajes más altos, y que los exámenes orales en medicina se reducirían a medir la capacidad de recordar fragmentos aislados de información bajo una situación de estrés, han conducido algunos autores a señalar que los exámenes orales tradicionales en la carrera de Medicina sólo son adecuados para definir un resultado desde el punto de vista de aprobación o reprobación1,2,16.

Como una manera de implementar un instrumento de evaluación de mayor validez se decidió aplicar el método OSCE, descrito por Harden en 197517. A partir de su descripción, su uso se ha extendido, en la medida que se ha comprobado que su validez ha sido superior a la de los exámenes orales tradicionales. Schwartz18 compara las evaluaciones tradicionales con el examen nacional de Cirugía (ABSITE) y con OSCE, concluyendo que los primeros detectan, sólo 5% de rendimiento insuficiente, en cambio, ABSITE y OSCE detectan 41% y 36% de alumnos con rendimiento insuficiente. Sloan9 comprueba la utilidad del método en residentes de Cirugía y registra una confiabilidad de 0,82, cifra que es considerada muy buena. Dos años más tarde el mismo autor comunica una confiabilidad de 0,9119.

En Canadá, tras una experiencia piloto efectuado en 1991, el OSCE se ha venido utilizando para otorgar la licencia para el ejercicio legal de la profesión21,22. En breve, el método se caracteriza por ser clínico: mide competencias clásicas como anamnesis y examen físico. También da la posibilidad de medir otras habilidades que habitualmente no son valoradas con los exámenes orales tradicionales. En nuestro examen se evaluó el conocimiento de instrumental quirúrgico, la capacidad de comprensión de un texto de una revista científica y una interpretación radiológica.

Las destrezas fueron medidas en la estación de paro cardíaco.

Otra ventaja del examen es la posibilidad de apreciar el comportamiento ético y actitudinal del estudiante, definido en el Documento de la Facultad de Medicina22. Para evaluar estos atributos se diseñaron las estaciones 6 y 10 en las que se midió la capacidad de comunicación en situaciones en las que se debe reconocer los derechos de los pacientes, en especial el de la confidencialidad y consentimiento informado. En la pauta de evaluación de estas estaciones se midió la capacidad de aproximación, manejo empático, relación de ayuda y comunicación efectiva.

La medición de todas las competencias descritas dan la posibilidad de formarse un perfil del estudiante, ya que quedarán en evidencia las fortalezas que éste ha adquirido en el manejo integral de los pacientes. Así, por ejemplo un alumno puede tener una gran cantidad de conocimientos, pero una deficiente capacidad de aplicarlos12. Se puede señalar, como observa Harden, que se mide no sólo el producto, sino también el proceso23.

Estructurado: Para su aplicación se requiere un equipo docente que trabaje en la preparación del nivel de los contenidos que se va a exigir. Además se deberá disponer de un número de estaciones adecuado, el cual debe variar entre 10 y 20. De acuerdo a Selby, para examen de pregrado, el número adecuado es entre 10 y 15 estaciones de 6 min de duración cada una24.

Dentro de la estructuración deben afinarse una serie de otros aspectos: recinto adecuado donde los alumnos tengan facilidad de movilizarse entre las estaciones, instructivos escritos para los alumnos, hojas de evaluación para los docentes y preparación de los pacientes simulados. Sólo la atención de todos estos detalles logrará conseguir todos los objetivos del certamen.

Objetivo: La objetividad esta garantizada por las siguientes situaciones:

- Los alumnos enfrentan un problema con complejidad idéntica para todos ellos.

- El criterio de evaluación es similar para todos, debido a la nula influencia del docente, quien se limita a observar y registrar si la competencia fue cumplida o no.

Dentro de otros aspectos de interés está el número total de preguntas, lo que asegura una amplitud adecuada del examen. También es destacable que las estaciones destinadas a medir habilidades poco habituales de ser evaluadas, como la comunicación con pacientes, comprensión de texto, y la educación en salud obtuvieron calificaciones de 70% o más, lo que revela una adecuada formación en estas áreas.

En el examen se pudo comparar los conocimientos generales de paro cardíaco con las destrezas en el tema. En este respecto queda claro que las habilidades para tratar el paro (66% de rendimiento) están considerablemente por debajo de los conocimientos teóricos (98% de rendimiento) que los internos tienen sobre esta emergencia.

También queda claro que este examen otorga una caracterización bastante clara del nivel de rendimiento de los internos, ya que existe un amplio rango de resultados. En este sentido es notoria la diferencia de 19% entre el interno de mayor con respecto al de menor rendimiento.

De interés es la comparación de estos resultados con los obtenidos por los mismos internos con la evaluación tradicional del Internado: en el rubro Hábitos y Actitudes, cuya metodología consiste en el llenado de una pauta preestablecida en cada uno de 6 equipos por los que rota el interno, el menor rendimiento fue de 93% y el mayor de 100%. En el rubro Habilidades y Destrezas, cuya metodología es similar a la anterior, el puntaje menor fue 92% y el mayor 99%.

En los exámenes de Pregrado de Cirugía, evaluados por 2 docentes en días diferentes, el rendimiento inferior fue del 90% y el superior de 96%.

Evaluación por parte de los internos: Una vez finalizado el examen los internos se reunieron con el equipo docente y expresaron sus opiniones, las que fueron globalmente positivas, ya que señalaron haberse sentido satisfechos por haber sido evaluados en forma objetiva y uniforme. Consideraron que los contenidos de las estaciones efectivamente correspondían a situaciones vividas por ellos y estimaron que son las que continuarán ocurriendo en su futuro.

CONCLUSIÓN

El OSCE ha demostrado que puede ser utilizado en nuestro medio como instrumento de evaluación, constituyéndose en una alternativa válida para aquellas disciplinas en las cuales es preciso determinar habilidades y destrezas en forma objetiva y uniforme. En esta experiencia contó con un alto grado de aceptación de docentes y alumnos.

Correspondencia a: Dr. Marco Bustamante. Departamento Cirugía. Facultad de Medicina. Universidad de Chile. Av. Salvador 364. Fax 2699178.

REFERENCIAS

1. Foster JT, Abrahamson S, Lass S, Girard R, Garris R. Analysis of an oral examination used in specialty board certification. J Med Educ 1969; 44: 951-4.        [ Links ]

2. McGuire CH. The oral examination as a measure of professional competence. J Med Educ 1966; 41:267-74.        [ Links ]

3. Yang JC, Laube DW. Improvement of reliability of an oral examination by a structured evaluation instruments. Med Educ 1983; 58: 864-72.        [ Links ]

4. Jayawickramarajah PT. Oral examinations in medical education. Med Educ 1985; 19: 290-3.        [ Links ]

5. Stilmann PL, Swanson DB, Smee S. Assessing clinical skills of residents with standarized patients. Ann Int Med. 1986; 105: 762-71.        [ Links ]

6. Cuschieri A, Gleeson FA., Harden M, Wood R. A new approach to a final examination in surgery. Ann Royal Coll Surg England 1979; 61: 400-5        [ Links ]

7. Petrusa ER, Blackwell TA, Ainsworth MA. Reliability and validity of an objective structured clinical examination for assesing the clinical performance of residents. Arch Intern Med 1990; 150: 572-7.        [ Links ]

8. Cohen R, Reznick K, Taylor BR, Provan J, Rothman A. Reliability and validity of the structured clinical examination in assesing surgical residents. Am J Surg 1990; 160: 302-5.        [ Links ]

9. Sloan DA, Donnelly MB, Johnson SB, Schwartz RW, Strodel WE. Use of an Objective Structured Clinical Examination (OSCE) to measure improvement in clinical competence during the surgical internship. Surgery 1993; 114: 343-50.        [ Links ]

10. Joorabchi B. Objective structured clinical examination in a pediatric residency program. Am J Dis Child 1991; 145: 757-62.        [ Links ]

11. Reglamento General de Estudios de las Carreras de la Facultad de Medicina conducentes a grado de Licenciado y Titulo Profesional. Universidad de Chile. Agosto de 1997.        [ Links ]

12. Monografia del Módulo: "Evaluación: fundamentos, tendencias e instrumentos" Diploma en Docencia en Ciencias Biomédicas. Universidad de Chile. Facultad de Medicina. Oficina de Educación Medica. 1998        [ Links ]

13. Zelenock G, Calhoun J, Hockman E, Youmans LC, Erlandson EE, Davis WK, Turcotte JG. Oral examinations: actual and perceived contributions to surgery clerkship performance. Surgery 1985; 97: 737-44.        [ Links ]

14. Kelley PR, Matthews JH, Schumacher CF. Analysis ofthe oral examination ofthe American Board of Anesthesiology. J Med Educ 1974; 51: 672-4.        [ Links ]

15. McCormick WO. A practice oral examination rating scaleinterobserver reliability. Can J Psychiatry 1981; 26: 236-9.        [ Links ]

16. Pokorny AD, Frazier SH. An evaluation of oral examinations. J Med Educ 1966; 41: 28-40.        [ Links ]

17. Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J 1975; 1: 447-51.        [ Links ]

18. Schwartz RW, Donnelly MB, Sloan DA, Johmson SB, Strodel WE. The relantionship between faculty ward evaluations, OSCE, and ABSITE as measures of surgical intern performance. Am J Surg 1995; 196: 414-7.        [ Links ]

19. Sloan D, Donnelly M, Schwartz R, Strodel W. The Objective Structured Clinical Examination. The New Gold Standard for Evaluating Postgraduate. Ann Surg. 1995; 222: 735-42.        [ Links ]

20. Reznick RK, Blackmore D, Cohen R. et al. An objective structured clinical examination for the licenciate of the medical council of Canada: from research to reality. Acad Med 1993; 68: S4-S6.        [ Links ]

21. Reznick RK, Smee S. Rothman A et al. An objective structured clinical examination for the licenciate: report of the Medical Council of Canada. Acad Med 1992; 67: 487-494.        [ Links ]

22. Perfil Profesional Médico Cirujano. Universidad de Chile. Facultad de Medicina. Agosto 1998.        [ Links ]

23. Harden RM. ¿What is an OSCE?. Medical Teacher 1988; 10: 19-22.         [ Links ]

24. Selby C, Osman L, Davies M, Lee M. How to do it. Set up and run an objective structured clinical exam. Br Med J 1995; 310: 1187-90.        [ Links ]

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons