SciELO - Scientific Electronic Library Online

 
vol.130 número7Un análisis de la situación actual de las especialidades médicas en ChileLa autonomía del paciente índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

Compartir


Revista médica de Chile

versión impresa ISSN 0034-9887

Rev. méd. Chile v.130 n.7 Santiago jul. 2002

http://dx.doi.org/10.4067/S0034-98872002000700016 

Rev Méd Chile 2002; 130: 817-824

Aplicación del Examen Clínico
Objetivo Estructurado (OSCE)
en la evaluación final del internado
de pediatría en dos escuelas
de medicina

Ximena Triviño B1, Alicia Vásquez M2, Andrea Mena M2,
Ana López T2, Margarita Aldunate R2, Mónica Varas P2,
Ricardo Lillo B3, Ana Wright N4*.

Objetive Structured Clinical
Examination for a pediatric internship
assessment in two schools of medicine

Background: The Objective Structured Clinical Examination (OSCE) has become a respected and widely used tool for the assessment of clinical competence in medical education. Aim: To describe the first experience of an OSCE as a summative assessment in undergraduate Pediatric Internship, in two universities. Material and Methods: The OSCE was structured by a committee of faculty members of the 5 campi of University of Chile and I campus of the Catholic University. A 21 station OSCE was administered simultaneously to 124 Pediatric Interns (University of Chile =104, Catholic University=20), in 3 centers. A total of 50 faculty members participated in the examination. The OSCE consisted of 20 clinical problems, including videotape recordings, photographs, x-rays and laboratory exams, phantoms and 7 simulated standardized parents. Results: The average total OSCE score was 67.3% (range: 84.5%-43.5%). The maximum theoretic score was achieved in 19 stations. A significant correlation between station and total score, was found for 18 of the 20 clinical problems. Conclusions: The experience of using OSCE has been a success. The OSCE was an adequate procedure to assess a large number of interns simultaneously and it allowed us to measure the main objectives in all domains and a wide range of clinical competence of Pediatric Internship Programs (Rev Méd Chile 2002; 130: 817-824).
(Key Words: Education, medical, undergraduate; Internship; Objective Structured Clinical Examination)

Recibido el 23 de enero de 2002. Eceptado el 7 de mayo de 2002.
1 Departamento de Pediatría, Escuela de Medicina, Pontificia Universidad Católica de Chile.
2 Departamento de Pediatría, Escuela de Medicina, Universidad de Chile.
3 Oficina de Educación Médica, Facultad de Medicina, Universidad de Chile.
4 Oficina de Educación Médica, Facultad de Medicina de la Pontificia Universidad Católica de Chile.
* Profesora, Licenciada en Educación.

El quehacer del médico clínico se basa en el desarrollo de actividades que están enmarcadas en las denominadas competencias clínicas; su adquisición en el pregrado es fundamental, y su adecuada evaluación ha sido por mucho tiempo uno de los problemas en la educación médica. Tradicionalmente, su evaluación se ha realizado utilizando instrumentos que no siempre cumplen con los criterios de objetividad, validez y confiabilidad1. Durante las últimas 3 décadas han surgido instrumentos y sistemas de evaluación que cumplen estas características, entre los cuales se encuentra el Examen Clínico Objetivo Estructurado (Objetive Structured Clinical Examination, OSCE)2,3. El OSCE es un sistema de evaluación de las competencias clínicas en el cual los componentes o desempeños de éstas, son evaluados en forma planificada o estructurada con énfasis en la objetividad del examen4,5. Validado internacionalmente tanto en los cursos de pregrado6,7 como en los de postítulo8,9 permite evaluar un alto número de alumnos en un tiempo menor que los exámenes tradicionales. Este examen está constituido por estaciones que conforman un circuito. En cada estación el estudiante se enfrenta a una situación que evalúa una competencia clínica y desempeños médicos específicos en las tres áreas de dominio: cognitivo, actitudinal y de destrezas psicomotoras. Los estudiantes rotan en forma sucesiva y simultánea a través de las estaciones (generalmente entre 10 y 20) con una duración que varía entre 5 y 20 minutos por estación. En el circuito se contemplan estaciones de descanso intercaladas1,2,8,10. Para que el OSCE cumpla con los criterios establecidos, debe haber concordancia entre el programa de curso y el diseño del examen, todos los alumnos deben evaluarse con las mismas situaciones y cada estación debe contar con Pauta del Alumno y Pauta de Corrección y, cuando corresponde, con Pauta de Evaluación por el Docente, Pauta del Paciente Simulado, Pauta de Evaluación por el Paciente Simulado y Pauta del Auxiliar. La experiencia en OSCE en Chile es limitada11, pero rápidamente ha ido siendo incorporado como método de evaluación en los cursos clínicos, habiendo sido ya publicadas algunas de éstas. El costo de la implementación de este examen, publicado en la literatura internacional fluctúa entre 8 y 800 dólares por alumno12-14. El objetivo de esta presentación es describir la primera experiencia en OSCE a nivel nacional compartida por 2 escuelas de medicina en el examen final del internado de pediatría.

MATERIAL Y MÉTODO

El OSCE fue aplicado al finalizar el internado de pediatría, a 124 internos de 6° año de medicina de la Universidad de Chile (UCh) (104 internos) y de la Pontificia Universidad Católica de Chile (PUC) (20 internos), en diciembre de 2000. El examen consistió en 20 estaciones de problemas clínicos, administrado en 5 circuitos y 3 sedes simultáneamente; cada estación duró 5 min, siendo el tiempo total de 1 h 40 min, más las estaciones de descanso, que en la UCh fueron 6 y en la PUC sólo 1. La diferencia en el total de las estaciones estuvo dada por el número de internos a evaluar; en la UCh se dividieron en 4 grupos de 26 internos en 4 circuitos, implementados en las dependencias de la Facultad de Medicina del Campus Occidente y en la Oficina de Educación Médica (Campus Norte) y en la PUC en el Servicio de Pediatría Ambulatoria de la Facultad de Medicina. La selección de los problemas clínicos se efectuó considerando los objetivos de los programas de los internados de pediatría. El diseño del examen fue el resultado del trabajo colaborativo de 60 académicos de los Departamentos de Pediatría de ambas universidades, capacitados en un taller de 6 h de duración sobre OSCE, con la asesoría de la Oficina de Educación Médica de la UCh. El trabajo para cada estación incluyó el contenido, el desempeño a evaluar, el ámbito (hospitalario, ambulatorio, hogar), el instructivo para los internos, el guión para los pacientes simulados, la pauta de evaluación de los docentes evaluadores y la pauta de corrección. Los desempeños evaluados comprendieron: relación médico-paciente, educación, examen físico, interpretación de exámenes de laboratorio e imágenes, diagnóstico, tratamiento, prevención, procedimientos clínicos básicos, lectura crítica de literatura médica y resolución de problema ético. En cada estación se enfatizó la evaluación de una de las áreas de dominio, ya sea cognitiva, psicomotora o actitudinal (Tabla 1). De las 20 estaciones, siete se implementaron con pacientes simulados estandarizados, 7 actores profesionales en la PUC y 14 docentes en la UCh, entrenados con un mes de anticipación. Nueve de las 20 estaciones contaron con evaluadores, requiriendo en total 27 docentes, quienes recibieron sus instructivos con un mes de anticipación. Once estaciones contaron con buzones de recepción de respuestas. Otros recursos empleados fueron fantomas de lactantes, mamas de género, infantómetros, balanzas, huinchas, curvas de evaluación nutricional, aerocámaras e inhaladores, juguetes, exámenes de laboratorio, radiografías, posters con fotos, videos, folletos de la industria farmacéutica, calculadoras. Los internos recibieron la información acerca del examen en reuniones desarrolladas en cada una de las sedes a las cuales pertenecían 2 semanas antes del examen, indicándoseles que ambas universidades participaban en esta evaluación. Nuevamente 15 min antes de iniciar cada circuito se les reunió y se les recordó las instrucciones, además de comprobar que no portaban teléfonos celulares, calculadoras ni hojas de apuntes. Los 104 internos de la UCh participaron de un sorteo siendo repartidos en los 4 circuitos de las 2 sedes. Docentes observadores de la UCh participaron en el circuito OSCE implementado en la PUC y docentes de la PUC participaron en el OSCE en la UCh. Para la implementación del examen se contó con la donación de inhaladores, aerocámaras, mamaderas, alimentos lácteos, juguetes, carpetas y muñecos. Las 3.000 fotocopias requeridas, los recursos clínicos (infantómetros, balanzas, huinchas) y mobiliario fueron aportadas por las respectivas escuelas de medicina. Las fotografías, posters, edición de videos, confección de mamas, pañales, ropa de bebé, plomo para relleno de muñecos, calculadoras, cartulinas, pitos, café y galletas tuvo un costo adicional de aproximadamente de $120.000, aportado por los docentes. En la PUC el trabajo de los actores tuvo un costo de $110.000. El tiempo utilizado para lograr la realización del examen fue de 4 h semanales durante 6 meses de a lo menos 6 docentes de pediatría. La corrección de las Pautas de Evaluación fue realizada por 6 docentes de ambas universidades, demorando aproximadamente 12 h. En cada estación se evaluaron 10 ítemes, con un total en el examen de 200, asignándosele a cada ítem igual valor. El puntaje total resultante de la sumatoria de las estaciones se ajustó a una escala total de 100 puntos. En el internado de Pediatría de la PUC se le asignó un valor de 15% de la nota de examen final. En la UCh no fue considerado en las calificaciones del internado. Se estableció como logro del objetivo por estación y en el examen total el haber obtenido el 60% del puntaje asignado. La confiabilidad del examen se midió con la prueba estadística ade Cronbach. La validez de las estaciones se midió a través de su consistencia interna, utilizando la prueba de Pearson, que permitió correlacionar el puntaje de cada una de las estaciones con el puntaje total. Para establecer diferencia de medias se utilizó la prueba de Chi cuadrado. Para todos las pruebas se consideró significativo un valor de p <0,05.


RESULTADOS

Los resultados obtenidos en la aplicación del OSCE se presentan haciendo referencia al examen en general, las estaciones, las áreas de dominio y a los internos.

a) OSCE total:

El puntaje promedio total fue 67,3 puntos. El mayor puntaje obtenido fue 84,5 y el menor fue 43,5 puntos. El 88,7% de los internos logró un puntaje total igual o superior a 60 puntos. La distribución de los internos según rango de puntajes se muestra en la Figura 1, destacando una mayor concentración de estudiantes en el rango 60 a 69 puntos.


Figura 1. Distribución de la frecuencia de alumnos según rango de puntaje.

b) Estaciones:

El puntaje promedio de cada estación, la correlación de Pearson de cada estación con el puntaje total y el nivel de significatividad (p) para las correlaciones se muestran en la Tabla 2. Se encontraron valores significativos de correlación en 18 de las 20 estaciones. Las estaciones psiquiatría infantil y ética clínica no tuvieron correlación significativa con el puntaje total.

El puntaje máximo teórico fue alcanzado en 19 estaciones, no siendo logrado en la estación enfermedad infecciosa (b). Las estaciones en que hubo internos con el puntaje mínimo (igual a 0 puntos) fueron 9: nutrición (a), nutrición (b), enfermedad respiratoria (a), enfermedad respiratoria (b), imagenología, estado nutricional, ética clínica, hematología, enfermedad infecciosa (b).


Los puntajes promedios obtenidos en cada una de las estaciones se muestran en la Figura 2, destacando que el puntaje promedio máximo fue 91,9 puntos en una estación, y el puntaje promedio mínimo fue 35 puntos, también sólo en una estación. El 70% de las estaciones logró un puntaje promedio igual o mayor a 60. La mayor dispersión se encontró en las estaciones: enfermedad respiratoria (a) y hematología.


Figura 2. Puntajes promedios y 1 DS por cada estación de OSCE.

c) Áreas de dominio:

La distribución de los internos según rango de puntaje por áreas de dominio predominante se muestra en la Figura 3. El 96% de los internos logró un puntaje total igual o superior a 60 puntos en el área actitudinal, el 75,8% en el área psicomotora y el 72,6% en el área cognitiva.


Figura 3. Distribución de la frecuencia de alumnos según rango de puntaje.

El puntaje promedio en el área actitudinal fue 74,9 puntos, en el área psicomotora 65,6 puntos y en el área cognitiva fue 63.

De las 6 estaciones que obtuvieron menos de 60 puntos promedio, 5 correspondieron al área cognitiva y 1 al área psicomotora.

d) Internos:

Los internos que obtuvieron puntaje menor de 60 puntos en el OSCE fueron 14 (11,3%) y los que obtuvieron sobre 80 puntos fueron 4 (3,2%).

Se comparó el promedio por área de dominio y por estación del grupo superior de internos (25% con los mejores resultados) con el grupo inferior (25% con menor rendimiento).

Con respecto a las áreas de dominio, el grupo superior obtuvo en el área actitudinal 81,5 puntos promedio, en el área psicomotora 76,5 y en el área cognitiva 73,2 puntos. El grupo inferior obtuvo 68,8, 53,7 y 52,3 puntos, respectivamente. La diferencia entre estos valores es significativa.

En relación con las 20 estaciones, en 18 de ellas también se encuentran diferencias significativas entre ambos grupos. Las estaciones que no la muestran son psiquiatría infantil y ética clínica, ambas predominantemente actitudinales.

No fue el objetivo de esta experiencia el comparar los resultados entre las Escuelas de Medicina o al interior de la UCh entre los diferentes campi, por lo que esa información no pareció relevante exponerla.

DISCUSIÓN

La carrera de Medicina ha evolucionado en los últimos años, no sólo por los avances propios de la ciencia y la profesión médica, sino también por las múltiples innovaciones curriculares que se han efectuado y que dan cuenta de los avances en educación superior, y del interés cada vez más creciente por profesionalizar la labor docente. Son muchas las facultades de medicina que han incorporado nuevas metodologías de enseñanza, tecnologías (multimedia, simuladores, entre otras) y sistemas de evaluación.

La evaluación es fundamental para estimular el aprendizaje, motiva tanto a los alumnos como a los profesores, actuando como vehículo para el mejoramiento de la docencia15.

El valor de cambiar la evaluación para reflejar lo que se necesita aprender es evidente, ya que los estudiantes aprenden lo que ellos saben que les será evaluado.

Esta experiencia en la aplicación del examen OSCE puede ser considerada exitosa, ya que ha permitido:

  • El trabajo conjunto de docentes de las escuelas de medicina de las 2 universidades,
  • La evaluación simultánea de un gran número de alumnos en un tiempo relativamente corto (no más de 5 h), con escasos problemas en su implementación,
  • Evaluar el rendimiento de los alumnos con respecto a los principales objetivos de los programas de internado de pediatría, en todas las áreas de dominio y en un amplio rango de las competencias clínicas,
  • Identificar áreas deficitarias, retroinformación útil tanto para los alumnos como para los docentes,
  • El perfeccionamiento de los programas de los internados de pediatría, con énfasis en la evaluación,
  • Un cambio en la evaluación de los internos en los internados de pediatría a partir del 2001, con incorporación del OSCE en el examen de pregrado de la UCh, y en el examen final de la PUC,
  • Motivar y estimular a los profesores en la profesionalización de la labor docente, y
  • Situarnos en un nivel internacional con respecto a la evaluación de los alumnos en el pretítulo.

Por otra parte, no se puede dejar de mencionar los problemas que inicialmente enfrentaron los docentes participantes y que fueron sorteados satisfactoriamente:

  • Primera experiencia entre 2 escuelas de medicina en la evaluación de sus alumnos, considerando que tanto las 5 Campi de la UCh y 1 de la PUC tenían programas de internado diferentes,
  • Desconfianza entre los docentes por desconocimiento de las personas,
  • Inexperiencia de los docentes y alumnos,
  • Disponibilidad de recursos físicos, materiales y humanos.

El instrumento aplicado demostró que cumplía con los criterios de validez, confiabilidad y objetividad, en la evaluación de las tres áreas de dominio, destacando los mejores resultados en el área actitudinal.

El OSCE puede ser implementado en los cursos clínicos como complemento de los otros tipos de instrumentos de evaluación utilizados tradicionalmente16,17, y no solamente como exámenes sumativos sino también formativos18.

Por otra parte, es importante no olvidar, que especialmente en los cursos clínicos, el rol que cumple el tutor es fundamental, de tal manera que mejores docentes determinan mejores alumnos19,20.

Esta experiencia permite recomendar el fortalecimiento de los equipos de trabajo para la planificación e implementación de cambios modernizadores en la docencia de pretítulo, considerando factible el trabajo conjunto de docentes de distintas escuelas de medicina. También que las innovaciones en el proceso de enseñanza-aprendizaje, especialmente en evaluación, sean planificadas como investigación en docencia, para dar a conocer estas experiencias en el ámbito académico y aportar evidencias nacionales en educación médica.

REFERENCIAS

1. SLOAN D, DONELLY M, SCHWARTZ R, STRODEL W. The Objetive Structured Clinical Examination. The New Gold Standard for Evaluating Postgraduate Clinical Perfomance. Ann Surg 1995; 222: 735-42.         [ Links ]

2. HARDEN RM, GLEESON FA. Assessment of clinical competence using an objetive structured clinical examination. Medical Education 1979; 13: 41-54.         [ Links ]

3. CARACCIO C, ENGLANDER R. The Objetive Structured Clinical Examination. A Step in the Direction of Competency- Based Evaluation. Arch Pediatr Adolesc Med 2000; 154: 736-41.         [ Links ]

4. HARDEN RM, STEVENSON M, DOWNIE WW, WILSON GM. Assessment of clinical competence using objetive structured examination. Br Med J 1975; 1: 447-51.         [ Links ]

5. HARDEN RM. What is an OSCE? Medical Teacher 1988; 10: 19-22.         [ Links ]

6. MAVIS BE, COLE BL, HOPPE RB. A Survey of Information Sources Used for Progress Decisions about Medical Students. Med Educ Online 2000; 5: 9.         [ Links ]

7. TOWNSEND AH, MCLLVENNY S, MILLER CJ, DUNN EV. The use of an objetive structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to final medical school examination performance. Med Educ 2001; 35: 841-6.         [ Links ]

8. SIBERT L, MAIRESSE JP, AULANIER S, OLOMBEL P, BECRET F, BECRET F ET AL. Introducing the objetive structured clinical examination to a general practice residency programme: results of a French pilot study. Medical Teacher 2001; 23: 383-8.         [ Links ]

9. HODGES B, REGEHR G, HANSON M, MCNAUGHTON N. Validation of an Objetive Structured Clinical Examination in Psychiatry. Academic Medicine 1998; 73: 910-2.         [ Links ]

10. SELBY C, OSMAN L, DAVIS M, LEE M. Set up and run an objetive structured clinical exam. Br Med J 1995; 310: 1187-90.         [ Links ]

11. BUSTAMANTE M, CARVAJAL C, GOTTLIEB B, CONTRERAS J, URIBE M, MELKONIAN E ET AL. Hacia un nuevo instrumento de evaluación en la carrera de medicina. Uso del método OSCE. Rev Méd Chile 2000; 128: 1039-44.         [ Links ]

12. POENARU D, MORALES D, RICHARDS A, O´CONNOR M. Running an Objetive Structured Clinical Examination on a Shoestring Budget. Am J Surg 1997; 173: 538-41.         [ Links ]

13. FRYE A, RICHARDS B, PHILP E, PHILP J. Is it worth? A look at the costs and benefits of an OSCE for second-year medical students. Med Teacher 1989; 11: 291-3.         [ Links ]

14. REZNICK RK, SMEE S, BAUMBER JS. Guidelines for estimating the real cost of an objetive structured clinical examination. Acad Med 1993; 68: 513-7.         [ Links ]

15. DUERSON MC, ROMRELL LJ, STEVENS CB. Impacting faculty teaching and student performance: nine years experience with the Objetive Structured Clinical Examination. Teach Learn Med 2000; 12: 176-82.         [ Links ]

16. MERRICK HW, NOWACEK G, BOYER J, ROBERTSON J. Comparison of the Objetive Structured Clinical Examination with the Perfomance of Third-Year Medical Students in Surgery. Am J Surg 2000; 179: 286-8.         [ Links ]

17. NEWBLE D, JAEGER K. The effect of assessments and examinations on the learning of medical students. Medical Education 1983; 17: 165-71.         [ Links ]

18. RAHMAN SA. Promoting learning outcomes in paediatrics through formative assessment. Medical Teacher 2001; 23: 467-70.         [ Links ]

19. BLUE AV, GRIFFITH CH, WILSON J, SLOAN DA, SCHWARTZ RW. Surgical Teaching Quality Makes a Difference. Am J Surg 1999; 177: 86-9.         [ Links ]

20. DAELMANS H, SCHERPBIER A, VAN DER VLEUTEN C, DONKER A. Reliability of clinical oral examinations re-examined. Medical Teacher 2001; 23: 422-4.         [ Links ]


Correspondencia a: Dra. Ximena Triviño B. Fax: 5535493. Correo electrónico: xtrivino@med.puc.cl