SciELO - Scientific Electronic Library Online

 
vol.143 número7Desarrollo de neoplasia en pacientes con enfermedad inflamatoria intestinalSobrevida en carcinoma espinocelular de labio índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Revista médica de Chile

versión impresa ISSN 0034-9887

Rev. méd. Chile vol.143 no.7 Santiago jul. 2015

http://dx.doi.org/10.4067/S0034-98872015000700003 

ARTÍCULOS DE INVESTIGACIÓN

 

Percepción de examen oral estandarizado vs no estandarizado en el internado de medicina interna

Students’ perceptions comparing standardized and non-standardized oral exams in internal medicine

 

Iván Pérez H.1, Claudia Vergara R.1,a, Cristina Goens G.1, Paola Viviani G.2, Luz M. Letelier S.1

1 Departamento de Medicina Interna, Facultad de Medicina, Pontificia Universidad Católica de Chile.
2 Departamento de Salud Pública, Facultad de Medicina, Pontificia Universidad Católica de Chile. Santiago, Chile.
a Residente.

Correspondencia a:


Background: Oral examinations are a useful tool to appraise certain medical skills compared to other examinations. However, they have some disadvantages that might be reduced with standardization. Aim: To compare students’ perception comparing a standardized oral exam (SOE) versus a traditional, non-standardized oral exam (NSOE). Material and Methods: During the first semester of 2013 a NSOE was applied to internal medicine undergraduate students. During the second semester, a SOE was applied. An anonymous and voluntary perception questionnaire, consisting in 10 questions based on a 5-level Likert scale, was answered by these students. Statistical analysis was done using the Mann-Whitney U test. Results: Among the 118 students, 50.8% were evaluated using NSOE and 49.2% using SOE. Questionnaire response rate was 84%. Among respondents, 52% took the SOE and 48%, the NSOE. Students evaluated using SOE perceived that the degree of complexity of clinical cases was similar for all examinees (p < 0.05), that exam duration was standardized (p < 0.05), and that grades obtained were less influenced by the clinical site where the exam was taken (p < 0.05). However, anxiety level remained high in both groups, as well as the overall satisfaction experience. Conclusions: Standardization of an oral examination improves the perception of medical students about levels of difficulty, duration and external influences on the final grade.

Key words: Cross-Sectional Studies; Educational Measurement; Education, Medical.


 

En educación médica se usan diversos métodos de evaluación para valorar los conocimientos, destrezas y habilidades aprendidos por los estudiantes. Estos instrumentos permiten medir distintos aspectos del aprendizaje y deben usarse en forma complementaria, pues todos presentan ventajas y desventajas1. La elección de una u otra forma de evaluación dependerá de lo que se intenta evaluar y de las propiedades del método de evaluación, tales como su validez (mide realmente lo que pretende medir), confiabilidad (grado con que su resultado se puede reproducir), impacto educacional, costos y factibilidad2. Por ejemplo, métodos tradicionales de evaluación como los exámenes escritos, permiten evaluar de manera objetiva a gran cantidad de alumnos sin necesidad de grandes recursos, pero sólo pueden evaluar conocimiento de bajo nivel de taxonomía cognitiva3,4. Otro método de evaluación, los exámenes orales (EO), representan una herramienta importante y de uso frecuente a nivel mundial en educación médica5.

Los EO se definen como el diálogo sobre un tópico o caso clínico específico entre uno o más examinadores y el estudiante6. Este método de evaluación permite evaluar competencias que otros no pueden, tales como: profundidad del conocimiento y su aplicación a situaciones clínicas, organización de conceptos de manera rápida y esquemática, evaluación del razonamiento y criterio clínico, entre otros7,8. Incluso, se describe su aceptación entre los estudiantes por sobre otros exámenes9.

A pesar de dichas ventajas, el EO presenta desventajas inherentes al método o debidas a su aplicación. Entre las primeras está la subjetividad por la dependencia directa del evaluador, la heterogeneidad en los tópicos o casos clínicos evaluados, variabilidad en la amplitud y profundidad de las preguntas y respuestas esperadas10. La personalidad y habilidades comunicacionales del evaluado pueden agregar otro factor de subjetividad. Su costo es elevado, por la cantidad de tiempo-docente requerido en el proceso de evaluación11. Por otro lado, se agregan errores comunes en su aplicación, por falta de entrenamiento de los evaluadores12. Sin capacitación adecuada, los evaluadores pueden realizar comparaciones injustas entre los examinados, formular preguntas de bajo nivel de taxonomía cognitiva (anulando las ventajas del método), ser susceptibles al efecto halo o tender a otorgar calificaciones muy estrictas, muy benevolentes o con tendencia central13.

Bajo esta perspectiva, la confiabilidad y validez de los EO han sido cuestionadas14,15 generando iniciativas para reducir sus desventajas, sin perder su valor, a través del uso de casos y pautas estandarizadas que reduzcan la heterogeneidad de su aplicación y mejoren su objetividad y reproducibilidad16. Así, un buen EO estandarizado puede ser tan confiable como un examen escrito17 y es menos influenciado por las habilidades comunicacionales del evaluado18.

La percepción de “justicia” en la evaluación por parte de los alumnos varía según su etapa de formación o del contenido o habilidad que se pretende evaluar19,20. Un estudio en alumnos de primer año de medicina, mostró que la aplicación de un examen oral estandarizado (EOE) es bien apreciado por los estudiantes, homogeniza las preguntas y disminuye los niveles de ansiedad previo al examen21. Otro estudio similar, mostró que la estandarización del examen es bien recibida22. La aceptación del método de evaluación por parte de los alumnos es relevante para el proceso docente23. Por lo tanto, el presente estudio fue diseñado con el objetivo de evaluar el impacto que tuvo, en la percepción de los estudiantes, la introducción de un EOE en el internado de medicina interna (MI) en comparación con el examen oral tradicional, no estandarizado.

Materiales y Métodos

Hasta el 1er semestre del año 2013, los internos de Medicina Interna (MI) de la Pontificia Universidad Católica de Chile (PUC) eran evaluados con un examen oral no estandarizado (EONE) consistente en un caso clínico elegido según el criterio de cada comisión conformada por dos docentes, quienes considerando directrices generales decidían los aspectos específicos a evaluar y el tiempo de duración del examen. Para mejorar la confiabilidad de esta evaluación, se estandarizó el EO tradicional y se desarrolló un EOE. Ésta consistió en recopilar un número discreto de casos clínicos reales, que fueron estructurados por un equipo docente centralizado. Para cada caso clínico, se creó una pauta de evaluación incluyendo las respuestas esperadas en cada ítem evaluado y su correspondiente ponderación: diagnósticos pre-test sindromáticos y específicos (15%), plan de estudio inicial (15%), interpretación de exámenes (15%), diagnósticos post-test (15%) y plan de tratamiento (40%). Se estandarizó el tiempo de duración y se usaron los mismos casos por comisiones simultáneas. Este EOE se aplicó por primera vez el 2° semestre del año 2013. Así, durante el 2013 los internos del primer semestre fueron sometidos a un EONE y los del segundo semestre a un EOE, sin cambiar otros aspectos de la evaluación como número de evaluadores, equipo de docentes, lugar físico y competencias evaluadas.

Se confeccionó un cuestionario para medir la percepción de los internos respecto al EO que les correspondió rendir. Consistía en diez preguntas en escala de Likert de 5 niveles de respuesta (Tabla 1), más una pregunta abierta sobre apreciaciones del examen. Los dominios evaluados fueron percepción global del examen, tiempo, dificultad, nivel de ansiedad e influencia de los evaluadores en la calificación. La encuesta se desarrolló en formato presencial y electrónico.

Tabla 1. Cuestionario de Percepción de EO en Internos de MI.

Se aplicó la encuesta en forma voluntaria y anónima durante el 1er semestre del año 2014 a los internos de MI del año 2013. Correspondían a un total de 118 internos, 60 de ellos (50,8%) fueron evaluados con EONE y 58 (49,2%) con EOE.

Se calculó la mediana y rango correspondiente para las respuestas de ambos grupos (EOE vs EONE). Las diferencias en la distribución de las respuestas se evaluaron con la prueba de Mann-Whitney, considerándose significativas con valor p < 0,05. Para todos los análisis se utilizó el programa SPSS Statistics 17.0

Este estudio fue aprobado por el Comité Ético Científico de la Facultad de Medicina de la Pontificia Universidad Católica de Chile.

Resultados

Se obtuvieron 99 respuestas (84%), 60 mediante encuesta presencial y 39 en formato on-line. De las respuestas obtenidas, 48% había rendido el EONE y 52% el EOE, quedando ambos exámenes similarmente representados. Los resultados están resumidos en la Tabla 2.

Tabla 2. Comparación de percepciones EONE vs EOE para cada dominio

La Figura 1 muestra que la introducción del EOE mejoró en forma estadísticamente significativa la percepción de similitud en el nivel de dificultad del examen entre compañeros comparado con el EONE (mediana 4 vs 3, p < 0,05). Además, se encontró diferencias significativas en la percepción de que la calificación fue menos dependiente del campo clínico donde se rindió el examen comparado con el formato de EONE (mediana 3 vs 2 p < 0,05) y en la estandarización del tiempo del examen (mediana 5 vs 4 p < 0,05).

Figura 1. Percepciones con diferencia estadísticamente significativa; A: Tiempo similar entre
compañeros; B: Dificultad similar de caso clínico y preguntas entre compañeros;
C: Influencia del campo clínico en la calificación. Color negro: examen oral no
estandarizado (EONE). Color gris: examen oral estandarizado (EOE).

En general, la experiencia global del EO de MI fue catalogada como buena (mediana 4, rango EONE 1-5 y EOE 2-5) en ambos grupos, sin diferencia entre ellos. Los internos consideraron que el tiempo asignado al examen fue adecuado en los dos formatos (mediana 5 en ambos) y que en ambas modalidades se obtuvieron calificaciones que reflejaban el desempeño durante el examen (mediana 4 en ambos).

Destaca que, a pesar de la estandarización, el nivel de ansiedad previo al examen fue muy alto, (mediana 5) sin diferencia entre los grupos. 

El análisis según sexos mostró una diferencia significativa en el grado de ansiedad, siendo este mayor en la mujeres que en los hombres (p = 0,031). Sin embargo, al comparar entre hombres y mujeres para cada modalidad de examen, no se encontró diferencia en ninguno de los ítems encuestados.

Un tercio de los encuestados realizó comentarios respecto del EO rendido. Entre los comentarios de quienes rindieron el EONE (42% de los comentarios) destacó la percepción de heterogeneidad en los casos clínicos según campo clínico, en los temas evaluados y la influencia de la comisión evaluadora en la calificación final. De las respuestas obtenidas de los internos evaluados por EOE (58% de los comentarios), predominan los comentarios positivos por la estandarización del examen. Ambos grupos informaron un alto nivel de ansiedad previo al examen, marcando uno de los hitos de mayor ansiedad durante la carrera.

Discusión

Este estudio permitió comparar las percepciones de los internos de MI respecto de dos tipos de EO, uno estandarizado versus uno no estandarizado, manteniendo condiciones similares en todas las otras variables.

Nuestros resultados muestran que la introducción de un EOE tiene ventajas que son percibidas por los internos. Primero, mejora la percepción de objetividad e independencia de elementos externos en la calificación obtenida. En particular, en una facultad con distintos campos clínicos, que tienen docentes y pacientes diferentes en cada uno de ellos, la incorporación de casos clínicos estructurados, independientes de la comisión evaluadora y del lugar donde se rindió el examen, permitió que los internos percibieran haber sido evaluados de manera más imparcial. Segundo, mejoró la percepción de homogeneidad en los contenidos evaluados, del grado de dificultad y del tiempo del examen comparado con sus pares. Tercero, las ventajas del EOE son transversales para los internos, independiente de su género. Estos resultados son similares a lo descrito en estudios previos20,21, en que los alumnos perciben positivamente la incorporación de estandarización en las evaluaciones. Sin embargo, no cambió la percepción global del examen, que fue buena con ambas modalidades y, a diferencia de lo reportado21, la estandarización tampoco mostró impacto en el nivel de ansiedad previo al EO en nuestros alumnos.

Se ha comunicado que los alumnos perciben los EO como un método de evaluación de mayor dificultad, comparado con exámenes escritos u OSCE24 y que los EO producen más síntomas ansiosos que los exámenes escritos25. Otro estudio reporta que los niveles de ansiedad previos al examen no influyen en la calificación obtenida26, ya que la ansiedad es inherente a cualquier método de evaluación y su intensidad depende de la percepción del evaluado respecto a la importancia relativa del examen en su formación académica27 por lo que intentar reducirlos no debiera ser el objetivo más prioritario.

Este estudio presenta varias fortalezas: se realizó la comparación de dos modalidades de EO en una misma generación de internos en un tiempo acotado, lo que permite disminuir considerablemente otras variables confundentes como cambio de equipos docentes, exposición y experiencias previas a diferentes evaluaciones que ocurren cuando se compara con cohortes históricas. Destacamos la dificultad de encontrar estudios similares al nuestro, debido a la falta de estandarización en la definición de los diferentes tipos de EO en la literatura. La aplicación de la encuesta en 2 modalidades permitió mejorar la tasa de respuesta, logrando una muestra representativa de ambos exámenes y del total de internos. Dentro de las limitaciones del estudio, destaca la falta de validación de la encuesta de percepción aplicada. Además, la encuesta se aplicó al año siguiente, con distinto desfase del EO para los grupos, lo que podría introducir un sesgo de memoria, diferente entre los grupos EONE vs EOE.

La satisfacción de los internos con la incorporación del EOE, no permite concluir acerca de su confiabilidad y validez como herramienta de evaluación, pero nos parece relevante conocer la opinión de los receptores de los métodos de evaluación. Igualmente, a futuro será interesante conocer la percepción de los docentes respecto a este nuevo examen así como la correlación entre las calificaciones obtenidas y la mejor percepción del EOE.

En suma, recomendamos la incorporación de un EOE para la evaluación del aprendizaje de pregrado, pues permite mejorar la percepción de objetividad e independencia por parte de los alumnos sin perder la ventaja de poder evaluar conocimientos en profundidad y razonamiento clínico.

 

Referencias

1. Holmboe ES, Hawkins RE. Methods for evaluating the clinical competence of residents in internal medicine: a review. Ann Intern Med 1998; 129 (1): 42-8.         [ Links ]

2. Al-Wardy NM. Assessment methods in undergraduate medical education. Sultan Qaboos Univ Med J 2010; 10 (2): 203-9.         [ Links ]

3. Epstein RM. Assessment in medical education. N Engl J Med 2007; 356 (4): 387-96.         [ Links ]

4. Norcini J, McKinley D. Assessment methods in medical education. Teaching and Teacher Education 2007; 23 (3): 239-50.         [ Links ]

5. Kelly S, Weiner S, Anderson P, Irish J, Ciottone G, Pini R, et al. Learner perception of oral and written examinations in an international medical training program. Int J Emerg Med 2010; 3 (1): 21-6.         [ Links ]

6. Torke S, Abraham R, Ramnarayan K, Asha K. The impact of viva-voce examination on students performance in theory component of the final summative examination in physiology. Journal of Physiology and Pathophysiology. 2010; 1 (1): 10-2.         [ Links ]

7. Houston JE, Myford CM. Judges’ perception of candidates’ organization and communication, in relation to oral certification examination ratings. Acad Med 2009; 84 (11): 1603-9.         [ Links ]

8. Niehaus DJ, Jordaan E, Koen L, Mashile M, Mall S. Applicability and fairness of the oral examination in undergraduate psychiatry training in South Africa. Afr J Psychiatry (Johannesbg). 2012; 15 (2): 119-23.         [ Links ]

9. Krautter M, Jünger J, Koehl-hackert N, Nagelmann L, Nikendei C. Evaluation of a structured, longitudinal training program for the preparation for the second state exam (M2)-a quantitative analysis. Z Evid Fortbild Qual Gesundhwes 2012; 106 (2): 110-5.         [ Links ]

10. Davis MH, Karunathilake I. The place of the oral examination in today’s assessment systems. Med Teach 2005; 27 (4): 294-7.         [ Links ]

11. Rowland KC, Joy A. The gross anatomy laboratory: a novel venue for critical thinking and interdisciplinary teaching in dental education. J Dent Educ 2015; 79 (3): 295-300.         [ Links ]

12. Oechsner W, Geiler S, Huber-lang M. The impact of a dedicated training program for oral examiners at a medical school in Germany: a survey among participants from operative and non-operative disciplines. Patient Saf Surg 2013; 7 (1): 22.         [ Links ]

13. Wakeford R, Southgate L, Wass V. Improving oral examinations: selecting, training, and monitoring examiners for the MRCGP. Royal College of General Practitioners. BMJ 1995; 311 (7010): 931-5.         [ Links ]

14.Ventouras E, Triantis D, Tsiakas P, Stergiopoulos C. Comparison of oral examination and electronic examination using paired multiple-choice questions. Computers & Education 2011; 56 (3): 616-24.         [ Links ]

15. El Shallaly G, Ali E. Use of video-projected structured clinical examination (ViPSCE) instead of the traditional oral (viva) examination in the assessment of final year medical students. Med Educ 2003; 37 (11): 1048.         [ Links ]

16. Wass V, Wakeford R, Neighbour R, Van der vleuten C. Achieving acceptable reliability in oral examinations: an analysis of the Royal College of General Practitioners membership examination’s oral component. Med Educ 2003; 37 (2): 126-31.         [ Links ]

17. Rushton P, Eggett D. Comparison of written and oral examinations in a baccalaureate medical-surgical nursing course. J Prof Nurs 2003; 19 (3): 142-8.         [ Links ]

18. Lunz ME, Bashook PG. Relationship between candidate communication ability and oral certification examination scores. Med Educ 2008; 42 (12): 1227-33.         [ Links ]

19. Duffield KE, Spencer JA. A survey of medical students’ views about the purposes and fairness of assessment. Med Educ 2002; 36 (9): 879-86.         [ Links ]

20. Rowland S, Ahmed K, Davies DC, Ashrafian H, Patel V, Darzi A, et al. Assessment of anatomical knowledge for clinical practice: perceptions of clinicians and students. Surg Radiol Anat 2011; 33 (3): 263-9.         [ Links ]

21. Shenwai MR, B patil K. Introduction of Structured Oral Examination as A Novel Assessment tool to First Year Medical Students in Physiology. J Clin Diagn Res 2013; 7 (11): 2544-7.         [ Links ]

22. Kshirsagar SV, Fulari DSP. Structured Oral Examination-Student’s Perspective. Anatomica Karnataka 2011; 5 (2): 28-31.         [ Links ]

23. Duffield KE, Spencer JA. A survey of medical students’ views about the purposes and fairness of assessment. Med Educ 2002; 36 (9): 879-86.         [ Links ]

24. Dadgar SR, Saleh A, Bahador H, Baradaran HR. OSCE as a tool for evaluation of practical semiology in comparison to MCQ & oral examination. J Pak Med Assoc 2008; 58 (9): 506-7.         [ Links ]

25. Sarid O, Anson O, Bentov Y. Students’ reactions to three typical examinations in health sciences. Adv Health Sci Educ Theory Pract 2005; 10 (4): 291-302.         [ Links ]

26. Reteguiz JA. Relationship between anxiety and standardized patient test performance in the medicine clerkship. J Gen Intern Med 2006; 21 (5): 415-8.         [ Links ]

27. De Pablo J, Subirá S, Martín MJ, De Flores T, Valdés M. Examination-associated anxiety in students of medicine. Acad Med 1990; 65 (11): 706-7.         [ Links ]

 


Recibido el 13 de marzo de 2015, aceptado el 27 de mayo de 2015.

Fuente de apoyo financiero: ninguno

Correspondencia a: Dra. Luz María Letelier S.
Departamento de Medicina Interna, Facultad de Medicina, Pontificia Universidad Católica de Chile. Lira 63, Santiago, Chile. Teléfono: 56 2 23543030
lmletel@med.puc.cl

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons