Rev Med Chile 2011; 139: 1508-1515

EDUCACIÓN MÉDICA

 

Impacto de un programa de formación en docencia en una escuela de medicina

 

Impact of a diploma on medical education in a medical school in Chile

 

Ximena Triviño¹, Marisol Sirhan¹, Philippa Moore², Luz Montero²

¹Centro de Educación Médica.
²Departamento de Medicina Familiar. Escuela de Medicina, Pontificia Universidad Católica de Chile, Santiago, Chile.

Correspondencia a:

---

Background: The medical school of the Pontificia Universidad Católica de Chile offers a Diploma on Medical Education (DME) for its faculty since 2000. However its impact had never been evaluated. Aim: To determine the perception of the graduates of the impact of DME, using the Kirkpatrick model for evaluation of educational outcomes. Material and Methods: A questionnaire containing closed and pre-post retrospective questions that represented Kirkpatrick's four levels of evaluation, was sent to all the graduates in 2009. Results: Eighty two of 91 graduates returned the questionnaire. Ninety one percent had a high level of satisfaction at Kirkpatrick Level 1 (Reaction), and perceived an average of 81.8% completed objectives. Most respondents reported modification of attitudes and perceptions about teaching, at Kirkpatrick Level 2 (Learning). All the differences between the pre and posttest retrospective questionnaire were statistically significant. More than 98% of responded stated that they improved their role as teacher using the skills learned during DME, according to Kirkpatrick Level 3 (Behavior). According to Kirkpatrick Level 4 (Outcomes), 66% stated that the DME contributed to appreciate the value of teaching at an institutional level. Conclusions: According to the perception of the respondents, the DME has had a positive impact at all the levels described in the Kirkpatrick model.

Key words: Education, medical; Faculty, medical; Staff development.

---

 

Las experiencias de programas educacionales para profesores de medicina han sido ampliamente documentadas en la literatura internacional, mostrando diversos modelos, formatos y áreas de la docencia que permitan facilitar su labor académica^1-4. Sin embargo, la evaluación de estas intervenciones, etapa crucial para demostrar su efectividad y obtener información que permita mejorar, ha sido motivo del interés de la educación médica sólo durante la última década^5-10.

El año 2006, Steinert et al propusieron utilizar el modelo de resultados educacionales de Kirkpa-trick para evaluar los programas docentes y desde entonces éste ha sido considerado como el marco conceptual para determinar el impacto de la formación en docencia¹¹. El modelo describe cuatroniveles de resultados: reacción de los asistentes o satisfacción con la experiencia educacional (Nivel 1), modificación de actitudes y percepciones sobre el proceso de enseñanza-aprendizaje (Nivel 2A), adquisición de conocimientos y destrezas (Nivel 2B), cambio de conducta y aplicación del aprendizaje en la práctica (Nivel 3) y finalmente, los resultados, referidos a cambios en la organización o institución donde los asistentes son docentes (Nivel 4A) y mejoría del aprendizaje y del desempeño de los estudiantes y residentes (Nivel 4B) .

La Escuela de Medicina de la Pontificia Universidad Católica de Chile (EMUC) inició en el año 2000 un Diplomado en Educación Médica (DEM), dirigido a docentes de pregrado y postgrado de medicina, con el fin de que estos profesores pudieran impartir una educación de la más alta calidad a sus estudiantes y residentes.

El DEM es un programa de 180 horas, modalidad presencial, diseñado de acuerdo a las necesidades de capacitación de los docentes de pregrado y postgrado de la EMUC. Está compuesto por cuatro áreas de cursos: Planificación de la educación, Metodología docente, Evaluación de los aprendizajes y Habilidades complementarias profesionales. Al finalizarlo, los participantes deben ser capaces de planificar cursos y programas, implementar metodologías de aprendizaje efectivo, elaborar sistemas e instrumentos de evaluación del aprendizaje, incorporar los fundamentos de la ética clínica a la práctica médica, incorporar la Medicina basada en evidencia a su desempeño profesional y desarrollar habilidades comunicacionales en la relación médico-paciente y en la relación docente-estudiante.

La metodología considera clases lectivas, trabajo en pequeño grupo con discusión, reflexión y retroalimentación, simulación, debate, análisis de videos instructivos y personales de los asistentes, lecturas obligatorias y optativas, experiencias prácticas supervisadas con estudiantes y pacientes (reales y simulados), producción de material educacional y modelado de los profesionales del equipo docente. La evaluación del aprendizaje en los cursos incluye autoevaluación, evaluación por pares, evaluación de filmaciones, desarrollo de intervenciones educacionales, reportes de tareas e informes y presentaciones individuales y en grupo.

Para graduarse del programa se requiere aprobar los cursos que lo componen, que pueden ser realizados de acuerdo al interés y disponibilidad de tiempo de los participantes. Se imparte en las dependencias de la EMUC, es de asistencia voluntaria, se realiza dentro del horario laboral y es gratuito.

Durante su desarrollo se fue analizando y mejorando el programa a través de la información entregada por evaluaciones periódicas de la docencia de cada curso y entrevistas semi estructuradas y encuestas a los egresados del 2005 y 2006. Dado que lo anterior no evaluaba el impacto, se decidió el 2007 utilizar el modelo de Kirkpatrick para medir su efecto en los docentes, la docencia y en la EMUC.

El objetivo de este trabajo fue determinar el impacto del DEM utilizando el modelo de evaluación de programas educacionales de Kirkpatrick.

Material y Método

Se diseñó un estudio descriptivo, retrospectivo y transversal.

Sujetos

La muestra estuvo conformada por los 91 egresados de las cinco primeras generaciones del DEM, desde junio de 2004 a junio de 2008, de los cuales 52 (57,1%) eran hombres, 89 (97,8%) médicos, 83 (91,2%) pertenecían a la EMUC y 8 (8,8%) a otras Escuelas de Medicina. Según el año de egreso, 14 (15,4%) se graduaron en 2004, 18 (19,8%) en 2005, 14 (15,5%) en 2006, 15 (16,5%) en 2007 y 30 (32,9%) en 2008.

Diseño de la encuesta

La encuesta fue elaborada con preguntas cerradas, representativas de los niveles de Kirk-patrick. En el Nivel 1 se exploró la satisfacción de los asistentes con el programa a través de once indicadores. En el Nivel 2A, representado por cinco indicadores, se indagó por modificación de actitudes y percepciones. Para el Nivel 2B, la percepción global de aprendizaje se exploró con dos indicadores y se diseñó un cuestionario pre-post retrospectivo sobre la percepción de conocimientos y competencias en docencia al inicio y después de finalizar el programa¹². En el Nivel 3, la transferencia de lo aprendido a la práctica se precisó con diez indicadores y en el Nivel 4A los cambios organizacionales con cinco indicadores. El Nivel 4B, sobre cambios en el aprendizaje de los estudiantes o residentes, no fue evaluado. La mayoría de los indicadores de los niveles 1, 2A, 3 y 4A estaban expresados como afirmaciones para los cuales se debía responder si estaba Completamente de acuerdo, Moderadamente de acuerdo, en Desacuerdo o No aplicable. En el nivel 2B se utilizó una escala de Likert (1 = ninguno, 2 = escaso, 3 = intermedio, 4 = avanzado, 5 = experto) para describir el nivel de conocimientos y competencia en que el encuestado se percibía a sí mismo.

La encuesta fue anónima, por lo que no incluía preguntas que pudieran identificar a la persona que respondía (nombre, sexo, profesión, especialidad y categoría académica). La confidencialidad se cauteló con un registro independiente con los nombres de los graduados que respondieron la encuesta.

Recolección de la información y análisis estadístico

La encuesta fue enviada a todos los egresados del programa, repetidamente, por correo electrónico y cartas entre enero y julio de 2009. Los datos demográficos se obtuvieron del registro de los egresados al momento de terminar el programa en el Centro de Educación Médica.

Los resultados fueron analizados mediante el Statistical Package for Social Sciences (SPSS versión 11.0). Para el análisis de las diferencias en los indicadores del cuestionario pre-post retrospectivo se utilizó el test de Wilcoxon y se consideró estadísticamente significativo un valor de p < 0,001.

Resultados

Respondieron la encuesta 82 (90%) de los 91 egresados. Las características del grupo que respondió la encuesta se muestran en la Tabla.1. Segraduaron en promedio en 3,6 años (DE 1,7) con un rango de 1 a 7 años.

La evidencia del impacto del DEM se presenta con los indicadores agrupados según los niveles de evaluación de resultados educacionales de Kirkpatrick.

Nivel 1: Reacción

En relación a la satisfacción con el programa y su organización, la mayoría respondió estar de acuerdo con las afirmaciones de la encuesta (Tabla.2). El porcentaje promedio de percepción de cumplimiento de los objetivos del diploma fue 81,8%.

Nivel 2: Aprendizaje

La mayoría de los encuestados refirió percibir cambios de actitud favorables en su rol docente (Tabla.3). La percepción de aprendizaje reportado fue en promedio 8 en una escala de 1 (nulo) a 10 (máximo). El 63% (51/81) de los encuestados refirió haber aprendido lo esperado y 30,9% (25/81) más de lo esperado.

Tabla 1. Características demográficas de los egresados del Diplomado en Educación Médica que respondieron la encuesta. N = 82

Tabla 2. Respuestas de los encuestados del Diplomado en Educación Médica correspondientes al Nivel 1 de Kirkpatrick

Tabla 3. Respuestas de los encuestados del Diplomado en Educación Médica para el Nivel 2A de Kirkpatrick

Los resultados del cuestionario pre-post retrospectivo para conocimientos y competencias docentes muestran un efecto favorable del DEM sobre su aprendizaje (Tablas.4 y 5). Todos los indicadores sobre conocimientos y competencias docentes del post-test retrospectivo fueron superiores a los del pre-test retrospectivo y sus diferencias fueron estadísticamente significativas (Test de Wilcoxon p < 0,05).

La proporción de encuestados que en relación a conocimientos se autocalificaron en las categorías avanzado y experto fue de 64,2% (52/81) en Planificación de la docencia, 50,6% (40/79) en Diseño de cursos/programas, 57,1% (44/77) en Evaluación de cursos/programas, 76,54% (62/81) en Metodologías docentes participativas, 79% (64/81) en Evaluación del aprendizaje de los estudiantes, 56,2% (45/80) en Ética clínica, 51,8% (42/81) en Medicina basada en evidencia y 76,5% (62/81) en Habilidades comunicacionales.

La proporción de los encuestados que en relación a competencias se autocalificaron en las categorías avanzado y experto fue de 62,5% (50/80) en Planificación de la docencia, 54,6% (42/77) en Diseño de cursos/programas, 52% (40/77) en Evaluación de cursos/programas, 73,8% (59/80) en Metodologías docentes participativas, 72,5% (58/80) en Evaluación del aprendizaje de los estudiantes, 57% (45/79) en Ética clínica, 47,5% (38/80) en Medicina basada en evidencia y 79,8% (63/79) en Habilidades comunicacionales.

Nivel 3: Conducta

En relación a la transferencia de lo aprendido a la práctica docente, la mayoría de los encuestados respondió estar de acuerdo o muy de acuerdo en casi todas las conductas enunciadas a partir de los objetivos del DEM (Tabla.6). El indicador "incorporar la ética clínica a la práctica médica" registró el menor porcentaje. Sólo uno de los encuestados expresó que el DEM no le permitió mejorar globalmente su desempeño docente.

Tabla 4. Resultados del cuestionario pre-post retrospectivo sobre conocimientos en docencia en el Nivel 2B de Kirkpatrick

Tabla 5. Resultados del cuestionario pre-post retrospectivo sobre competencias en docencia en el Nivel 2B de Kirkpatrick

Nivel 4: Resultados

Con respecto al efecto del programa a nivel institucional, las respuestas de los encuestados se presentan en la Tabla.7. Destacan "ser seleccionados para realizar más tareas docentes", "incrementar el interés por la docencia" y "estimular la formación en docencia", que alcanzaron los porcentajes más elevados. Además, 76 (95%) docentes refirieron que el DEM produjo un impacto positivo en su vida profesional y 84 (82,1%) en su vida personal.

Discusión

Este estudio provee evidencia del positivo impacto del programa de capacitación en docencia de la EMUC utilizando el modelo de evaluación de programas educacionales de Kirkpatrick. Los resultados obtenidos en todos los niveles fueron muy favorables. La alta proporción de encuestas respondidas nos ha permitido conocer la percepción de la mayoría de los egresados del programa.

Similar a lo mostrado en otros estudios, los encuestados manifestaron una elevada satisfacción con la capacitación, destacando que la mayoría de ellos lo recomendaría a otros docentes^9,13. Sin embargo, son los indicadores en los niveles superiores los que muestran el efecto del programa sobre las personas y la institución. En el Nivel 2 los encuestados expresaron un cambio de actitudes favorable hacia la docencia y un aprendizaje efectivo de conocimientos y destrezas docentes, concordante con lo informado en las evaluaciones de otros programas de capacitación^10,14,15.

Tabla 6. Respuestas de los encuestados del Diplomado en Educación Médica correspondientes al Nivel 3 Conducta de Kirkpatrick

Tabla 7. Respuestas de los encuestados del Diplomado en Educación Médica correspondientes al nivel 4 Resultados de Kirkpatrick

Estas intervenciones, además de ser muy valoradas por los participantes, también logran mejorar las prácticas docentes según la mayoría de los estudios^7,9,16-18. De la misma manera, los encues-tados en este estudio manifestaron haber integrado a su quehacer docente lo enseñado en el programa, específicamente en las áreas de planificación educacional, metodología, evaluación de aprendizajes y programas. Sin embargo, la incorporación de la ética clínica a la práctica médica como efecto del programa fue calificada como importante en una menor proporción. Una explicación posible a este hallazgo es que corresponde a una dimensión no educacional propiamente tal y que es facilitada generalmente por otros programas específicos.

Sólo un reducido número de estudios ha explorado el Nivel 4 de Kirkpatrick, demostrando efectos favorables sobre las organizaciones, similares a los de este estudio^8,19. Los cambios más destacados percibidos a nivel institucional fueron el mayor interés por la docencia y el haber sido seleccionado para realizar labores docentes. No obstante, la valoración institucional de la actividad docente y el reconocimiento de la formación en docencia para la calificación académica fueron efectos menos percibidos. Sánchez ha reconocido estos dos aspectos como desafíos que enfrentan actualmente las escuelas de medicina y en consecuencia requerirían un tiempo mayor para establecerse²⁰.

Los efectos referidos por los encuestados como cambios positivos en el desarrollo profesional y personal más allá de los objetivos del programa, también han sido reportados en la literatura y reconocidos como factores relevantes para promover un buen ambiente educacional, mejorar el clima laboral y favorecer mayor cohesión en la comunidad docente académica^21,22.

¿Cuáles son los aspectos claves que explican estos resultados?

Gruppen y Steinert identifican elementos comunes en los programas considerados exitosos^23,24. Los más destacados son los propósitos y objetivos que responden a las necesidades institucionales, formato longitudinal, diseño integral, conducción por profesores expertos en docencia, metodologías centradas en el que aprende y una evaluación periódica del programa^5,19. Para lograr un impacto positivo significativo en todos los niveles del quehacer docente y del ambiente educacional, se ha propuesto que además de un programa adaptado al tipo de currículo se requiere definir el perfil del docente y una organización que apoye la docencia²⁵. Todos estos elementos están presentes en el desarrollo del programa del DEM que utiliza un modelo basado en los principios de aprendizaje de adultos, la reflexión de y sobre lo aprendido y la adquisición de competencias con retroalimentación del desempeño. Más aún, reconociendo que los profesores tienen un rol modelo, se le ha dado especial relevancia a modelar las habilidades docentes para que sea transferido posteriormente a la relación docente -estudiante y utilizar el programa docente como modelo de la docencia²⁶.

Como una de las limitaciones metodológicas del estudio se identifica la pérdida en la recuperación de 10% de las encuestas, lo que podría haber producido una sobreestimación de los buenos resultados. También la aplicación de la encuesta entre 6 meses y 4 años para las distintas cohortes después de haber egresado podría modificar la percepción de los encuestados y presentar un sesgo de memoria selectivo sobre el recuerdo hacia lo positivo. La recomendación para futuros estudios sobre este tema sería aplicar la encuesta de evaluación de impacto entre 6 y 12 meses después de finalizar el programa. Otro factor a considerar es que se analizaron los resultados en forma agrupada y no por año de egreso del DEM, debido al tamaño de las cohortes.

Respecto a la evaluación del impacto, una limitación de este estudio fue la incapacidad de medir efectos del DEM sobre el Nivel 4B de Kirkpatrick. Lograr determinar si los estudiantes aprenden más y mejor como consecuencia de la capacitación de sus docentes es un desafío y requiere estudios que consideren la medición del desempeño de los docentes y de los estudiantes.

Un área no explorada, que consideramos relevante para el desarrollo exitoso de este tipo de capacitación en docencia, es la investigación sobre los factores que mantendrían la vitalidad del programa y sus profesores. La presencia de un equipo de educadores altamente motivados por la educación médica y un reconocimiento explícito de su labor favorecerían un desarrollo armónico y sustentable del programa.

La importancia de este estudio es mostrar los positivos resultados de la evaluación del programa de capacitación en docencia de la EMUC utilizando el modelo de Kirkpatrick. Esta experiencia puede servir de estímulo a iniciativas similares, facilitar la formación de redes de colaboración entre centros formadores de profesionales de la salud y constituir una comunidad de práctica (community of practice) en educación médica^24,27.

Agradecimientos: A los Dres. José Chianale, Rodrigo Moreno y Vicente Valdivieso, por ser los promotores de la iniciativa que llevó a la creación del Diplomado en Educación Médica en la EMUC, y especialmente al Dr. Valdivieso por haber liderado su desarrollo. Sin la colaboración desinteresada de los 30 académicos que se han constituido como "profesores de profesores" a lo largo deestos años impartiendo cursos, este programa no habría sido posible; para ellos, nuestros sinceros agradecimientos.

Referencias

1. Houston TK, Clark JM, Levine RB, Ferenchick GS, Bowen JL, Branch WT et al. Outcomes of a national faculty development program in teaching skills: prospective follow-up of 110 medicine faculty development teams. J Gen Intern Med 2004; 19: 1220-7.

2. McLean M, Cilliers F, Van-Wyk JM. Faculty development: yesterday, today and tomorrow. Med Teach 2008; 30: 555-84.

3. Searle NS, Hatem CJ, Perkowski L, Wilkerson L. Why invest in an educational fellowship program?. Acad Med 2006; 81: 936-40.

4. Wilkerson L, Irby DM. Strategies for improving teaching practices: a comprehensive approach to faculty development. Acad Med 1998; 73: 387-96.

5. Rosenbaum ME, Lenoch S, Ferguson KJ. Increasing departmental and college-wide faculty development opportunities through a teaching scholars program. Acad Med 2006; 81: 965-8.

6. Searle NS, Thompson BM, Perkowski LC. Making it work: the evolution of a medical educational fellowship program. Acad Med 2006; 81: 984-9.

7. Berbano EP, Browning R, Pangaro L, Jackson JL. The impact of the Stanford faculty program on ambulatory teaching behaviour. J Gen Intern Med 2006; 21: 430-4.

8. Cilliers FJ, Herman N. Impact of an educational development programme on teaching practice of academics at a research-intensive university. Int J Acad Dev 2010; 15: 253-67.

9. Morzinski JA, Simpson DE. Outcomes of a comprehensive faculty development program for local, full-time faculty. Fam Med 2003; 35: 434-9.

10. Armstrong EG, Barsion SJ. Using an outcomes-logic-model approach to evaluate a faculty development program for medical educators. Acad Med 2006; 81: 483-8.

11. Steinert Y, Mann K, Centeno A, Dolmans D, Spencer J, Gelula M. A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8. Med Teach 2006; 28: 497-526.

12. McLeod PJ, Steinert Y, Snell L. Use of retrospective pre/ post assessments in faculty development. Med Educ 2008; 42: 543-0.

13. Hewson MG. A theory-based faculty development program for clinician-educators. Acad Med 2000; 75: 498-501.

14. Muller JH, Irby DM. Developing educational leaders: the teaching scholars program at the University of California, San Francisco, School of Medicine. Acad Med 2006; 81: 959-64.

15. Robins L, Ambrozy D, Pinsky LE. Promoting academic excellence through leadership development at the University of Washington: the Teaching Scholars Program. Acad Med 2006; 81: 979-83.

16. Cole KA, Barker LR, Kolodner K, Williamson P, Wright SM, Kern DE. Faculty development in teaching skills: an intensive longitudinal model. Acad Med 2004; 79: 469-80.

17. Frohna AZ, Hamstra SJ, Mullan PB, Gruppen LD. Teaching medical education principles and methods to faculty using an active learning approach: the University of Michigan Medical Education Scholars Program. Acad Med 2006; 81: 975-8.

18. Hewson MG, Copeland HL, Fishleder AJ. What's the use of faculty development?: Program evaluation using retrospective self-assessments and independent performance ratings. Teach Learn Med 2001; 13: 153-60.

19. Gruppen LD, Frohna AZ, Anderson RM, Lowe KD. Faculty development for educational leadership and scholarship. Acad Med 2003; 78: 137-41.

20. Sánchez I. La carrera académica del profesor clínico de medicina. Rev Med Chile 2009; 137: 1113-6.

21. Knight AM, Carrese JA, Wright SM. Qualitative assessment of the longterm impact of a faculty development programme in teaching skills. Med Educ 2007; 41: 592-600.

22. Lown BA, Newman LR, Hatem CJ. The personal and professional impact of a fellowship in medical education. Acad Med 2009; 84: 1089-97.

23. Gruppen LD, Simpson D, Searle NS, Robins L, Irby DM, Mullan PB. Educational fellowship programs: common themes and overarching issues. Acad Med 2006; 81: 990-4.

24. Steiner Y, Macdonald ME, Boillat M, Elizov M, Meterissian S, Razack S. Faculty development: if you build it, they will come. Med Educ 2010; 44: 900-7.

25. Triviño X, Sirhan M, Moore P, Reyes C. Formación en educación de los docentes clínicos de medicina. Rev Med Chile 2009; 137: 1521-7.

26. Cruess SR, Cruess RL, Steinert Y. Role modelling-making the most of a powerful teaching strategy. BMJ 2008; 336 (7646): 718-21.

27. Steinert Y, McLeod PJ. From novice to informed educator: the teaching scholars program for educators in the health sciences. Acad Med 2006; 81: 969-74.

---

Recibido el 4 de abril de 2011, aceptado el 14 de julio de 2011.

Correspondencia: Dra. Ximena Triviño Bonifay, M.H.P.E. Centro de Educación Médica, Escuela de Medicina, Pontificia Universidad Católica de Chile. Lira 44, Santiago Centro, Santiago, Chile. Tel.: (56-2) 3546972 -Fax: (56-2) 6322802 Dirección electrónica: xtrivino@med.puc.cl

Conflicto de intereses

Luz Montero
Philippa Moore
Ximena Triviño