SciELO - Scientific Electronic Library Online

 
vol.145 número9Medidas de salud mental y bienestar subjetivo en una muestra de hombres gays y mujeres lesbianas en ChilePresencia de Escherichia coli intracelular en mucosa intestinal de pacientes con Enfermedad Inflamatoria Intestinal y su asociación con características clínicas y el uso de corticosteroides índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


Revista médica de Chile

versão impressa ISSN 0034-9887

Rev. méd. Chile vol.145 no.9 Santiago set. 2017

http://dx.doi.org/10.4067/s0034-98872017000901122 

Artículo de Investigación

Índice C en médicos de dos centros hospitalarios chilenos según el test de competencia moral de Lind

Assessment of moral competence of physicians

Mariela Agurto1 

Daniel Telloa 

Alfredo Elgueta1 

Ricardo Larrea1 

Tamara Minaeff1 

Alejandro Miranda1 

Ezio Parodi1 

Juan M. Salas1 

Antonio Vukusich1 

Semiramis Llanos1 

Pamela Daza2 

Sebastián López3 

1Comité Deontológico, Clínica Dávila. Santiago, Chile.

2Anestesiólogo, Hospital Regional Iquique, Chile.

3Servicio de Urgencia Adulto, Clínica Dávila, Santiago de Chile.

aDoctor en Ciencias de la Educación, Departamento de Metodología de Investigación e Informática Educacional, Facultad de Educación, Universidad de Concepción. Concepción, Chile.

ABSTRACT

Background:

Moral competence (MC) in physicians is fundamental, given the increasing complexity of medicine. The “Moral Competence Test” (MCT © Lind) evaluates this feature and its indicator is the C Index (CI).

Aim:

To explore moral competence and its associated factors among physicians working in Chile.

Material and Methods:

The MCT was answered by 236 physicians from two medical centers who voluntarily participated in the study. Besides the test, participants completed an encrypted form giving information about gender, years in practice and post-graduate studies.

Results:

The average CI value of the participants was 20,9. Post-graduate studies had a significant positive influence on CI. There was a significant decrease in CI, between 16 and 20 years of professional exercise. Gender and the area of post-graduate studies did not have a significant influence.

Conclusions:

The studied physicians showed a wide range of CI which was positively affected by the postgraduate studies performed. The years of professional practice had a negative influence. Expanding training opportunities during professional practice could have a positive effect on CM as measured by CI.

Key words: Ethics; Clinical; Moral Development; Retrospective Moral Judgment

Actuar es fácil, pensar es difícil. Actuar según se piensa, es aún más difícil.

Goethe

La formación de pregrado de medicina busca capacitar a los estudiantes para enfrentar los complejos escenarios de la medicina actual1. Tradicionalmente, muchas instituciones han seguido la línea de la educación del carácter para fortalecer los hábitos guiados por principios reconocidos socialmente2. Otra perspectiva se inspira en la psicología cognitiva de Piaget enfocada en el desarrollo de habilidades de razonamiento moral. Una de las teorías que ha servido de base para intentar medir las competencias morales y promover su desarrollo es la de L. Kohlberg. Toma como referencia el concepto de competencia moral (CM) de Piaget3 y propone un modelo evolutivo de esta competencia considerando que los individuos pueden seguir desarrollándola durante su vida para avanzar hacia la autonomía del juicio guiado por principios universales4. En este sentido, es posible reconocer un proceso de desarrollo de la CM que Kohlberg define como “la capacidad de tomar decisiones y hacer juicios que sean morales (o sea basados en principios internos) y de actuar de acuerdo a estos juicios”5.

El modelo de Kohlberg comprende tres niveles de desarrollo moral, cada uno con dos estadios4, y aunque ha recibido críticas6-10, constituye un marco de referencia paradigmático. El primer nivel, pre-convencional, considera las etapas de heteronomía e individualismo, en que difícilmente se reconocen acuerdos sociales. El nivel siguiente, convencional, considera las etapas de expectativas interpersonales y grupales, en la que las personas valoran su interacción grupal. Finalmente, el nivel post-convencional, se asocia a juicios basados en principios universales4. Kohlberg propuso un aumento del desarrollo moral al avanzar en los niveles educativos, lo cual la investigación reciente ha confirmado, siendo posible también su declinación5,11,12.

La medición de la CM ha sido relevante en la discusión académica. Entre los instrumentos desarrollados para medirla está el Test de Competencia Moral (TCM), desarrollado por George Lind, que entrega un indicador: el Índice C (IC), que representa el grado de desarrollo de CM de los individuos al poner en práctica sus principios en las situaciones planteadas por el instrumento. El TCM plantea a los participantes la tarea de enjuiciar 24 argumentos morales frente a dos dilemas ante los cuales debe tomar una decisión. Un bajo IC muestra que los individuos sólo otorgan valor a personas que tienen su misma opinión mientras que un mayor IC orienta a que se valora la diversidad de juicios posibles y por lo tanto la capacidad de entablar una comunicación colaborativa11,15.

En escenarios de alta complejidad, como la práctica médica, enfrentamos dilemas que pueden tensionar las prácticas habituales siendo necesario buscar soluciones que requerirán de la CM que mide el TCM16,17. El TCM puede ser aplicado a una amplia variedad de profesiones, ya que no considera el quehacer profesional específico del adulto que lo responde. Se ha aplicado en distintos contextos profesionales y académicos15. Se considera un IC muy bajo valores entre 0 y 9; bajo, entre 10 y 19; medio, entre 20 y 29; alto, entre 30 y 39; muy alto, de 40 y 49 y, extraordinariamente alto, sobre 5018. En estudiantes de negocios en Estados Unidos se ha reportado un IC de 1819. Contadores en el ejercicio de su profesión han obtenido entre 17 y 19 al egresar con un descenso a un valor de 15 entre 5 y 15 años de ejercicio profesional20. Actualmente, se considera que un adulto, al finalizar la etapa escolar, tiene un IC de alrededor de 2012,22,25. El TCM ha permitido, además, mostrar la influencia del contexto educativo y profesional en el desarrollo de la CM12,21. Lind ha desarrollado un método capaz de incrementar la CM. Para este fin colaboran instancias de “Role Talking” y la discusión de dilemas ficticios siguiendo reglas de comunicación aplicables, en principio, a cualquier situación práctica31. Mediante los talleres de discusión de dilemas conocidos como método Konstanz de discusión de dilemas (MKDD®), distintos investigadores han utilizado estos talleres y han logrado elevar la CM del grupo intervenido11.

El objetivo de este estudio es explorar y comparar el grado de CM de médicos en Chile; identificar los factores que puedan explicar diferencias y comparar nuestros resultados con los publicados en la literatura que señalan un IC de alrededor de 20 para los adultos12,24,27.

Método

El diseño es un estudio no experimental, transversal comparativo. Para medir el nivel de CM se utilizó el IC que es el indicador que se obtiene al responder TCM. En el TCM se presentan: dos situaciones dilemáticas ante la cual el protagonista toma una decisión. La primera es un caso de sospecha de despidos injustificados en la que el protagonista enfrenta el dilema de irrumpir, o no, en una oficina para recabar información. La segunda presenta el dilema de prestar asistencia, o no, para morir a un enfermo terminal. Los participantes son consultados por su acuerdo o desacuerdo con la decisión tomada por el protagonista. Posteriormente se presentan seis argumentos para cada historia que apoyan la decisión del protagonista y otros seis que se oponen. Ante cada argumento, se le solicita al participante responder su nivel de acuerdo o desacuerdo en una escala Likert de -4 a +4 incluido el 017. El MCT fue aplicado durante octubre y noviembre de 2013 en dos hospitales, donde se contaba con un universo total 580 médicos. La población de estudio es la totalidad de médicos de ambos hospitales. El proceso de muestreo es no probabilístico, de auto selección21. La muestra resultante es de 41% del total de la población.

Los médicos fueron invitados a participar al finalizar las reuniones clínicas obligatorias de los Servicios de anestesiología, cirugía adultos, traumatología, urgencia, intensivo adultos, neurología, psiquiatría, hematología, oncología, cardiología, gastroenterología, nefrología, ginecología y obstetricia, pediatría, intensivo pediátrico, neonatología, cirugía infantil y radiología. La asistencia promedio a las reuniones fue de 441 médicos (76%). Aceptaron participar 236 médicos (41% del universo y 53% de los asistentes). Con ellos se realizó un proceso de consentimiento informado. El test fue respondido anónimamente. Los participantes completaron una hoja de encriptamiento para conocer género, estudios de postgrado y años de ejercicio profesional. Los resultados se analizaron de modo descriptivo y comparativo utilizando ANOVA20,32.

Resultado

Participaron 236 médicos. Entre quienes declararon género, 52 eran hombres y 149 mujeres. El IC promedio fue 20,98 sin diferencias significativas entre los dos centros hospitalarios (Tabla 1). Al comparar hombres y mujeres, estas obtienen un IC levemente superior (IC de 20,51 vs 23,1 respectivamente) (p = 0,2618) (Figura 1). Entre quienes han realizado estudios de postgrado, y quienes no, la diferencia es significativa (p = 0,02) (Tabla 2), pero entre los distintos tipos de estudio de postgrado no hay diferencias significativas (p = 0,1) (Tabla 1).

Tabla 1 Indice C según grupos 

Variable Valor n Media Índice C SD p
Género Mujer 149 23,10 14,26 0,3
Hombre 52 20,51 13,56
n.d. 35
Años de ejercicio profesional 1-5 32 25,80 15,87 0,04* (+)
6-10 33 22,73 14,86
11-15 37 21,86 13,21
16-20 25 14,37 11,57
21-25 39 18,58 14,17
26-30 25 18,65 13,17
31-35 21 26,04 13,56
36-40 15 15,23 11,74
41-45 3 27,86 17,30
46-50 0 n.d.
51-55 1 10,58 n.d.
Estudios de postgrado Especialidad Médica 98 22,46 15,82 0,17
Humanista 4 26,57 19,39
Científica 90 20,30 11,96
Humanista y Científica 21 22,74 13,98
Sin postgrado 23 14,67 13,70
Total 236 20,98 14,25

n.d.: no disponible.

*p < 0,05.

(+)Realizando un Tukey HSD, la diferencia es significativa al comprar entre el rango 1-5 años con 16-20 años de ejercicio de la profesión.

Tabla 2 Índice C según estudios de postgrado 

Variable Valor n Media Índice C SD p
Postgrado Con postgrado 213 21,66 14,17 0,028*
Sin postgrado 23 14,67 13,70

*p < 0,05

Figura 1 Índice C según género. 

Al separar la muestra en grupos cada 5 años de ejercicio profesional observamos una disminución progresiva del IC llegando a una diferencia de 11,43 puntos entre el primer y cuarto grupo (IC de 25,8 y 14,37 respectivamente) (p = 0,04) (Figura 2). Posteriormente se aprecia un aumento del valor del IC a 27,86 hacia los 40 años de ejercicio sin mostrar una diferencia significativa. Por sobre este número, la escasa cantidad de participantes no permite establecer una comparación (Tabla 1).

Figura 2 Índice C según estudio de postgrado. *Humanista: diplomado en estética, filosofía, historia, educación, magíster en bioética y filosofía. **Científico: epidemiología, bioestadística, administración hospitalaria y gestión en salud. 

Discusión

Este estudio fue planteado desde la teoría del desarrollo moral3,5,18,31 y utilizó el modelo dual de CM que establece la indivisibilidad de sus aspectos afectivos y cognitivos y su posibilidad de desarrollo10,11,18,31. Para explorar la CM utilizamos el TCM que evalúa con el IC el grado en que las personas están capacitadas para poner en práctica en situaciones concretas los principios morales a los que adhieren31.

Hallazgos principales

El IC promedio fue 21,0 lo que muestra un desarrollo medio de CM. No se encuentran diferencias significativas por género (p = 0,3). Se observa una disminución del IC con los años de experiencia, desde un promedio de 25,8 los primeros 5 años de ejercicio profesional, hasta un promedio de 14,4 en el grupo de 16 a 20 años de experiencia, esta diferencia es significativa (p = 0,04). Se identifica una diferencia significativa (p = 0,028) entre quienes han realizado estudios de postgrado (promedio IC 21,7) y quienes no (promedio IC 14,7). No se encuentran sin embargo diferencias significativas al comparar entre áreas de estudios de postgrado (p = 0,17).

Comparación con otros estudios

El procedimiento utilizado para seleccionar la muestra y registrar los datos es similar al utilizado en investigaciones que se realizan a partir de una invitación por correo electrónico a una población objetivo, quienes aceptan o rechazan su participación voluntaria. En Smits et. al, 201722, por ejemplo, la tasa de respuesta de un cuestionario relativo a actitudes en el contexto de salud fue de 43,2%, sin embargo, sólo 39,7% del total completó el cuestionario de manera satisfactoria. En consecuencia, la tasa de 41% de la presente investigación se encuentra en el rango esperado de participación para este tipo de estudios. El IC de 20,98 coincide con lo encontrado en la literatura en estudiantes de medicina12,16,26. Para el modelo de CM utilizado las investigaciones señalan que las diferencias se deben en parte a condiciones culturales, pero sobre todo, a diferencias en los procesos de formación. En relación a la disminución del IC, una investigación de Schillinger, al comparar los resultados de universidades de habla alemana con las brasileras muestra que si bien en el primer año de estudio de medicina se reportan niveles similares de IC (29,5 y 27,8 respectivamente), en el último año la diferencia es muy significativa (IC de 24,7 versus 15,7 respectivamente) lo que argumenta en favor de diferencias de formación12. Otros estudios han confirmado el decrecimiento de CM durante los estudios médicos en universidades de Alemania, Austria, Brasil, Portugal, República Checa y Finlandia24-28. Para intentar explicar este fenómeno una investigación longitudinal realizada por Helkama en Finlandia encuentra un prevalencia y estancamiento en el nivel convencional de los estadios de Kohlberg, cuando los estudiantes de medicina se acercan al final de su carrera27,28. En las instituciones jerárquicas quienes ocupan posiciones inferiores se abstienen de realizar juicios sobre las decisiones de sus superiores. En este contexto la capacidad de resolver problemas, a la que alude la CM, se vería en desventaja frente a la función moral de conformidad que, de acuerdo al modelo valórico de Schwartz se correlacionaría con los niveles más bajos de IC9,27,30. Otros estudios confirman la importancia del contexto en el nivel de CM alcanzado por los individuos23. Según estas investigaciones, un contexto favorable para la toma de roles y responsabilidades colabora con el desarrollo moral; inversamente, un contexto más jerárquico y estructurado lo obstaculiza. La invariabilidad del IC por género coincide con investigaciones previas12,24. Lo mismo se ha reportado en estudios con alumnos de medicina: IC de 24 en mujeres y de 23 en hombres, sin constituir diferencias significativas12.

El hallazgo de un IC significativamente mayor en quienes han realizado estudios de postgrado, sin diferencias significativas según el tipo de estudio, coincide con investigaciones previas. El modelo dual de CM señala la influencia de la educación formal en su desarrollo11,31. Al analizar distintas carreras profesionales, el tipo de educación recibida también representa un factor significativo en la CM12,13. No se cuenta, sin embargo, con investigaciones que exploren la influencia del área de los estudios de postgrado (ej., científico, humanista, etc.) en el desarrollo de la CM.

Fortalezas y limitaciones de la investigación

Al interpretar las implicancias de los resultados el estudio presenta fortalezas y debilidades. Entre las fortalezas se encuentra la alta participación de médicos en ejercicio (n = 236). La medición realizada con un instrumento utilizado en otras investigaciones con profesionales médicos, también representa una fortaleza en cuanto permite comparar sus resultados con estudios previos12,24,26,27. Como limitación se indica la condición de un estudio transversal para evaluar factores de tiempo, como la experiencia en la práctica profesional en el desarrollo de la CM. Al mismo tiempo, la muestra de participantes, si bien alta, no es representativa de la población nacional de médicos. Futuros estudios deberían considerar un diseño longitudinal y la toma de una muestra representativa de diversos centros hospitalarios. También se considera una limitación el bajo número de factores considerados. Son necesarias nuevas investigaciones para evaluar elementos relativos a las condiciones favorables para el desarrollo de la CM con un análisis de sesgo para un mayor número de variables.

Implicancias de los resultados

El estudio permite ilustrar el nivel de CM entre médicos en ejercicio y la influencia de las condiciones académicas y los años de profesión en el desarrollo, estancamiento y retroceso de esta competencia. El valor promedio alcanzado por los profesionales representa un nivel medio de la CM. La formación de postgrado aparece como una condición relevante a la vez que podría ser un factor protector de la disminución de la CM con el tiempo. La literatura indica la relevancia del tipo de educación en el desarrollo de la CM. La participación en instancias educativas que permitan asumir distintos roles se establece como un factor de promoción de la CM12,23. Si bien se ha comprobado el efecto de este tipo de oportunidades a nivel educativo de pre grado, es necesario ampliar estas investigaciones a nivel profesional. Se hace necesario identificar las causas de la disminución de la CM con los años de ejercicio profesional agregando nuevas variables a la investigación. La teoría sugiere una relación de la CM con la posibilidad de asumir más responsabilidades dentro del lugar de trabajo12.

Los resultados sugieren finalmente la necesidad de realizar intervenciones que promuevan la CM más allá de su nivel medio y que a su vez prevengan su disminución para médicos en ejercicio. En este sentido se cuenta con amplia evidencia de la efectividad de incluir intervenciones prácticas. Un tipo de intervención se basa en talleres de discusión y reflexión de dilemas ficticios entre los participantes. Así se organiza por ejemplo el método de Konstanz (KMDD®) desarrollado por Lind11, el que ha mostrado aumentos significativos en el IC en diversos grupos profesionales33.

Conclusiones

El IC de los médicos de dos centros hospitalarios, según el test de CM de Lind, se encuentra en un valor medio, con un amplio rango, que parece afectarse positivamente por los estudios de postgrado y negativamente por los años de ejercicio profesional. Ampliar las oportunidades de intercambio y de formación durante el ejercicio profesional podría tener un efecto positivo en la CM medida por el IC.

Financiamiento: Departamento de Docencia y Desarrollo, Clínica Dávila.

Referencias

1. Bedregal P, León T, Shand B, Mosso L. Criterios de juicio moral de estudiantes de Medicina, según el Modelo Intuitivo Social. Rev Med Chile 2013; 141 (6): 704-9. [ Links ]

2. Arthur James Traditional approaches to Character Education in Britain and America. In Nucci, L. P. and Narvaez, D. (Editors). Handbook of Moral and Character Education. New York and London, Estados Unidos: Routledge. 2008. [ Links ]

3. Piaget J. El criterio moral del niño. Barcelona: Martínez Roca. 1987. [ Links ]

4. Kohlberg L, Power FC, Higgins A. La educación moral según Lawrence Kohlberg. Barcelona: Gedisa. 2002. [ Links ]

5. Kohlberg L. Development of moral character and moral ideology. In M. L. Hoffman & L. W. Hoffman (Editors), Review of Child development research, Vol. I. New York: Russel Sage Foundation 1964; pp. 381-431. p. 425. [ Links ]

6. Guilligan C. In a different voice. Cambridge, Estados Unidos: Editorial Harvard University Press. 1982. [ Links ]

7. Shweder RA, Mahapara M, Miller JG. Culture and Moral Development. In Kagan, J. And Lamb, S. The emergence of morality in young children. Chicago, Estados Unidos: University of Chicago Press. 1987. [ Links ]

8. Jorgensen G. Kohlberg, Gilligan. Duet or duel? Journal of Moral Education 2006; 35 (2): 179-96. [ Links ]

9. Nucci L, Turiel E. Capturing the complexity of Moral Development and Education. Mind, Brain and Education 2009; 3 (3): 151-9. [ Links ]

10. Lind G. La moral puede enseñarse: manual teórico-práctico de la formación moral y democrática. México D. F.: Trillas. 2007. [ Links ]

11. Lind G. Moral ist lehrbar. Handbuch zur Theorie und Praxis moralischer und demokratischer Bildung. (3ra Edición). München: Oldenburg Schulbuchverlag. Morality can be taught. Fostering moral-democratic competence, reducing violence, deceit, and power. 3rd complete revised edition]. 2015. [ Links ]

12. Schillinger M. Learning environment and moral development: How university education fosters moral judgment competence in Brazil and two German-speaking countries. Aachen, Germany: Shaker Verlag. 2006. [ Links ]

13. Colby A, Kohlberg L, Abrahami A, Gibbs J, Higgins A. The Measurement of Moral Judgment, Volume 1. Cambridge, Estados Unidos: Cambridge University Press. 408 pages. 2011. [ Links ]

14. Elm DR, Weber J. Measuring Moral Judgment: The Moral Judgment Interview or the Defining Issues Test? Journal of Business Ethics 1994; 13 (5): 341-55. [ Links ]

15. Nowak E, Schrader DE, Zizek B. (Editores). Educating competencies for democracy. Frankfurt am Main, Alemania: Peter Lang. 2013. [ Links ]

16. Helkama K. Change in moral judgement in medical school: the role of hierarchy. En Nowak, E., Schrader, D. E., Zizek, B. (Editores) (2013). Educating competencies for democracy. Frankfurt am Main, Alemania: Peter Lang. [ Links ]

17. Lind G, Wakenhut R. Testing for moral judgment competence. En Lind, G., Hartmann, H. A. y Wakenhut, R. (Editores) Moral judgments and social education. Edison, NJ, Estados Unidos: Transaction Publisher. 2000. [ Links ]

18. Lind G. The Meaning and Measurement of Moral Judgment Competence. A Dual-Aspect Model, En Fasko, D. & Willis, W. (Editores) (2008), Contemporary Philosophical and Psychological Perspectives on Moral Development and Education. Creskill, Estados Unidos: Hampton Press, pp. 185-220. [ Links ]

19. Desplaces DE, Melchar DE, Beauvais LL, Bosco SM. The impact of business education on moral judgment competence: An empirical study. Journal of Business Ethics 2007; 74 (1): 73-87. [ Links ]

20. Kodwani D, Schillinger M. Ethics to accountants: Challenges of a global qualification. Presentation at the international conference “Can morality be taught?”, University of Konstanz, Germany, July 27-31. 2009. [ Links ]

21. Fowler, Floyd. Survey research methods. Thousand Oaks, CA: SAGE. 2009. [ Links ]

22. Smits M, Keizer E, Giesen P, Deilkås ECT, Hofoss D, Bondevik GT. The psychometric properties of the ‘safety attitudes questionnaire’ in out-of-hours primary care services in the Netherlands. PLoS ONE 2017; 12(2): e0172390. doi:10.1371/journal.pone.0172390 [ Links ]

23. Lind G. The importance of Role-Taking Opportunities for Self-Sustaining Moral Development. Journal od Educational Research 2000; 10: 9-15. [ Links ]

24. Feitosa H, Rego S, Bataglia PU, Sancho KFC, Regor G, Nunes R. Moral judgment competence of medical students: a transcultural study. Advances in Health Science Education 2013. DOI 10.1007/s10459-013-9449-5. [ Links ]

25. Gommel M, Kessler H. Medical Ethics Seminars, Moral Judgement Competence and Authoritarianism. Presentation at the annual meeting of the Association for Moral Education in Fribourg, July 2006. [ Links ]

26. Slovácková B, Slovácek L. Moral competence and moral attitudes of students at the Medical Faculty of Charles University in Hradec Králové. (Universidad Carolina, República Checa). Nurs Ethics 2007; 14 (3): 320-8. [ Links ]

27. Helkama K, Uutela A, Pohjanheimo E, Salminen S, Koponen A, Rantanen-Väntsi L. Moral reasoning and values in medical school: a longitudinal study in Finland. Scandinavian Journal of Educational Research 2003; 47 (4): 399-411. [ Links ]

28. Helkama K. Change in Moral Judgment in Medica School: The Role of Hierarchy. In Nowak, E., Schrader, D., Zizek, B. (editors) (2013). Educating Competencies for Democracy. Frankfurt am Main: Peter Lang. [ Links ]

29. DuBois J. The moral judgment of medical personnel. A cross-cultural study about brain death and organ explantation. Unpublished dissertation, University of Vienna, Austria. 1997. [ Links ]

30. Schwartz SH. Universals in the content and structure of values: theoretical advances and empirical tests in 20 countries. In M. ZANNA (Ed.) Advances in Experimental Social Psychology 1992; Vol. 25. New York, NY: Academic Press. [ Links ]

31. Lind G. How to teach morality. Promoting deliberation and discussion, reducing violence and deceit. Berlin, Germany: Logos Verlag. 2016 [ Links ]

32. R Core Team. R: A languge and enviromet for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. 2013. http://www.R-project.org/. [ Links ]

33. The Quality of the Konstanz Method of Dilemma Discussions (KMD) for Teaching Moral and Democratic Competencies presented in Annual meeting of the American Educational Research Association, Chicago, April 9-13, 2017. [ Links ]

Recibido: 12 de Abril de 2017; Aprobado: 29 de Agosto de 2017

Correspondencia a: Mariela Agurto Veas marielagurto@gmail.com

Creative Commons License This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.