SciELO - Scientific Electronic Library Online

 
vol.44 número2La Autocalificación como Instrumento de Aprendizaje en una Asignatura Universitaria InversaDesarrollo de Competencias Docentes en la Formación Inicial del Profesorado de Educación Física. Relación con los Instrumentos de Evaluación índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Estudios pedagógicos (Valdivia)

versión On-line ISSN 0718-0705

Estud. pedagóg. vol.44 no.2 Valdivia  2018

http://dx.doi.org/10.4067/S0718-07052018000200093 

Investigaciones

A Vueltas con la Evaluación de las Competencias. Percepciones de los Alumnos y Docentes de los Grados Relacionados con la Educación Física

Against the Hegemony of Competencies: Students’ and Teachers’ Perceptions of Teacher Training in Physical Education

Carmen Trigueros Cervantes a  

Enrique Rivera García b  

Alberto Moreno Doña c  

a Universidad de Granada, España, Telf.: (34) 958203376. Correo electrónico: ctriguer@ugr.es

b Universidad de Granada, España, Telf.: (34) 958203376. Correo electrónico: erivera@ugr.es

c Universidad de Valparaíso, Chile. Telf.: (56) 993422692. Correo electrónico: alberto.moreno@uv.cl

RESUMEN:

Hace una década que la Educación Superior apostó por un cambio de modelo educativo y formativo, optando por implementar planes de estudios basados en la definición de competencias genéricas y específicas. Este artículo se centra en averiguar, desde una mirada interpretativa, cómo perciben docentes y estudiantes dicho cambio centrados en la evaluación por competencias, en los estudios relacionados con la docencia de la Educación Física para la Enseñanza Primaria y Secundaria. La información analizada se genera desde dos grupos de discusión: docentes y estudiantes, centrados en la evaluación por competencias. Las principales conclusiones las podemos resumir en falta de cultura de trabajo por competencias, lo que conlleva una evaluación que mantiene los viejos parámetros más centrados en calificar que en facilitar aprendizajes. En segundo lugar, se demanda, especialmente por parte del estudiantado, una formación más en contacto con la práctica real que permita un desarrollo de competencias real y efectivo.

Palabras claves: educación superior; evaluación competencias; percepciones docentes; percepciones alumnado; educación física

ABSTRACT

A decade ago, higher education opted for a change in the teaching and education model with the implementation of study programs based on the definition of generic and specific competencies. This article seeks to establish (from an interpretive perspective) how teachers and students perceive such change, focusing on competencies assessment in studies related to PE teaching in primary and secondary education. The information analyzed was generated in two discussion groups (teachers and students) focused on competencies assessment. Main conclusions include the observation of a lack of a culture of working by competencies, which implies the presence of traditional parameters of assessment that focus on grading learning rather than facilitating it. Additionally, there exists a demand, especially on the part of students, for teaching techniques that are closer to real life situations, which would allow for a more authentic and effective competencies development.

Keywords: higher education; competencies assessment; teachers’ perceptions; students’ perceptions; PE

1. INTRODUCCIÓN

El Espacio Europeo de Educación Superior (EEES) debería haber supuesto un cambio real y radical en nuestra universidad. Su principal objetivo, centrado en formar ciudadanos competentes que se integren en el modelo social dominante, ha fracasado o está a punto de ello. Las claves del fracaso son múltiples, aunque podrían aglutinarse en torno a dos ejes: económico y académico. El primero ha sido facilitado desde la crisis económica que ha provocado la desinversión en la universidad pública. En los últimos 6 años se ha perdido en España casi un 30% de inversión. Hemos pasado de ser uno de los países que más invertía en Europa en educación universitaria a estar sexto en la actualidad. Por último, el incremento de las tasas de matrícula, en algunos casos por encima del 50%, no ha significado un aumento de la financiación, ya que la pérdida de alumnado y la bajada de la financiación pública ha provocado el efecto contrario (Pruvot, Estermann & Kupriyanova, 2017; Sacristá, 2017). En el plano académico, la universidad española se ha dejado seducir por el “ranking”. Se ha dado el pistoletazo de salida a la carrera meritocrática, abocando a los docentes a dedicar su tiempo a publicar (no confundamos con investigar), en detrimento de la preparación de la docencia. Este problema se ha visto aún más marcado en los grados donde la docencia juega un papel clave, como es el caso de la formación de los futuros enseñantes de Educación Física que nos ocupa.

Nos situamos ante un docente que entre publicar o perecer en la docencia opta por la primera opción, especialmente los jóvenes no asimilados al régimen funcionarial (Arribas, Manrique & Tabernero, 2016; López, Benedito & León, 2016). Lejos quedan los cambios metodológicos que propugnaba el Plan Bolonia. Al final ha quedado un cambio formal de estructuras, vocabulario y discurso. Los nuevos planes de estudio (adaptaciones de los anteriores en la mayoría de los casos) nos han dejado un nuevo lenguaje: las competencias. Estas han sido construidas en dos ámbitos y quedan definidas, entonces, como genéricas y específicas. Las primeras garantizan un egresado universitario con una formación competencial que le permitirán afrontar con éxito su desarrollo profesional. En el segundo caso, se busca la competencia en un área concreta (en nuestro caso la Educación Física). La pregunta eje que además se ha configurado como detonante de los grupos de discusión realizados es si ¿el teórico cambio de paradigma en la formación del profesorado de Educación Física ha significado un cambio real en la evaluación de las competencias del alumnado?

En este contexto competencial que se ha dibujado, docentes y estudiantes han debido adquirir competencias como trabajar en grupo desde la cooperación, ser capaces de analizar y sintetizar la información para realizar una correcta transposición didáctica, aplicar los contenidos teóricos aprendidos en contextos de realidad, lograr un alto nivel competencial de comunicación oral y escrita, entre otras. Pero lo más importante, si apostamos por un alumnado que adquiera el conocimiento de forma autónoma, es que se busque su aplicabilidad por encima de su acumulación y que se considere al docente como mediador del conocimiento; la evaluación ha de cambiar y adaptarse a las nuevas propuestas (Fernández, 2010; Gil-Flores, 2007; López-Pastor, 2011; Martínez, Santos & Castejón, 2017; Trillo, 2005). Nos surge una segunda cuestión: ¿saben los docentes y los estudiantes el significado de evaluar por competencias?

Evaluar por competencias implica un cambio en el proceso de enseñanza-aprendizaje. Conlleva la incorporación de acciones distintas tanto para los docentes como para los estudiantes (Rueda, 2009); además, debe estar plenamente integrada en el proceso de enseñanza y aprendizaje y ser coherente con dicho proceso.

Para Bolívar (2008), evaluar competencias es poner al sujeto ante una tarea compleja, ver cómo la comprende y es capaz de resolverla movilizando el conocimiento aprendido. En nuestro caso, futuros docentes de Educación Física, además tendríamos que movilizar capacidades adquiridas. Otros autores ponen el énfasis en la contextualización de tareas complejas, indicando que deben asemejarse a las que han de desarrollarse en el ejercicio de la profesión; que las condiciones de ejecución de la tarea de evaluación deben estar cercanas a las condiciones del contexto de trabajo (Baartman et al., 2007; Gil-Flores, 2007). Para llevar a cabo las finalidades marcadas, debemos contar con criterios, evidencias e instrumentos de evaluación validados (Tobon, Pimienta & García, 2010), por lo que el examen tradicional, como único instrumento, se muestra insuficiente para evaluar el global de las competencias adquiridas (López et al., 2016).

En la línea de Tejada y Ruiz (2016, p. 19), debemos matizar que “ENT#091;…ENT#093; de entrada hay que advertir que no se pueden evaluar las competencias, sino lo que denominamos competencias”, porque estas solo son definibles en la acción, y como los propios autores explican:

Ser competente implica disponer de un equipamiento profesional y de utilizar los recursos necesarios para desarrollar una determinada actividad. Ello implica que las competencias incluyen a las capacidades, sin las cuales es imposible llegar a ser competente, pero no se reducen a las mismas. (2016, p. 20).

Arribas, Manrique y Tabernero (2016), después de analizar diferentes trabajos y estudios, convergen con lo ya expresado por Trillo y Porto (2002) y Zabalza (2003). La universidad española sigue apostando por una evaluación orientada fundamentalmente a la calificación del alumnado, casi siempre a través de exámenes finales, encontrándose grandes contradicciones entre el resto de los elementos del proceso de enseñanza y aprendizaje y la evaluación. Por su parte Medina, Domínguez y Medina (2010) también constatan las limitaciones para incorporar la evaluación por competencias, faltando base y cultura en el desarrollo profesional y argumentando que no se podrá llevar a cabo si el profesor no genera ni integra en su práctica la evaluación de su propia actuación.

En el ámbito de la Educación Física y frente a la visión de una universidad inmovilista respecto a la evaluación, también podemos encontrar trabajos como el de López-Pastor (2011) que nos indican que estamos comenzando a superar el examen para centrarnos en una evaluación más formativa. En esta misma línea Castejón, López-Pastor, Julián y Zaragoza (2011), en una investigación realizada en tres centros universitarios, con más de doscientos estudiantes y en tres materias distintas, concluyen que en el grupo que realizó evaluación formativa se obtuvieron mejores resultados académicos que los que mantuvieron una evaluación finalista. En esta misma línea, Atienza, Valencia, Marts, López-Pastor y Devís (2016), en una investigación con 136 estudiantes, van aún más lejos y llegan a la conclusión de que la evaluación formativa ofrece más ventajas que inconvenientes al estudiante. Facilita un aprendizaje activo, hay una clara transferencia de lo aprendido al contexto real, aumenta la retroalimentación y con ello las posibilidades de mejora. Los problemas los encuentran en la demanda de continuidad, el esfuerzo que supone y tener que enfrentarse a una autoevaluación de su propio proceso.

Se manifiesta la importancia del compromiso del alumnado en su aprendizaje (Hortigüela, Pérez-Pueyo & Abella, 2015), especialmente en las materias de corta duración. Es significativo cómo la utilización de escalas o rúbricas para realizar la autoevaluación del proceso, individual o grupal, mejora la calidad de los trabajos del alumnado, asumiendo la estrategia para sus futuras actuaciones (López-Pastor et al., 2016). En esta misma línea, pero cruzando las percepciones del profesorado, alumnado y egresados, Arribas, Manrique y Tabernero (2016) evidencian que los instrumentos menos utilizados se sitúan en torno al examen tradicional, y es el informe el que tiene mayor presencia. Se muestran discrepancias entre egresados y alumnado frente al profesorado, en cuanto a la frecuencia de utilización de los instrumentos y la participación activa en el proceso. Sí se evidencia unanimidad en cuanto al nivel de satisfacción de los tres colectivos con la evaluación formativa.

Por su parte Romero, Castejón y López-Pastor, (2015) reiteran, desde un análisis descriptivo a través de un cuestionario, las mismas fortalezas y debilidades de la evaluación formativa en el alumnado. La novedad la encontramos en las percepciones de los docentes, que muestran un alto grado de satisfacción, aun siendo conscientes del aumento de la carga de trabajo que supone su aplicación en el aula universitaria. Por último y respecto al rendimiento académico, Fraile, López-Pastor, Castejón y Romero, (2013), una vez más inciden en las ventajas que presenta la evaluación formativa frente al examen finalista, presentando mayores tasas de fracaso esta segunda opción frente a la primera.

2. METODOLOGÍA

El objeto de este estudio es conocer e interpretar las teorías implícitas que tanto docentes como estudiantes han construido sobre el constructo ‘evaluación por competencias’. A partir de él queremos conocer aspectos más concretos que conciernen a cómo perciben la evaluación formativa; el papel de los exámenes en el actual modelo y las incoherencias y limitaciones expresadas por los docentes y estudiantes.

Hemos optado por un enfoque interpretativo para dar respuesta al objeto de estudio. Desde la utilización de una metodología cualitativa, trataremos de comprender los significados de una determinada realidad (Stake, 2013), generando la construcción de teorías contextualizadas y fundamentadas en los mismos datos producidos (Silverman, 2005; Strauss & Corbin, 2002).

La técnica elegida para la producción de la información ha sido el grupo de discusión, considerando que su objetivo es indagar en las actitudes y reacciones de un grupo específico frente a un asunto social o político, o bien un tema de interés como un concepto, idea, etc., (Alonso, 1998; Canales & Binimelis, 2002; Gutiérrez-Brito, 2011; Ibáñez, 1979, 1991, 1994; Mena & Murillo, 2006; Ortí, 1989; Suárez, 2005).

2.1. PARTICIPANTES

Los participantes2 son ocho estudiantes y catorce docentes de diferentes universidades españolas con grados relacionados con la formación de docentes de Educación Física para Primaria, Secundaria y Bachillerato; sus características y factores de heterogeneidad utilizados para su selección se pueden ver en las tablas 1 y 2. Ambos colectivos provienen de cuatro universidades públicas nacionales, tratando mantener en el proceso de selección los criterios previamente establecidos.

Tabla 1 Características de los estudiantes 

Tabla 2 Características de los docentes 

2.2. PROCESO DE ANÁLISIS

Hemos partido de una perspectiva inductiva, de lo particular a lo general, basándonos en la Teoría Fundamentada (Glaser & Strauss, 1967; Strauss & Corbin, 2002). La emergencia de las teorías implícitas de los participantes son el hilo conductor que canaliza la posterior descripción e interpretación de la información. El CAQDAS (Computer Assisted/Aided Qualitative Data Analisis) NVivo 11 nos ha permitido realizar dos niveles de análisis: el emic, centrado en las percepciones de los participantes y el etic, que nos ha permitido, partiendo de las anteriores, la construcción de las teorías sustantivas que los investigadores han contrastado con las ya existentes desde otros estudios.

El primer nivel de análisis nos ha facilitado la construcción de siete categorías o metáforas centrales (ver Tabla 3): la primera está relacionada con el contexto en el que aparecen las competencias presentes en un ámbito más general, la universidad, o más específico, las materias o asignaturas. La segunda categoría central da respuesta a las competencias vividas por los participantes, pasando posteriormente a los actores presentes en su adquisición. La categoría contenidos alude a las teorías implícitas de los participantes, construidas sobre ellos y poniendo un énfasis especial en los Trabajos Fin de Grado (TFG) y las competencias que evidencian. En la categoría central, metodología, se recogen las diferentes miradas de los actores sobre cómo llevar al aula las competencias. Se centran especialmente en la necesidad de estrategias colaborativas, de aplicación práctica o la necesidad de disponer de más tiempo para poder adquirirlas. La evaluación será la categoría central objeto de este artículo, por lo que pasaremos a profundizar sobre ella posteriormente. El cierre de las categorías centrales se realiza a partir de las reflexiones sobre el EEES y el papel que tienen las competencias en el modelo.

Tabla 3 Categorías de análisis 

De todas estas categorías encontradas en los grupos de discusión, nos centraremos en la categoría evaluación, que a su vez contiene las subcategorías examen, evaluación formativa, evaluación de las competencias e incoherencias en la evaluación (ver Tabla 4).

Tabla 4 Subcategorías de la categoría Evaluación 

2.3. DESCRIPCIÓN E INTERPRETACIÓN DE LA INFORMACIÓN PRODUCIDA

Yo creo que ahora eso está cambiando cada vez más, veo cambios en la evaluación de los profesores, veo otra forma de mirar a los alumnos, de tenerlo en cuenta, y sobre todo creo que ahora cada vez más nos tienen más en cuenta, nos hacen mucho hincapié en la reflexión, la reflexión, parece que tiene que ver con todas las competencias (Micaela).

Sugerente cita para empezar a reflexionar sobre la evaluación de las competencias en los grados que permitirán ejercer como docentes de Educación Física en los diferentes niveles educativos no universitarios. Llama la atención que esta estudiante perciba una nueva mirada del profesor sobre el alumnado, cuestión que sin duda abre un atisbo de esperanza en cuanto al cambio de paradigma de la Educación Superior de un modelo técnico a un modelo crítico-reflexivo (Gimeno, 1983); pero, sin duda, lo más significativo de la cita es la razón que esgrime al final para dicho cambio, apoyada fundamentalmente en el discurso de las competencias.

2.3.1. La eterna dicotomía: teoría frente a práctica

Existe un pensamiento generalizado entre los docentes, los estudiantes y otros estudios realizados (Arribas et al., 2016; Castejón et al., 2011; López-Pastor, 2011), de que los exámenes no son la mejor estrategia para evaluar las competencias, porque “hay demasiados exámenes finales en los que realmente tampoco estás plasmando lo que has aprendido en la asignatura y al final tampoco se tiene en cuenta el proceso de aprendizaje que has tenido” (Simona), y “la preparación por competencias va muy ligada a la evaluación auténtica y a las situaciones auténticas de aprendizaje” (Profesor Venancio). Estas ideas conectan perfectamente con Fernández (2010, p. 31) cuando entiende que:

La evaluación es compleja porque requiere reagrupar los componentes que pueden ser de diferente tipo, por lo que las tareas de integración no se corresponden con un examen relacionado con todo el contenido disciplinar, sino con situaciones-problemas complejas en las que se requiera determinado contenido disciplinar para dar una respuesta pertinente.

En esta línea los estudiantes consideran que hay que “aprender haciendo”, tal y como plantea Gumersindo. Ven fundamental la aplicación del conocimiento en situaciones reales de práctica (ver Gráfico 1) para trabajar y lograr las competencias planteadas.

Gráfico 1 Número de referencias de codificación del nodo Aplicación Práctica en Situaciones Reales 

Como se puede observar, todos los alumnos participantes, en mayor o menor medida, consideran que “se aprende haciendo y se enseña también haciendo” y están de acuerdo con tener “casos reales en vez de casos hipotéticos” porque “es ahí donde te salen las competencias”, tal y como señala Anselmo. En la misma línea se expresan los docentes que consideran que se debería:

ENT#091;...ENT#093; educar o formar los alumnos para que sean profesionales y, por tanto, la enseñanza o los procesos de aprendizaje que se hagan deben estar más centrados en la aplicación práctica del conocimiento y en ser buenos profesionales o unos profesionales competentes (Profesor Venancio).

Docentes y estudiantes coinciden, por tanto, con Canquiz y Maldonado (2016) y López-Ruiz (2011), quienes resaltan el importante lugar que puede llegar a ocupar el enfoque por competencias de aprender haciendo y reflexionando. El aula les permite hacerse como docentes de forma sistemática y reflexiva, consolidando las competencias que, como docentes, tendrán que mostrar en el ejercicio profesional (Atienza et al., 2016; Canquiz & Maldonado, 2016).

Si bien reconocen que para poder hacer esto posible se necesitan dos requisitos “más formación docente ENT#091;…ENT#093; y la unión de la Universidad con el contexto real” (Profesora Indalecia), y a pesar de ello tanto alumnos como docentes reconocen que lo que se hace “en el aula dentro de la Universidad no tiene nada que ver con lo que es la realidad” (Profesor Agapito). Esta queja escuchada muy frecuentemente en las aulas de las Facultades de Educación nos conduce a un replanteamiento para el desarrollo de las competencias y su posterior evaluación, desde posiciones metodológicas que se conecten muy directamente con la práctica real (Cano, 2008; Folgueiras & Martínez-Vivot, 2009).

Este debate de la necesidad de prácticas reales nos regresa al tema que nos ocupa, porque “el problema estaría en el tema de cómo se evalúa” (Adolfina), considerando que sería fundamental “decidir qué es lo que se quiere hacer en cada asignatura, por qué, y luego interrelacionar todas las competencias con todas las asignaturas que se haya decidido van hacia la educación, y allí ya poner un método de evaluación” (Micaela), cuestión de la que responsabilizan al profesorado porque:

ENT#091;...ENT#093; los profesores, deberían reunirse y establecer qué es lo que van a dar, a dónde quieren dirigirse, ENT#091;…ENT#093;, es que, unos van por un lado, otros van por otro, y yo creo que sería mejor que se pusieran ellos de acuerdo, mira yo voy a hacer esto y esto, esto puede servir para esto, por lo tanto nos estamos dirigiendo más hacia la docencia, o nos estamos dirigiendo más hacia la preparación física; yo creo que tendrían que juntarse más entre ellos, ENT#091;…ENT#093; sería lo más importante antes de empezar a hacer nada (Macarena).

En este punto se produce una escisión en función del grado estudiado. Los estudiantes tienen una concepción totalmente diferente del papel y necesidad de las competencias, así como su vinculación con la práctica real, entendiendo que en el grado de Maestro de Educación Primaria el papel de las competencias y su evaluación es mucho más necesario que en el Grado de Ciencias de la Actividad Física y el Deporte; Gumersindo lo justifica argumentando:

Yo creo que nosotros es que nuestra carrera está un poco difusa yo creo que no están establecidos los objetivos ni nada, así como vosotros en magisterio tenéis claro que para el tema de… tenéis que adquirir las competencias docentes necesarias para luego dar clase, pero nosotros por ejemplo en INEF en cambio nosotros teóricamente no tenemos que tocar ningún tema relacionado con competencias (Gumersindo).

Cuestión que Adolfina también justifica al entender que “es más aprender el contenido”, algo que se ve respaldado desde los docentes que imparten dicho grado al afirmar que “no hay una conciencia clara por parte del profesorado de la importancia que tienen las competencias” (profesor Remigio) y que “por los motivos que sean, no han calao como una verdadera necesidad de, a partir de lo que se quiere que el alumno sea, o con lo que queremos que salga y compita o trabaje en el ámbito profesional” (Profesora Casilda), lo que implica que “la forma de impartir las clases sigue siendo muy parecida a la que estaba antes”, coincidiendo con los estudios recogidos por Arribas et al. (2016) en los que los estudiantes egresados manifiestan que la metodología utilizada por sus docentes se caracterizaba por ser tradicional. Metodología tradicional que como plantea López-Ruiz (2011) no consigue calidad en los aprendizajes, se asienta en la permanencia e inmutabilidad de la tradición académica, no permitiendo avanzar en el fomento del cambio y la innovación en las competencias profesionales y su evaluación.

2.3.2. ¿Cómo se evalúa cada competencia?

En el transcurso de los grupos de discusión se identificaron competencias generales (conocimientos específicos) y competencias transversales (aprender a aprender, competencia lingüística, crítica y autocrítica, digital, ética, investigativa, trabajo autónomo y trabajo en equipo). De todas ellas, la que más debate suscitó a la hora de abordar la evaluación fue el trabajo en equipo (ver Gráfico 2), mientras que otras como la competencia digital, la investigadora o el trabajo autónomo ni se mencionaron.

Gráfico 2 Número de referencias de codificación sobre la Evaluación de las Competencias 

Si bien la gráfica parece que nos abre una pequeña puerta a la esperanza, para confirmar ese cambio de paradigma del que hablamos al inicio, si profundizamos en el análisis de las referencias que aparecen en dicha gráfica, todo se resume en la frase lapidaria que pronuncia Leandro: “no evalúan nuestras competencias transversales”.

2.3.3. Competentes para expresarnos, incompetentes para evaluarlo

Si comenzamos con la evaluación de la competencia lingüística, entendida como “capacidad de comunicación oral y escrita en la/s lengua/s materna/s para expresarse y comprender ideas, conceptos y sentimientos oralmente y por escrito en su lengua o lenguas maternas con un adecuado nivel de uso” (Ministerio de Educación, n.d.), los estudiantes reconocen que “se puede ver perfectamente, si haces una exposición tu solo y ENT#091;tambiénENT#093; se ve directamente, si haces un trabajo” (Simona). Es perfectamente evaluable si el estudiante muestra competencia en su capacidad de expresión escrita en lengua materna o extranjera, oral y corporal. Pero el punto clave lo sitúan en que los docentes en general “no se fijaban en ninguna asignatura concretamente en todos estos detalles ENT#091;…ENT#093;. La percepción que tienen es que el profesorado, de forma inconsciente “ya te pone más nota que si lo haces todo correcto” (Macarena). Para los participantes del estudio la evaluación de esta competencia suele quedar enmascarada en la valoración del trabajo realizado o expuesto. En ningún caso esto se hace de una forma explícita y planificada, con lo que el alumno no recibe ninguna retroalimentación que le ayude a mejorar y avanzar en la adquisición de dicha competencia. En el caso específico de la Educación Física, este déficit queda más visible, ya que se produce una gran variedad de intercambios comunicativos que requerirán de habilidades comunicativas verbales y no verbales y de vocabulario específico para transmitir ideas, emociones o sentimientos (Figueras et al., 2016).

2.3.4. Ética aprendida o adquirida

Otro punto de fricción se identifica al hablar de la competencia transversal del compromiso ético, entendido como un “comportamiento consecuente con los valores personales y el código deontológico” (Ministerio de Educación, n.d.). Indican que “su evaluación es algo como muy inconsciente” (Leandro), cuestión que en parte se entiende y justifica desde la consideración que tienen los propios estudiantes de que la ética, desde la opinión de Mauro “te la transmiten, no te lo enseñan, pero te la trasmiten”. Micaela va un poco más allá, insistiendo en que “no, no se enseña, si es que yo veo del profesor de universidad que llega puntual, veo ENT#091;queENT#093; ha hecho su trabajo y se preocupa por el alumno al final lo transmite, y sin querer lo absorbes”. Otros estudiantes incluso afirman que el aprendizaje de la ética no es un tema de formación, sino que es una responsabilidad de la familia que “son cosas que deberían haberte enseñado tus padres y es complicado, suele ser muy complicado y se ve más en la actitud, en los hechos, que en..., no se puede copiar, no se puede no sé qué…” (Anselmo). Aún nos queda recorrido para lograr lo que plantean González, González y López (2011, pp. 24-25), en el sentido de que “las tareas profesionales deben plantear retos al estudiante en la aplicación ética, comprometida y responsable de conocimientos y habilidades generales y específicas en la solución de problemas de la práctica profesional”.

2.3.5. Capacidad para criticar construyendo

La crítica definida como la capacidad de examinar y enjuiciar algo con criterios internos o externos, (Ministerio de Educación, n.d.) es una de las deficiencias que el alumnado del estudio con mayor claridad identifica en el proceso de enseñanza. Son pocos los docentes que dan la posibilidad de trabajar esa competencia, y, por tanto, su evaluación ni siquiera es cuestionada. Anselmo lo resume de la siguiente manera:

Así, ninguna ENT#091;asignaturaENT#093; te ha dado la oportunidad de valorar, de decir, ver lo que has fallado, pero claro, es lo que ves ahí, honestamente, soy tu compañero, echa una mano, no te voy a decir cosas malas; yo no sé ser honesto, decir la opinión, decir lo que vale, desde el uno al prójimo, y le digo oye yo te doy la oportunidad, el profesor te da la oportunidad, de ver lo que hace y de forma crítica te digo esto…, y me parecería que esto lo tendrías que cambiar”.

Podríamos pensar que esta falta de construir un docente competente para reflexionar y actuar de forma crítica en el aula tiene poco sentido en un modelo social cada vez más marcado por la homogeneidad. Lejos quedan los planteamientos, cuando se nos planteaba sacar al docente de una función transmisora, evaluadora y tecnocrática, para convertirse en un intelectual capaz de reflexionar, criticar, actuar y transformar la realidad social. Se trataría de continuar el camino abierto y regresar a este profesional intelectual del que nos hablaba Giroux (1990).

2.3.6. Trabajo en equipo. No, gracias

Del trabajo en equipo, competencia considerada como la “capacidad para integrarse y comunicarse con expertos de otras áreas y en distintos contextos, de integración en un grupo o equipo, colaborando y cooperando con otros” (Ministerio de Educación, n.d.), tendríamos que destacar que es la competencia que presenta mayor número de referencias codificadas. Si anteriormente el alumnado opinaba que la competencia ética no se enseñaba, sino que se aprendía desde el ejemplo del docente o la familia, cuando se trata del trabajo en grupo se sienten incompetentes, porque como dice Adolfina: “a trabajar en grupo nadie te enseña”. Podríamos decir que la sensación que les queda es negativa. Supone la realización de un gran esfuerzo, que suele conllevar momentos de una cierta conflictividad entre el alumnado, que más que favorecer la cohesión de grupo, su calidad, el reparto de responsabilidades y roles, provoca en el alumnado todo lo contrario. Muchos de ellos, al final del proceso reconocen que hubieran preferido hacer el trabajo individual frente al grupal. Lo que lleva a la mayoría de ellos (tres cuartos del total) a sentir que es “una de las cosas que más me ENT#091;lesENT#093; ha molestado en la carrera” (Anselmo).

Su percepción hacia la evaluación de esta competencia es que no se evalúa. Mauro es así de contundente: “no se evalúa el trabajo en grupo, se evalúa el resultado del trabajo en grupo”. Para los estudiantes la evaluación del trabajo en equipo por parte del docente pasaría por preguntar “cómo os habéis organizado, qué habéis hecho, habéis quedado, y por qué no lo habéis hecho así, y porqué habéis decidido realizarlo así” (Gumersindo), y esto es algo que no se realiza. En este sentido, Simona lo justifica porque cree que “a través del trabajo en grupo pretenden evaluar otras competencias ENT#091;…ENT#093;, al final, el trabajo en grupo no lo están teniendo en cuenta”, mientras que Anselmo considera que al profesor lo que le interesa “es el documento”, porque el proceso “no lo sabe porque no lo ve”. Cuestión que algunos como Macarena resuelven con “la autoevaluación dentro del grupo” tal y como plantea (Fernández, 2010) que considera que “la autoevaluación del proceso de grupo es una herramienta para aprender a trabajar en colaboración”, sin que nadie plantee la opción de la coevaluación entre compañeros (López et al., 2016), o el uso de una escala para evaluar (Gil-Flores, 2007).

2.3.7. Aplicar el conocimiento adquirido. ¿Cuándo, cómo, dónde?

La competencia básica de “Conocimientos en un área de estudio” consiste en que “los estudiantes sepan aplicar sus conocimientos a su trabajo o vocación de una forma profesional y posean las competencias que suelen demostrarse por medio de la elaboración y defensa de argumentos y la resolución de problemas dentro de su área de estudio” (Ministerio de Educación, n.d.). Esta competencia es la única que perciben que es evaluada. La suelen limitar al examen de conocimientos, que mayoritariamente todos indican que no es la mejor manera de verificar que se hayan adquirido los conocimientos necesarios para ejercer como docente del área de Educación Física en los diferentes niveles educativos. Simona lo resume de una forma muy elocuente: “hay demasiados exámenes finales en los que realmente tampoco estás plasmando lo que has aprendido en la asignatura, al final tampoco se tiene en cuenta el proceso de aprendizaje que has tenido”. Los estudiantes, una vez que han asumido que la evaluación de los conocimientos específicos se realiza a través de un examen, plantean diferentes alternativas al examen tradicional: “Yo creo que sería mucho mejor que el examen fuera orientado a una práctica o a una clase real” (Gumersindo); “Examen sobre todas las prácticas que hemos llevado a cabo” (Macario); “Saber aplicarlo, es mejor que, cuéntame el autor de no sé qué” (Leandro).

La opinión de que el examen no es la herramienta adecuada para evaluar las competencias es compartida con los docentes que afirman que “lo que sí está clarísimo es que para evaluar competencias no se puede evaluar solo mediante examen” (Profesor Melquiades); pero lejos de asumir su responsabilidad, algunos como el Profesor Celedonio plantean “que los alumnos están cómodos con sus exámenes” y otros, como el profesor Dionisio, opinan que:

ENT#091;...ENT#093; llevan mucha inercia sobre un tipo de criterios de evaluación y de formación que cuando llegan a profesores que tratan de hacer algún tipo de innovación en relación a la forma de impartir las clases… se descolocan ¡no! ¡lo siguiente! Dicen, ¿cómo que yo no tengo un examen? O ¿cómo que yo solo por venir a clase a hacer un tipo de práctica o lo que sea se me está ya evaluando?

Existen casos más difíciles de entender, como el de la profesora Indalecia, que aun considerando que “las competencias son el desarrollo a lo largo de la vida…, tú no puedes evaluarles con un examen”; pero considera “que también es importante que un chaval sepa memorizar y sepa realizar exámenes tipo test, de desarrollo…, o sea, que no lo podemos eliminar”. Estos argumentos finalmente le sirven para justificar “lo que cuesta evaluar un proceso, porque te supone estar todo el día pendiente de los alumnos ENT#091;…ENT#093; y con 70 que tenemos”. Los argumentos de la participante dan sentido a los hallazgos encontrados por Martínez et al., (2017), en los que se evidencia una falta de coherencia en el profesorado a la hora de poner en concordancia el qué y cómo se enseña con el qué y cómo se evalúa.

Es evidente que el examen no sería la mejor estrategia para evaluar por competencias si nos atenemos al significado que le otorga Bolívar (2008), que diferencia tres aspectos a considerar: ver si el estudiante comprende el problema, moviliza sus conocimientos y habilidades y es capaz de dar una respuesta adecuada al mismo. La pregunta que cabría hacerse a continuación es ¿por qué seguimos utilizando el examen si sabemos que no es adecuado? (López et al., 2016). No existe una única razón, pero si podríamos apuntar, a partir de las percepciones del alumnado y el profesorado algunas de ellas: masificación de los grupos, miedo a salir de la zona de confort, a evaluar de forma compartida, a la pérdida del poder, o el desconocimiento de otras estrategias.

Pero la culpa del fracaso no solamente es achacada al docente universitario, que no evalúa adecuadamente, sino que el alumnado también reconoce que es un problema del “Plan Bolonia, es que es un fantasma” (Anselmo), porque “es todo mucho contenido y luego esos contenidos…, no sabes trasladarlo a la vida real” (Adolfina), y “se centra mucho más en conocer que en transmitir” (Macarena). Si analizamos las creencias del alumnado, quizás encontramos la primera clave: el Plan Bolonia sigue siendo un gran desconocido que solo ha llegado a una unificación de criterios, básicamente mercantilistas (reducción de las licenciaturas a Grados de cuatro años que recorta el gasto público en Educación Superior), sin entrar en el cambio real: primacía del aprendizaje sobre la enseñanza dotando de protagonismo al alumnado; aplicación de metodologías activas que favorezcan el trabajo no presencial y una drástica reducción del grupo de clase que permita un trabajo de mentoría real.

En base al análisis de las percepciones de los participantes en el estudio, podríamos decir que respecto a la evaluación por competencias estamos como hace 7 años, en los que Ibarra y Rodríguez (2010) indicaban que en la universidad el discurso dominante es muy tradicional, se mantiene el uso indistinto de evaluación y calificación y hay una presencia insuficiente de la evaluación formativa.

3. CONCLUSIONES

Casi podríamos afirmar que el proceso de Convergencia en un Espacio Europeo de Educación Superior y todo lo que significa de cambio real en la Educación Superior en general y respecto a la Educación Física en particular, está a punto de quedar en un mero cambio de estructuras formales. Reconocemos cambios importantes como la uniformidad entre títulos europeos, la facilitación de la movilidad de los profesionales y estudiantes ampliando su contexto tanto formativo como laboral. Pero a nivel de cambio metodológico prácticamente no se han registrado cambios significativos ¿Podemos hablar de un modelo de enseñanza por competencias? Sobre el papel rotundamente sí. En la práctica real de aula, basándonos en las percepciones de los estudiantes y docentes objeto de esta investigación pensamos que no.

¿Con qué nos podemos quedar una vez llegados al final? En principio, con la necesidad de vincular la formación teórica o de práctica simulada al contexto donde se producen los aprendizajes: el centro educativo. Así podremos hacer una evaluación formativa de las competencias que precisa el futuro docente de Educación Física. Quizás es el momento de investigar las estrategias más adecuadas a utilizar de evaluación formativa en metodologías activas del tipo de Aprendizaje-Servicio.

Un segundo punto de atención que se percibe con claridad en las percepciones de los participantes es el trabajo en equipo colaborativo. Los estudiantes lo identifican como carencia, al no responder habitualmente al objetivo a evaluar. Se evalúan solo los contenidos, dejando a un lado la competencia como tal. Denuncian que se evalúa lo que no se enseña: trabajar en grupo de forma colaborativa.

La ética del docente o deontología profesional es curiosamente una competencia que no se percibe como posible de enseñar en el aula, viendo su evaluación altamente compleja. La identifican más como un proceso adquirido por mediación del contexto familiar, o a través de la actitud que muestra el docente en el día a día. Esta última idea, muy instalada en las teorías implícitas de los estudiantes y profesores, la compartimos plenamente, ya que es difícil hacer calar un discurso cuando nuestra actuación en el aula se moviliza en sentido contrario.

Una de las principales carencias que se detectan es la presencia de una metodología por competencias que aborde con claridad la construcción de capacidad crítica en el alumnado. Evidentemente, algo que se siente ausente, tampoco se siente evaluado. Es quizás uno de los puntos críticos del modelo. Es poco compatible un currículum uniformado y homogéneo con una formación basada en la reflexión y la crítica. Asistimos a la sustitución de un educador intelectual por un experto capaz de llevar a la práctica los planteamientos marcados desde la normativa.

Por último, la competencia que se siente más evaluada es la que hace referencia al dominio de los contenidos específicos del área. ¿Por qué será? Quizás porque es la que mejor se identifica con la estrategia de evaluación tradicional por excelencia: el examen. Los docentes se refugian en la imposibilidad de controlar el aprendizaje de grupos sobrecargados de estudiantes, con ratios superiores a los 60 y 70 alumnos. Los estudiantes se sienten engañados por cantos de sirenas que al final quedan muy lejos de la realidad. Nosotros nos preguntamos si el problema no será una vez más el miedo a la incertidumbre, a perder el control sobre el estudiante, a tomar conciencia de que nos movemos por inercia acrítica y reproductiva. En definitiva, a salir de la zona de confort y entrar de lleno en un modelo docente comprometido con la educación de nuestros estudiantes. Pero la realidad es que la presión de la producción de “ciencia” difícilmente nos deja tiempo para lo verdaderamente importante: construir futuros docentes comprometidos socialmente desde la reflexión, colaboración y autocrítica.

REFERENCIAS BIBLIOGRÁFICAS

Alonso, L. E. (1998). La mirada cualitativa en sociología. Madrid: Fundamentos. [ Links ]

Arribas, J. M., Manrique, J. C., & Tabernero, B. (2014). Instrumentos de evaluación utilizados en la formación inicial del profesorado y su coherencia para el desarrollo de competencias profesionales en los estudiantes: visión del alumnado, egresados y profesorado. Revista Complutense de Educación, 27(1), 237-255. doi:10.5209/rev_RCED.2016.v27.n1.45724 [ Links ]

Arribas, J., Manrique, J. C., & Tabernero, B. (2016). Instrumentos de evaluación utilizados en la formación inicial del profesorado y su coherencia para el desarrollo de competencias profesionales en los estudiantes: visión del alumnado, egresados y profesorado. Revista Complutense de Educación, 27, 237-255. doi:10.5209/rev_RCED.2016.v27.n1.45724 [ Links ]

Atienza, R., Valencia, A., Marts, D., López-Pastor, V. M., & Devís, J. (2016). Movimento, 22(4), 1033-1048. Recuperado de http://seer.ufrgs.br/index.php/Movimento/article/view/59732/39594Links ]

Baartman, L. K., Prins, F. J., Kirschner, P. A., & van der Vleuten, C. P. (2007). Determining the quality of competence assessment programs: a self-evaluation procedure. Studies in Educational Evaluation, 33(3-4), 258-281. doi:10.1016/J.STUEDUC.2007.07.004 [ Links ]

Bolívar, A. (2008). Ciudadanía y competencias básicas. Sevilla: Fundación ECOEM. [ Links ]

Canales, M., & Binimelis, A. (2002). El grupo de discusión. Revista de Sociología, 64, 107-119. doi:10.2307/3541495 [ Links ]

Cano García, E. (2008). La evaluación por competencias en la educación superior. Profesorado: Revista de Currículum y Formación del Profesorado, 12, 1-16. doi:10.1016/j.neuropharm.2007.11.003 [ Links ]

Canquiz, L., & Maldonado, M. (2016). Evaluación de competencias docentes en el desarrollo de la práctica pedagógica. Omnia, 22(2), 37-49. [ Links ]

Castejón, F. J., López-Pastor, V. M., Julián, J. A., & Zaragoza, J. (2011). Evaluación formativa y rendimiento académico en la formación inicial del profesorado de educación física. Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte, 11(42), 328-346. Recuperado de http://cdeporte.rediris.es/revista/revista42/artevaluacion163.pdfLinks ]

Fernández-March, A. (2010). La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. Revista de Docencia Universitaria, 8(1), 11-34. doi:10.4995/redu.2010.6216 [ Links ]

Figueras, S., Capllonch, M., Blázquez, D., & Monzonís, N. (2016). Competencias básicas y educación física: estudios e investigaciones. Apunts Educación Física y Deportes, 123, 34-43. doi:10.5672/apunts.2014-0983.es.(2016/1).123.04 [ Links ]

Folgueiras, P., & Martínez-Vivot, M. (2009). El desarrollo de competencias en la universidad a través del Aprendizaje y Servicio Solidario. Revista Interamerciana de Educación Para La Democracia, 2(1), 56-76. doi:569108 [ Links ]

Fraile, A., López-Pastor, V., Castejón, J., & Romero, R. (2013). La evaluación formativa en docencia universitaria y el rendimiento académico del alumnado. Aula Abierta, 41(2), 23-34. Recuperado de http://dialnet.unirioja.es/servlet/articulo?codigo=4239063Links ]

Gil-Flores, J. (2007). La evaluación de competencias laborales. Educación XX1, 10(0), 83-106. doi:10.5944/educxx1.1.10.298 [ Links ]

Gimeno, J. (1983). EI Profesor como investigador en el aula: un paradigma de formación de profesores. Educación y Sociedad. Madrid: Akal. [ Links ]

Giroux, H. (1990). Los profesores como intelectuales. Hacia una pedagogía crítica de aprendizaje. Barcelona: Paidós. [ Links ]

Glaser, B. G., & Strauss, A. (1967). The discovery of grounded theory. Strategies for qualitative research. Chicago: Aldine Publishing Company. [ Links ]

González, V., González, R. M., & López, A. (2011). Diseño de situaciones de aprendizaje que potencien competencias profesionales en la enseñanza universitaria. Magister: Revista Miscelánea de Investigación, 24, 121-134. [ Links ]

Gutiérrez-Brito, J. (2011). Grupo de Discusión : ¿Prolongación , variación o ruptura con el focus group? Cinta de Moebio, 41, 1-13. [ Links ]

Hortigüela, D., Pérez-Pueyo, A., & Abella, V. (2015). ¿De qué manera se implica el alumnado en el aprendizaje? Análisis de su percepción en procesos de evaluación formativa. Revista de Investigación En Educación, 13(1), 88-104. Recuperado de http://search.ebscohost.com/login.aspx?direct=true&db=fua&AN=103132435&lang=es&site=ehost-liveLinks ]

Ibáñez, J. (1979). Más allá de la sociología. El Grupo de Discusión: Técnica y Crítica. Madrid: Siglo XXI. [ Links ]

Ibáñez, J. (1991). El Grupo de Discusión: Fundamento metodológico y legitimación epistemológica. En M. T. Latiesa (Ed.), El pluralismo metodológico en la investigación social: ensayos típicos (pp. 53-82). Granada: Aedean. [ Links ]

Ibáñez, J. (1994). El regreso del sujeto. Madrid: Siglo XXI. [ Links ]

Ibarra, M., & Rodríguez, G. (2010). Aproximación al discurso sobre la evaluación del aprendizaje en la universidad. Revista de Educación, 351, 385-407. Recuperado de http://dialnet.unirioja.es/servlet/articulo?codigo=3123719&info=resumen&idioma=ENGLinks ]

López-Pastor, V. M. (2011). El papel de la evaluación formativa en la evaluación por competencias: aportaciones de la red de evaluación formativa y compartida en docencia universitaria. Revista de Docencia Universitaria, 9(1), 159-17. [ Links ]

López, C., Benedito, V., & León, M. J. (2016). El enfoque de Competencias en la Formación Universitaria y su impacto en la evaluación. La perspectiva de un grupo de profesionales expertos en Pedagogía. Formacion Universitaria, 9(4), 11-22. doi:10.4067/S0718-50062016000400003 [ Links ]

López-Pastor, V. M., Pérez-Pueyo, A., Barba, J. J., & Lorente, E. (2016). Percepción del alumnado sobre la utilización de una escala graduada para la autoevaluación y coevaluación de trabajos escritos en la formación inicial del profesorado de educación física (FIPEF). Cultura, Ciencia y Deporte: Revista de Ciencias de la Actividad Física y Del Deporte de La Universidad Católica de San Antonio, 31, 37-50. [ Links ]

López-Ruiz, J. I. (2011). Un giro copernicano en la enseñanza universitaria: formación por competencias. Revista de Educación, 356, 279-301. doi:10-4438/1988-592X-RE-2010-356-040 [ Links ]

Martínez, L., Santos, M. L., & Castejón, J. (2017). Percepciones de alumnado y profesorado en Educación Superior sobre la evaluación en formación inicial en educación física Perceptions of students and tutors in Higher Education about assessment in teaching training in physical education. Retos. Nuevas Tendencias En Educación Física, Deportes Y Recreación, 32, 76-81. [ Links ]

Medina, A., Domínguez, M. C., & Medina, M. (2010). Evaluación de las competencias docentes. Innovación Educativa, 10(53), 19-41. [ Links ]

Mena, L., & Murillo, S. (2006). Detectives y camaleones: el Grupo de Discusión: una propuesta para la investigación cualitativa. Madrid: Ágora. [ Links ]

Ministerio de Educación, C., & D. (n.d.). Registro de Universidades, Centros y Títulos (RUCT) - Ministerio de Educación, Cultura y Deporte. [ Links ]

Ortí, A. (1989). La apertura y el enfoque cualitativo o estructural: la entrevista abierta y la discusión de grupo. En M. García, J. Ibáñez y F. Alvira (Eds.), El análisis de la realidad social. Métodos y técnicas de investigación (pp. 171-203). Madrid: Alianza Editorial. [ Links ]

Pruvot, E. B., Estermann, T., & Kupriyanova, V. (2017). Public Funding Observatory Report 2017. Recuperado de http://www.eua.be/Libraries/publications-homepage-list/eua-pfo-report-2017Links ]

Romero, R., Castejón, F. J., & López-Pastor, V. (2015). Divergencias del alumnado y del profesorado universitario sobre las dificultades para aplicar la evaluación formativa. RELIEVE - Revista Electronica de Investigacion y Evaluacion Educativa, 21(1), 1-16. doi:10.7203/relieve.21.1.5169 [ Links ]

Rueda, M. (2009). La evaluación del desempeño docente : consideraciones desde el enfoque por competencias. REDIE. Revista Electrónica de Investigación Educativa, 11(2), 1-16. [ Links ]

Sacristá, V. (2017). ¿Quién financia la universidad? Barcelona: Observatorio Sistema Universitario. Recuperado de http://www.observatoriuniversitari.org/es/2018/01/16/quien-financia-la-universidad/Links ]

Silverman, D. (2005). Instances or Sequences? Improving the State of the Art of Qualitative Research. Forum Qualitative Social Research, 6(3). Recuperado de http://www.qualitative-research.net/index.php/fqs/article/view/6/14Links ]

Stake, R. E. (2013). Estudios de casos cualitativo. In N. k. Denzin & Y. S. Lincoln (Eds.), Las estrategias de investigación cualitativa. Manual de Investigación Cualitativa (Vol. 3, pp. 154-197). Barcelona: Gedisa. [ Links ]

Strauss, A., & Corbin, J. (2002). Bases de la investigación cualitativa: técnicas y procedimientos para desarrollar la teoría fundamentada. Medellín: Universidad de Antioquia. [ Links ]

Suárez, M. (2005). El Grupo de Discusión: una herramienta para la investigación cualitativa. Barcelona: Laertes. [ Links ]

Tejada, J., & Ruiz, C. (2016). Evaluación de competencias profesionales en educación superior: retos e implicaciones. Educación XX1, 19(1), 17-37. doi:10.5944/educxx1.12175 [ Links ]

Tobon, S., Pimienta, J., & García, J. A. (2010). Secuencias didácticas: aprendizaje y evaluación de competencias. México: Pearson Education. [ Links ]

Trillo, F. (2005). Competencias docentes y Evaluación auténtica: ¿Falla el protagonista? Perspectiva Educacional, Formación de Profesores, 45, 86-102. [ Links ]

Trillo, F., & Porto, M. (2002). La evaluación de los estudiantes en la Educación Superior. Revista de Educación, 328, 283-301. [ Links ]

Zabalza, M. A. (2003). Competencias docentes del profesorado universitario. Calidad y desarrollo profesional. Barcelona: Narcea. [ Links ]

1Esta investigación forma parte del proyecto I+D+I “Las competencias docentes en la formación inicial del profesorado de educación física” (EDU 2013-42024-R) dentro del programa Desarrollo e Innovación Orientada a los Retos de la Sociedad, en el marco del Plan Estatal de Investigación Científica y Técnica y de Innovación 2013-2016 y financiado por Ministerio de Ciencia e Innovación.

2Para mantener el anonimato de estos se han remplazado sus nombres por otros ficticios, así mismo la universidad de procedencia también se ha remplazado por una letra.

Recibido: 18 de Noviembre de 2017; Aprobado: 12 de Febrero de 2018

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons