SciELO - Scientific Electronic Library Online

 
vol.12 issue6Teacher Competences and Transformations in Education in the Digital AgeScience Communication from the Perspective of University Researchers: between the Indicator and the Vocation author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Formación universitaria

On-line version ISSN 0718-5006

Form. Univ. vol.12 no.6 La Serena Dec. 2019

http://dx.doi.org/10.4067/S0718-50062019000600015 

ARTICULOS

Desarrollo de una Escala de Prácticas y Concepciones de Evaluación de Profesores Universitarios (EPCEP)

Development of a Scale for the Assessment of Practices and Conceptions of University Teachers (EPCEP)

Percy P. Peña1 

Carlos H. Gonzalez2 

Helena L. Montenegro2 

1() Escuela de Periodismo, Universidad Católica del Norte, Avenida Angamos 0610, Antofagasta, Chile. (e-mail: ppenav@ucn.cl)

2() Facultad de Educación, Pontificia Universidad Católica de Chile, Chile.

Resumen:

El objetivo de este estudio fue el diseño y validación de un instrumento que mide concepciones y prácticas de evaluación de profesores universitarios (EPCEP). Se aplicó en una muestra (n=237) de académicos de una universidad privada tradicional regional pertenecientes a las facultades de Medicina, Ingeniería y Humanidades. El Análisis Factorial Confirmatorio sugiere una estructura de cuatro factores con un buen ajuste que coincide con lo hipotetizado en la literatura. Se concluye que el EPCEP posee adecuadas propiedades psicométricas para su uso en población docente. Sin embargo, se debe continuar la investigación para mejorar su confiabilidad. Este instrumento de fácil aplicación puede contribuir a la comprensión de los perfiles de evaluación de los académicos en el contexto de la educación superior.

Palabras clave: educación superior; concepciones de evaluación; prácticas de evaluación; psicometría; análisis factorial confirmatorio

Abstract:

The objective of this article was the design and validation of an instrument that measures university professors’ assessment conceptions and practices (EPCEP). It was applied in a sample of 237 professors from a traditional regional private university belonging to the Faculties of Medicine, Engineering and Humanities. The Confirmatory Factor Analysis suggests a structure of four factors with a good fit that coincides with what it is hypothesized in the literature. It is concluded that the EPCEP has adequate psychometric properties for its use in a teaching population. However, research must be continued to improve reliability of the instrument. This easy-to-use instrument can contribute to the understanding of the assessment profiles of professors in the context of higher education.

Keywords: higher education; conceptions of assessment; assessment practices; psychometry; confirmatory factor analysis

INTRODUCCIÓN

Las concepciones sobre evaluación se definen como las creencias, significados y entendimientos que los profesores tienen del proceso evaluativo (Fletcher et al., 2012). Son estos sistemas de creencias los que influirán directa o indirectamente en los aprendizajes de los estudiantes, toda vez que es la evaluación la que puede definir estos aprendizajes de manera más profunda estudiantes (Boud y Falchikov, 2007; Gibbs, 2006).

Lo anterior significa también que este aprendizaje podría ser modelado a través de las prácticas evaluativas, que devienen de las concepciones de evaluación que los docentes poseen (Carless, 2015). Es decir, que lo que opinen los profesores respecto a qué es lo importante a ser aprendido por los estudiantes influye también en la creencia respecto a la evaluación, qué específicamente se evaluará y cómo lo harán (Watkins et al., 2005).

La literatura ha tenido una preocupación por definir categorías del profesorado desde sus concepciones sobre evaluación y su relación con la práctica evaluativa, como en el influyente trabajo de Samuelowicz y Bain (2002), quienes describieron orientaciones hacia la práctica de la evaluación vinculadas con una serie de creencias, entre las que ponen el énfasis en la reproducción del conocimiento y las que lo hacen en su construcción o transformación. Pese a la importancia que representa esta temática de la evaluación en la educación superior, las investigaciones se han centrado en profesores del sistema escolar (Brown et al., 2009). Es por ello que los hallazgos en educación primaria y secundaria han servido de punto de partida para muchos estudios realizados en la universidad, ya que se ha encontrado una evidente relación entre las concepciones de los maestros de escuela y sus prácticas de evaluación (Brown et al., 2009; Fletcher et al., 2012).

Considerando lo anterior, la evidencia muestra que las concepciones sobre evaluación de los profesores se relacionan directamente con aspectos como el enfoque de enseñanza que el profesor adopta y el propósito de evaluación (Ramsden, 2003; Postareff y Lindblom-Ylänne, 2008). Además, la investigación en este tema ha demostrado que, a menudo, tanto las concepciones como las prácticas de evaluación utilizadas por los profesores no se vinculan necesariamente con lo que ha de aprenderse (Carless, 2014; Fletcher et al., 2012; Webber, 2012). Es decir, no están en línea con los resultados de aprendizajes declarados.

Esta falta de alineamiento se hace más patente cuando los profesores tienen concepciones y prácticas de evaluación más rígidas relacionadas con la evaluación sumativa y métodos tradicionales (Carless, 2010; Postareff et al., 2012). En esta misma línea, los profesores tienden a tener un perfil más cercano a la enseñanza centrada en el contenido, como se destaca en algunos intentos más recientes por dar forma a una taxonomía del profesorado (Halinen et al., 2014), cuyos resultados mostraron una preponderancia de este tipo de perfil.

Así, los docentes que tienden a pensar que la evaluación depende de ellos, presentan una tendencia a tener prácticas evaluativas focalizadas en la memorización y reproducción del contenido (Ramsden, 2003), que se traduce en una visión sumativa de la evaluación donde lo primordial es la certificación y evaluación final (Maclellan, 2001) y que también se conoce como Assessment of Learning. En tanto, quienes se preocupan que los estudiantes construyan su propio aprendizaje y relevan el proceso se asocian con una evaluación formativa (Knight, 2002) que subraya metodologías activas y sistemas de evaluación alternativos (López, Benedito y León, 2016), elementos que conforman la evaluación para los aprendizajes o Assessment for Learning. La principal diferencia entre ambas, es que la primera sólo entrega retroalimentación a los estudiantes al final del curso (Taras, 2005), en tanto la segunda lo hace de forma continua para incrementar el aprendizaje (Sadler, 1998).

Con estos antecedentes del tipo de evaluaciones estudios como el de Samuelowicz y Bain (2002) y Watkins y otros (2005), han descrito creencias sobre la evaluación en académicos que van desde un rango de reproducción del conocimiento a uno en que se produce la construcción del mismo. En tanto Postareff et al. (2012) relevaron una categorización de acuerdo a la relación de dos tipos de concepciones de los profesores (reproductivas o transformativas) con sus respectivas prácticas evaluativas (tradicional o alternativas). Una vez más, la categoría con más impacto fue la del docente que cree en la reproducción del contenido y que utiliza formas de evaluación asociadas a lo tradicional, que en este caso se describen como sumativas.

En particular, las combinaciones entre concepciones y prácticas de evaluación planteadas por estos autores consisten en 1) Tradicional-reproductivo: cuyo objetivo de la evaluación es probar la repetición o aplicación del conocimiento, con preguntas de examen al final del módulo de estudio. 2) Alternativa-reproductiva: Tiene varios tipos de prácticas de evaluación y solo concepciones de evaluación reproductiva. Podemos ver una inconsistencia entre las prácticas y las concepciones, y los profesores no están acostumbrados a justificar claramente el uso de un determinado método de evaluación, sino que, en su mayoría, aplican el método enunciado. 3) Tradicional-transformativo: Principalmente se aplican exámenes tradicionales al final del curso. El propósito de la evaluación es guiar el aprendizaje de los estudiantes con un enfoque más en el proceso de pensamiento que en conocer los hechos correctos. Sin embargo, estos académicos no pueden describir este proceso guía en su propia enseñanza. 4) Alternativa-transformativa: método de evaluaciones de alta variedad, los profesores están conscientes del propósito de la evaluación; Pueden alinear el método de evaluación con los resultados de aprendizaje esperados. Este último grupo propone una evaluación centrada en todo el proceso de aprendizaje y no solo en los resultados finales.

En la figura 1, a través de cuadrantes positivos y negativos, se presenta el resumen de las principales combinaciones entre concepciones y prácticas que dan lugar a los perfiles de evaluación. Ello da lugar a modelos que se definen como consonantes cuando las concepciones y las prácticas están alineadas teóricamente o disonantes cuando no se produce (Postareff et al., 2008).

Si bien se asume la conveniencia de contar con profesores que practiquen y conciban una evaluación con un perfil más alternativo-transformativo, la literatura ha evidenciado que, aunque algunos profesores suelen declarar un compromiso con este tipo de evaluación, al momento de analizar sus prácticas, éstas presentan una clara disonancia debido a que tienen características más cercanas a las de tipo tradicional (Kemp y Scaife, 2012; Maclellan, 2001). Otros estudios señalan que cuando se aprecia consonancia entre concepciones y prácticas, éstas son predominantemente reproductivas y tradicionales (Postareff et al., 2012).

Investigaciones recientes, entre las que destacan Segers y Tillema (2011) y Brown et al. (2011) apuntan a que diferentes culturas docentes generan diferentes concepciones y prácticas docentes. Por ejemplo, las ciencias exactas tenderían a una mayor valorización de los contenidos que las humanidades, debido a que podrían dar más importancia al manejo de hechos factuales y exactos (Neumann et al., 2002).

Basándose en las orientaciones respecto a creencias sobre evaluación (Samuelowicz y Bain, 2002; Watkins et al., 2005), junto a la categorización entre concepciones y prácticas de Postareff et al. (2012), el instrumento que hemos creado y se desea validar, (Escala de Prácticas y Concepciones de Evaluación de Profesores, EPCEP) puede ser útil para describir los perfiles de evaluación de los profesores universitarios. En particular, interesa saber de qué manera académicos de distintas disciplinas conciben y practican la evaluación, además de conocer si se logra configurar perfiles consonantes o disonantes. Por lo tanto, construir y validar un instrumento que mide concepciones y prácticas de evaluación puede ser una herramienta útil para tomar decisiones, por ejemplo, al: diseñar un programa de perfeccionamiento pedagógico, o al complementar con otras herramientas de medición de las características de profesores universitarios.

Fig. 1: Tipos de perfiles con base en las concepciones y prácticas de evaluación. 

MÉTODO

Se llevó a cabo una investigación con un diseño no experimental transversal de tipo descriptiva. Igualmente se considera un estudio de tipo instrumental (Ato et al., 2013) por tratarse del desarrollo de un instrumento de evaluación.

Participantes

Se consideró a personas que fuesen profesores y profesoras en una universidad privada tradicional regional, sin importar su tipo de contrato, mayores de 18 años y que accedieron voluntariamente a participar del estudio. La selección de los participantes correspondió a un muestreo no probabilístico de tipo intencionado puesto que se envió el cuestionario a la lista de académicos de las facultades de Medicina, Ingeniería y Humanidades de este plantel educacional. La muestra final estuvo conformada por 237 profesores de estas facultades, puesto que representan distintas áreas del conocimiento considerando las carreras que acogen.

En la muestra definitiva, un 46.4% correspondió a mujeres (n=110) y el 53.6% restante a hombres (n=127). Los participantes tienen una edad promedio de 43.1 años (D.E 11.7). La mayoría de los participantes reportó tener entre 0 y 15 años de experiencia como docentes (73%), siendo menor el porcentaje de quienes reportan 16 a 30 años (21.9%) y aún menor 30 años o más (5.1%). Por su parte, considerando los años de experiencia profesional en total, un 56.1% de los participantes reportó tener entre 0 y 15 años, 31.6% entre 16 y 30 y 12.2% más de 30. Finalmente la distribución por facultades fue más bien homogénea, donde Humanidades representó el 36.7%; Medicina el 32.1; e Ingeniería el 31.2%.

Instrumentos

Se consideró un breve cuestionario para caracterizar demográfica y laboralmente a los profesores. En este se preguntó por el sexo, edad, profesión, facultad a la que realiza clases y tiempo de ejercicio profesional y como docente por separado. En primer lugar, se propusieron 56 ítems, 26 de concepciones de evaluación y 30 de prácticas de evaluación. Estos fueron creados mediante una tabla de especificaciones (ver tabla 1) que consideró la dimensión teórica, su definición conceptual y operacional y los distintos indicadores de cada dimensión para finalmente redactar los ítems. Estos fueron sometidos a juicio de tres expertos (DeVelis, 2003) para asegurar la validez de contenido.

Tabla 1: Tabla de especificación 

Esta evaluación se realizó mediante una matriz de cotejo. Si surgía alguna diferencia entre los juicios de los expertos, el procedimiento adoptado fue la discusión con el autor de este trabajo para mantener o eliminar ítems (Haladyna, 2012). Finalmente, se dejaron para la aplicación del piloto 26 reactivos sobre concepciones y 27 sobre prácticas. El formato de respuesta fue de tipo Likert de 1 a 5, donde 1=Muy en desacuerdo, 5=Muy de acuerdo. Se entiende que, a mayor puntaje, mayor es el grado en que el profesor se identifica con una determinada concepción o práctica.

Procedimiento

Esta investigación contó con la aprobación de los comités ético-científico de las universidades Pontificia Universidad Católica de Chile y Universidad Católica del Norte. Con el fin de agilizar la toma de datos se utilizó para la recolección el sistema de encuestas virtuales Limesurvey. Se recurrió a la base de datos de la Universidad, previa autorización, con el fin de obtener los correos electrónicos de los académicos y proceder a enviarles la invitación a participar y el link con el cuestionario. En este se puso en primer lugar el consentimiento informado y una pregunta sobre la aceptación del mismo.

Los datos fueron almacenados en una base de datos en el software IBM SPSS v.21. Para el análisis factorial exploratorio se utilizó como método de extracción el Análisis de Componentes Principales y como método de rotación Varimax. El análisis factorial confirmatorio fue llevado a cabo en el software IBM AMOS v.21. En este caso se utilizó como indicadores de ajuste el coeficiente Chi Cuadrado de Pearson, CFI, TLI y como medida de error el RMSEA. Se consideraron para el análisis saturaciones estandarizadas de los ítems en los constructos, descartándose aquellos que tuviesen saturaciones muy bajas y/o no significativas. Este proceso de eliminación de ítems se realizó de manera secuencial.

RESULTADOS

Se presentan estadísticos descriptivos para las escalas de concepciones y prácticas de evaluación pertenecientes al instrumento EPCEP. La tabla 2 presenta descriptivos de promedio y desviación estándar para la escala Concepciones Transformativas de Evaluación (TRCA). La mayoría de los ítems presentaron altos niveles de acuerdo en torno al extremo superior de la escala. Sólo en el caso del ítem DT13 “Creo que la evaluación debería poner énfasis en la comparación de los aprendizajes esperados con el contexto social del/a estudiante”, el grado de acuerdo baja a un nivel más moderado con una media 3.54. La tabla 3 presenta los estadísticos descriptivos para la escala Concepciones Reproductivas de Evaluación (RECA).

Tabla 2: Concepciones Transformativas de Evaluación (TRCA) 

Tabla 3: Concepciones Reproductivas de Evaluación (RECA) 

En esta escala la mayoría de los ítems presentan un bajo nivel de acuerdo cercano al extremo inferior de la escala. En particular, el más bajo es el reactivo DR7 “Creo que la evaluación debería poner énfasis en la memorización y repetición de hechos, fechas, fórmulas o eventos” que presenta la media más baja. Sólo dos ítems tienen grado de acuerdo moderado y alto respectivamente DR5 “Creo que la evaluación debería poner énfasis en lograr que se cubra la mayor cantidad de contenidos planificados” y DR6 “Creo que la evaluación debería poner énfasis en que los/as estudiantes dominen la información correcta de un determinado módulo de aprendizaje”. La tabla 4 muestra los estadísticos descriptivos para la escala de Prácticas Alternativas de Evaluación (ALPA).

Tabla 4: Prácticas Alternativas de Evaluación (ALPA) 

En general las frecuencias de esta escala son mayoritariamente moderadas a excepción de EA9 “La evaluación que utilizo puede tener herramientas que favorecen que los/as estudiantes establezcan alianzas de cooperación con instituciones del sector público o privado” que tiene una media más bien baja. Por último, en la tabla 5 se observan los estadísticos descriptivos para la escala Prácticas tradicionales de Evaluación (TRPA). La escala presenta más ítems con niveles de frecuencia altos. Sin embargo, el reactivo ET11 “La evaluación que utilizo puede tener herramientas que privilegian la elaboración de productos individuales por sobre los de tipo grupal” tiene una media más baja que las demás.

Tabla 5: Prácticas Tradicionales de Evaluación (TRPA) 

Análisis Factorial Exploratorio

En primer lugar, se evaluó la normalidad de los factores teóricos. En la prueba de Kolmogorov-Smirnov se observa que las escalas tienen distribución normal, a excepción de la escala TRCA (p< 0.05). Sin embargo, analizando su asimetría y curtosis no son acusadamente anormales (< ±2), lo que permite mantener el supuesto de normalidad (Pardo y San Martín, 2010). Por su parte, respecto de los índices de adecuación muestral, se obtuvo un KMO adecuado (0.793) y una prueba de esfericidad de Bartltett estadísticamente significativa (χ2 (378) =1891.807, p < 0.000). Se utilizó un método de extracción de Máxima Verosimilitud y como rotación el algoritmo Varimax dado que los factores no están relacionados entre sí.

Tabla 6: Análisis Factorial Exploratorio con 4 componentes 

El AFE en la tabla 6 muestra con claridad que los factores corresponden a las escalas hipotetizadas en la tabla de especificación del EPCEP. Se eliminaron los ítems ET11 “La evaluación que utilizo puede tener herramientas que privilegian la elaboración de productos individuales por sobre los de tipo grupal” por no poseer ninguna saturación igual o superior a .30. y el ítem EA14 “La evaluación que utilizo puede tener herramientas que promueven la elaboración de explicaciones” que saturó en una dimensión que no le correspondía. El ítem EA10 “La evaluación que utilizo puede tener herramientas que favorecen la participación activa de los/as estudiantes en sus contextos cotidianos de socialización” si bien saturó en dos dimensiones, la carga en el factor 4 (TRPA) fue considerablemente más baja (.302) que la que obtuvo en el factor que le corresponde (.665). Por lo mismo, se procedió a evaluar su retención en el análisis factorial confirmatorio.

Por lo tanto, se puede afirmar que la estructura de este modelo original para el EPCEP correspondería a 26 ítems divididos en escalas de 7 reactivos para TRCA, RECA y 6 preguntas para ALPA y TRPA. Los resultados del análisis de confiabilidad se encuentran en rangos apropiados.

En tanto, los resultados del análisis de confiabilidad, según los criterios que establece DeVellis (2003) muestran que la escala “Prácticas Alternativas” (ALPA) muestra un valor muy bueno, mientras que “Concepciones Transformativas” (TRCA), “Concepciones Reproductivas” (RECA) y “Prácticas Tradicionales” (TRPA) presenta valores considerados como bueno.

Análisis Factorial Confirmatorio

En esta fase se utilizó un AFC para el modelo original que fue evaluado a partir de los índices de bondad de ajuste X2, CFI, TLI, IFI, AICC Y RMSEA según sugiere la literatura (Hair et al, 1998), obteniéndose valores cercanos a lo aceptable, pero aún posibles de mejorar. En el segundo modelo varios índices son mejorados al eliminar dos reactivos de la escala RECA (DR14, DR11); dos de la escala TRPA (ET13, ET8) y uno de TRCA (DT8) mediante la revisión del coeficiente de correlación múltiple cuadrada (r >0.270). En un tercer modelo se alcanzan niveles óptimos de ajuste al eliminar un ítem de la escala RECA (DR7) y otro de TRCA (DT9). Sin embargo, se estimó un cuarto modelo, esta vez considerando que la escala ALPA también tenga cuatro reactivos para evitar una sobre representación de la misma en comparación con las otras. Así, los resultados evidencian una buena calidad de ajuste entre el modelo conjunto para cuatro factores y los datos observados como se observa en la tabla 7. De acuerdo a estos resultados de AFC en la figura 2 se observa el modelo final de EPCEP. Todos los parámetros estandarizados son significativos (p < 0.05), no obstante 13 de ellos no alcanzaron valores considerados como óptimos (r >0.70) (Schreiber et al., 2013). Se puede apreciar que existe una mejora en el CFI, lo que indica un progresivo mejor ajuste.

Fig. 2: Análisis factorial confirmatorio para EPCEP 

Tabla 7: Estadísticos de ajuste de bondad para modelo original y emergentes 

Análisis descriptivo y de confiabilidad de las Escalas del modelo final

Luego de obtener el modelo final que presenta el mejor ajuste, observamos en la tabla 8 que, en un segundo análisis de confiabilidad, las escalas ALPA y TRCA obtienen un valor bueno, mientras que las escalas RECA y TRPA alcanzan valores considerados como mínimamente aceptables (DeVellis, 2003).

Tabla 8: Estadísticos descriptivos y Alpha de Cronbach para las escalas finales después AFC de 4 factores 

DISCUSIÓN

El objetivo del estudio era diseñar un instrumento para medir concepciones y prácticas de evaluación en profesores universitarios. Para ello se validó el instrumento Escala de Prácticas y Concepciones de Evaluación de Profesores (EPCEP), a través del análisis de las propiedades psicométricas de cuatro escalas sobre concepciones y prácticas de evaluación que lo componen. Lo anterior se logró mediante un análisis factorial exploratorio y confirmatorio en una muestra de académicos de educación superior de tres disciplinas diferentes; Medicina, Humanidades e Ingeniería. Los resultados muestran que las propiedades psicométricas son apropiadas para su aplicación en una población de profesores universitarios chilenos. La estructura factorial propuesta establece cuatro factores: 1) Prácticas Alternativas de Evaluación (ALPA), 2) Concepciones Transformativas de Evaluación (TRCA), 3) Concepciones Reproductivas de Evaluación (RECA) y 4) Prácticas Tradicionales de Evaluación (TRPA). Estos cuatro factores son teóricamente coincidentes con lo propuesto en la literatura respecto a la caracterización de cómo un docente de educación superior podría concebir y practicar la evaluación de los aprendizajes de sus estudiantes. Además, el instrumento asegura la no sobre representación de ninguna de las escalas al considerar un modelo de cuatro ítems por cada factor.

Respecto a la consistencia interna del instrumento para todas las escalas es considerado como adecuado (α=.73) según DeVellis (2003). No obstante, en particular las escalas TRPA y RECA presentan valores mínimamente aceptables aunque muy cercanos a bueno (TRPA α=0.70, RECA α=.69). En este sentido, al ser una escala corta, está cerca del límite inferior para que el coeficiente no subestime demasiado la fiabilidad (Oviedo, Campo-Arias, 2005). Sin embargo, dado que el ideal es que se encuentre sobre 0.70, es que se recomienda continuar estudiando las propiedades psicométricas del instrumento. Los reactivos que funcionaron mejor en nuestro instrumento están en línea con la caracterización que la literatura ha descrito en cuanto a: 1) concepciones y prácticas de evaluación más rígidas que enfatizan la reproducción del contenido y su cobertura, con métodos tradicionales que se preocupan principalmente del objetivo final en unidades separadas, lo que constituye el sello distintivo de la evaluación sumativa (Escobar, 2007). 2) concepciones y prácticas de evaluación que relevan la responsabilidad que tiene el propio estudiante de construir de manera flexible su propio aprendizaje con sistemas de evaluación que privilegian, por ejemplo el trabajo colaborativo como ocurre con la evaluación formativa y evaluación para el aprendizaje (Postareff et al., 2012; Carless, 2010).

Así por ejemplo existe coincidencia en que en las concepciones reproductivas de evaluación los ítems con mejores saturaciones son: “creo que la evaluación debería poner énfasis en lograr que se cubra la mayor cantidad de contenidos planificados” o “creo que la evaluación debería poner énfasis en marcos teóricos fijos y estructurados en el currículo del curso como parte de los aprendizajes esperados”. Para los reactivos de prácticas tradicionales, se destacan “la evaluación que utilizo puede tener herramientas que estimulan la observación de unidades segmentadas, jerarquizadas y consecutivas” y “la evaluación que utilizo puede segmentar y estructurar jerarquizadamente los contenidos seleccionados, manteniendo un aumento progresivo del nivel de dificultad”. Pareciera que los profesores universitarios que se inclinan por este tipo de combinaciones otorgan mucha importancia a la cantidad de información que los estudiantes pueden manejar y consideran un buen método el control de estos contenidos en compartimentos por unidades de aprendizaje, pero con evaluaciones que tienen mayor peso a medida que se avanza en la asignatura como por ejemplo los exámenes finales.

En tanto las concepciones transformativas de la evaluación los mejores ítems son “creo que la evaluación debería poner énfasis en la consideración del crecimiento personal como un indicador efectivo de aprendizaje y “creo que la evaluación debería poner énfasis en privilegiar que los/as estudiantes conozcan y se relacionen con un entorno de enseñanza aprendizaje plural y diverso”. Para el caso de las prácticas alternativas se destaca “la evaluación que utilizo puede tener herramientas que favorecen la participación activa de los/as estudiantes en sus contextos cotidianos de socialización o “la evaluación que utilizo puede tener herramientas que favorecen que los/as estudiantes establezcan alianzas de cooperación con instituciones del sector público o privado”. Los profesores que se identifican más con esta combinación de concepciones y prácticas de evaluación podrían tener más presente que el aprendizaje profundo (Biggs y Tang, 2007) se consigue con metodologías activas (López et al., 2016), que sitúan al estudiante en una relación constante de aprendizaje tanto con sus pares dentro del aula (Boud et al., 2014) como con instancias de aprendizaje fuera de ella (Waterman, 2014).

Uno de los hallazgos destacables que reporta la aplicación de este instrumento es que aporta evidencia que ya había sido establecida por la literatura más seminal, en el sentido que tanto concepciones como prácticas de evaluación pueden ser medidas en un continuo que va desde lo más simplificado a lo más sofisticado. Es decir, desde un nivel de concepciones donde prima la reproducción y cobertura de contenidos a uno de construcción de conocimiento. Y en materia de prácticas, desde las formas más rígidas hasta la innovación (Halinen et al., 2014; Postareff et al. 2012; Samuelowicz y Bain 2002; Watkins et al., 2005).

Es importante señalar que se encontró relación entre algunos de los factores, no habiéndola entre la dimensión de Concepciones reproductivas (RECA) y Prácticas alternativas (ALPA). Es importante en primer lugar la relación entre las dimensiones relacionadas con las prácticas, la que es positiva, lo que implica que tanto las alternativas como las tradicionales suelen coexistir en un mismo sujeto, no necesariamente porque ambas conlleven la otra, sino que el contexto de formación tradicional coexiste con un intento de la institución por incorporar prácticas alternativas en el quehacer de los docentes. Lo contrario se obtuvo en las concepciones, donde la covarianza es negativa, indicando que altos puntajes en una se relacionan con bajos en la otra. Dado que las concepciones son en parte creencias internalizadas por los sujetos, es esperable que se relacionen de esta forma, considerando que son concepciones opuestas. Por otra parte, como se mencionó, las prácticas se presentan en medidas similares en los participantes. De aquí que se recomienda igualmente continuar el estudio de la forma en que se organizan estas dimensiones.

Sin embargo, aun cuando existe correlación entre algunos factores, la naturaleza teórica del modelo no considera que se causen mutuamente o que se ocasionen, sino que, al considerarse con un sistema de cuadrantes, estas son ortogonales. Por lo mismo, es que se utilizó un método de rotación que no asume relación entre las variables como es el método Varimax, el que es más teóricamente concordante con la estructura propuesta. Esto es, dimensiones independientes que tienen posibilidad de presentarse en niveles similares en un mismo sujeto pero que igualmente deben considerarse como ortogonales.

Esta investigación presenta algunas limitaciones como la muestra utilizada, la cual pertenece a una misma institución. Además de ampliar el número de casos, se sugiere seguir aumentando la representación de más disciplinas aparte de Medicina, Ingeniería y Humanidades y en otras entidades de educación superior con el objetivo de continuar mejorando la validez y confiabilidad de las escalas del EPCEP. En términos de investigaciones futuras, se podría continuar estudiando la conformación de perfiles de evaluación de acuerdo a la combinación de concepciones y prácticas que resultaran tanto en los de tipo consonante como disonantes (Postareff et al, 2008), así como también la asociación de las escalas del instrumento con variables del contexto educativo como por ejemplo el perfeccionamiento académico, la pertenencia a distintas facultades, el grado académico o el tipo de contrato de los profesores universitarios.

CONCLUSIONES

Los resultados obtenidos permiten establecer que el objetivo del presente estudio se cumple por cuanto: 1) el EPCEP posee propiedades psicométricas adecuadas para medir concepciones y prácticas de evaluación en profesores universitarios, ya que las escalas que lo componen poseen validez interna suficiente y la estructura factorial presenta cuatro factores coincidentes con la hipotetizado en la literatura. 2) Lo anterior podría contribuir en el mejor entendimiento de los perfiles de evaluación de los académicos que se construyen con base en la combinación de concepciones y prácticas evaluativas con un inventario de fácil aplicación, que puede ayudar a comprender mejor un elemento relevante de la docencia, la evaluación, que tiene influencia clave en el proceso de enseñanza- aprendizaje. 3) Con investigaciones futuras referentes a la estructura del mismo cuestionario y de la teoría que lo sustenta, y evaluando la relación del mismo con otros, además de evaluar la estructura teórica ortogonal, este instrumento puede servir a futuro como base diagnóstica en el diseño y planificación de programas de formación en docencia para potenciar el desarrollo profesional de los académicos.

AGRADECIMIENTOS

El primer autor es becario doctorado nacional Conicyt nº 21130399 y le gustaría agradecer la asesoría externa de Liisa Postareff, de la Universidad de Ciencias Aplicadas HAMK, Finlandia.

REFERENCIAS

Ato, M., J. J. López y A. Benavente, Un sistema de clasificación de los diseños de investigación en psicología. Anales de psicología, 29(3), 1038-1059 (2013). [ Links ]

Biggs, J., y C. Tang, Teaching for quality learning at University. What the students do. UK, Mc Graw Hill. (2007). [ Links ]

Boud, D., R. Cohen y J. Sampson, Peer learning in higher education: Learning from and with each other. Routledge (2014). [ Links ]

Boud, D. , y N, Falchikov (Eds.), Rethinking assessment in higher education: Learning for the longer term. Routledge (2007). [ Links ]

Brown, G. T., K. J. Kennedy, P. K. Fok, J. K. S. Chan y W. M. Yu, Assessment for student improvement: Understanding Hong Kong teachers’ conceptions and practices of assessment. Assessment in education: principles, policy & practice, 16(3), 347-363 (2009). [ Links ]

Brown, G. T. , R. Lake y G. Matters, Assessment policy and practice effects on New Zeland and Queensland teachers' conceptions of teaching. Journal of Education for Teaching, 35(1), 61-75 (2009). [ Links ]

Brown, G. T. , R. Lake y G. Matters, Queensland teachers’ conceptions of assessment: The impact of policy priorities on teacher attitudes. Teaching and Teacher Education, 27(1), 210-220 (2011). [ Links ]

Carless, D., G. Joughin, N. Lui, How assessment supports learning: Learning oriented assessment in action. [ Kindle version ]. Recuperado de https://www.jstor.org/stable/j.ctt1xwdgd (2010). [ Links ]

Carless, D. , Exploring learning-oriented assessment processes, doi:10.1007/s10734-014-9816-z, Journal of Higher Education. 68(4) (2014). [ Links ]

Carless, D. , Excellence in university assessment: Learning from award-winning practice. Routledge (2015). [ Links ]

Celina, H. y A. Campo Arias, Aproximación al uso del coeficiente alfa de Cronbach. Revista colombiana de psiquiatría, 34(4) (2005). [ Links ]

DeVellis, R. F., Scale development: theory and applications (2da ed.). Thousand Oaks, Calif.: Sage Publications, Inc. (2003). [ Links ]

Escobar, J. V., Evaluación de aprendizajes. Un asunto vital en la educación superior. Revista Lasallista de investigación, 4(2), 50-58 (2007). [ Links ]

Fletcher, R. B., L. H. Meyer, H. Anderson, P. Johnston, y M. Rees, Faculty and students conceptions of assessment in higher education. Higher education, 64(1), 119-133 (2012). [ Links ]

Gibbs, G., How assessment frames student learning; In Innovative assessment in higher education (pp. 43-56), Routledge (2006) [ Links ]

Hair, J., R. Anderson, R. Tatham y W. Black, Multivariate data analysis (5th ed.). Upper Saddle River, N.J.: Prentice Hall (1998). [ Links ]

Haladyna, T. M., Developing and validating multiple-choice test items, Routledge (2012). [ Links ]

Halinen, K., M. Ruohoniemi, N. Katajavuori y V. Virtanen, Life science teachers' discourse on assessment: a valuable insight into the variable conceptions of assessment in higher education, doi:10.1080/00219266.2013.799082, Journal of Biological Education, 48(1), 16-22 (2014). [ Links ]

Kemp, S., y J. Scaife, Misunderstood and neglected? Diagnostic and formative assessment practices of lecturers, doi:10.1080/02607476.2012.656443, Journal of Education for Teaching, 38(2), 181-192 (2012). [ Links ]

Knight, P. T., The Achilles' heel of quality: the assessment of student learning. Quality in Higher Education, 8(1), 107-115 (2002). [ Links ]

López, C., V. Benedito y M. J. León, El Enfoque de Competencias en la Formación Universitaria y su Impacto en la Evaluación: La Perspectiva de un Grupo de Profesionales Expertos en Pedagogía, https://dx.doi.org/10.4067/S0718-50062016000400003, Formación universitaria, 9(4), 11-22 (2016). [ Links ]

Maclellan, E., Assessment for learning: the differing perceptions of tutors and students. Assessment & Evaluation in Higher Education, 26(4), 307-318 (2001). [ Links ]

Neumann, R., S. Parry y T., Becher, Teaching and learning in their disciplinary contexts: A conceptual analysis. Studies in higher education, 27(4), 405-417 (2002). [ Links ]

Pardo, A. y R. San Martín, Análisis de datos en ciencias sociales y de la salud II. Síntesis, Madrid (2010). [ Links ]

Postareff, L., y S. Lindblom-Ylänne, Variation in teachers' descriptions of teaching: Broadening the understanding of teaching in higher education. Learning and Instruction, 18(2), 109-120 (2008). [ Links ]

Postareff, L. , N. Katajavuori, S. Lindblom-Llänne y Trigwell, Consonance and dissonance in descriptions of teaching of university teachers. Studies in Higher Education, 33(1), 49-61 (2008). [ Links ]

Postareff, L. , V. Virtanen, N. Katajavuori y S. Lindblom-Ylänne, Academics’ conceptions of assessment and their assessment practices. Studies in Educational Evaluation (38), 84-92 (2012). [ Links ]

Ramsden, P., Learning to teach in higher education, Routledge (2003). [ Links ]

Sadler, D. R., Formative assessment: Revisiting the territory. Assessment in Education: Principles, Policy & Practice, 5(1), 77-84 (1998). [ Links ]

Samuelowicz, K., J.D. Bain, Identifying academics' orientations to assessment practice, doi:10.1023/a:1013796916022, Higher Education, 43(2), 173-201 (2002). [ Links ]

Schreiber, L. M., y B. E. Valle, Social constructivist teaching strategies in the small groupclassroom, doi:10.1177/1046496413488422, Small Group Research, 44(4), 395-411 (2013). [ Links ]

Segers, M., H. Tillema, How do Dutch secondary teachers and students conceive the purpose of assessment? Studies in Educational Evaluation, 37(1), 49-54 (2011). [ Links ]

Taras, M., Assessment-summative and formative-some theoretical reflections. British Journal of Educational Studies, 53(4), 466-478 (2005). [ Links ]

Waterman, A. S. (Ed.), Service-learning: Applications from the research, Routledge (2014). [ Links ]

Webber, K., The use of learner-centered assessment in US colleges and universities, doi:10.1007/s11162-011-9245-0, Research in Higher Education, 53(2), 201-228 (2012). [ Links ]

Received: February 25, 2019; Accepted: April 17, 2019

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons