SciELO - Scientific Electronic Library Online

 
 número48Relación entre la composición social de la comuna y la de las escuelas en la Región Metropolitana de SantiagoLa Primavera Chilena: ni conservadora ni revolucionaria. Una explicación sociológica del significado histórico del movimiento universitario chileno del año 2011 índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Calidad en la educación

versión On-line ISSN 0718-4565

Calidad en la educación  no.48 Santiago jul. 2018

http://dx.doi.org/10.31619/caledu.n48.482 

Estudios

Compromiso estudiantil en educación superior: adaptación y validación de un cuestionario de evaluación en universidades chilenas

Student engagement in higher education: adaptation and validation of an assessment instrument in chilean universities

Gonzalo Zapata2 

Pete Leihy3 

Daniel Theurillat4 

2 Facultad de Educación, Pontificia Universidad Católica de Chile, Santiago, Chile. Contacto: gonzalozapata@uc.cl

3 Facultad de Educación, Pontificia Universidad Católica de Chile, Santiago, Chile. Contacto: peleihy@uc.cl

4 Facultad de Educación, Pontificia Universidad Católica de Chile, Santiago, Chile. Contacto: dtheuril@uc.cl

Resumen

Conocer cómo aprenden los estudiantes es una tarea compleja, pero indispensable para el mejoramiento de la calidad de la educación superior. Los cuestionarios de evaluación del compromiso estudiantil ofrecen una aproximación útil para abordar la diversidad de experiencias de aprendizaje. Sin embargo, la calidad de las evidencias que estos proporcionan depende de la validez de los instrumentos y su adecuada contextualización. Este artículo reporta resultados de un proyecto que ajustó, piloteó y validó un cuestionario de medición del compromiso estudiantil en una muestra de estudiantes de pregrado en tres universidades chilenas. A partir del cuestionario utilizado por el National Survey of Student Engagement, NSSE (2013), se adaptaron y validaron estadísticamente los índices e ítems sobre compromiso estudiantil en el contexto nacional. Los resultados sugieren que los índices de compromiso estudiantil se comportan parcialmente bien, requiriéndose introducir ajustes que permitan mejorar significativamente su validez. Al respecto, se reportan los procedimientos de adaptación y validación del instrumento, así como también alternativas de ajuste. Se contribuye de esta forma a mejorar la validez del instrumento para el contexto nacional, y levantar evidencias en torno al compromiso y experiencia estudiantil en Chile.

Palabras clave: compromiso estudiantil; educación superior; universidades chilenas

Abstract

To understand how students learn is a complex, yet indispensable, endeavor for quality improvement in higher education. Student engagement questionnaires offer useful snapshots to capture the diversity of learning experiences. Nonetheless, the quality of evidence that they provide depends upon the instruments’ validity and contextual relevancy. This article reports on the adjusting, piloting and validation of a questionnaire to measure student engagement, among a sample of undergraduates at three Chilean universities. We adapted and validated, in the Chilean context, indices and items regarding student commitment from the 2013 version of the National Survey of Student Engagement. The results suggest that the student engagement indices only partially function and thus require modifications to significantly improve validity. To that end, the processes of adaptation and validation of the instrument are reported, as well as adjustment alternatives. This research contributes to the improvement of the validity of the instrument in the local context, providing insights on student engagement and experiences in Chile.

Keywords: Chilean universities; higher education; student engagement

Introducción

Antecedentes

La literatura ha prestado gran atención a los desafíos y problemas que implica hacerse cargo de una educación superior de acceso masivo, universal o de alta participación (Marginson, 2016; Trow, 1970; 1973). Aunque parte importante de la investigación ha abordado el tema de la masificación desde una perspectiva sistémica y a nivel agregado, también ha existido desde temprano amplio interés por entender los profundos cambios en la población estudiantil y la manera específica en que las instituciones de educación superior se hacen cargo de ellos.

Estados Unidos ha sido pionero en esta materia. Uno de los primeros intentos para entender los cambios en el estudiantado norteamericano se remonta a la investigación en contextos industriales y al ingreso de estudiantes de etnias antes subrepresentadas en el país (Tyler, 1930). La masificación y creciente diversificación de la población estudiantil fue el resultado de los generosos aportes federales para los veteranos de la II Guerra Mundial. En ese contexto, Clark y Trow (1966) desarrollaron una de las primeras investigaciones sistemáticas acerca del cambio de comportamientos e ideas en la nueva generación de estudiantes -baby boomers, en inglés-, sus dinámicas y subculturas. Un par de años después, el informe Muscatine (1968) reportó evidencia empírica respecto de los cambios en la vida universitaria producidos por la incorporación de estudiantes pertenecientes a clases sociales antes marginadas de la educación superior.

El creciente acceso a bases de datos e información estadística desde principios de la década del setenta permitió desarrollar en los Estados Unidos importantes estudios que abordaban diversos aspectos relativos a los alumnos. Aquellos desarrollados por Vincent Tinto (1975; 1987) fueron muy relevantes para abordar metodológicamente los factores asociados al abandono estudiantil. También está la gran cantidad de investigación empírica desarrollada por Ernest Pascarella y Patrick Terenzini (1991; 2005) que ofrece evidencias de los estudiantes y la manera en que las instituciones los afectan, describiendo los factores que influyen en la experiencia estudiantil y su influencia en el egreso.

Desde los años ochenta, en el resto del mundo desarrollado se ha impulsado fuertemente el estudio de la enseñanza y aprendizaje en los estudiantes bajo un nuevo contexto de educación masiva y diversa. Lo que algunos autores denominan como “student learning research” (Biggs, 1994; Ramsden, 1985), aborda justamente una línea relevante de investigación acerca de las trayectorias y experiencia de los estudiantes. El foco ha radicado en conocer más y mejor el aprendizaje y los resultados obtenidos por estos, particularmente, desde una mirada de mejoramiento de la docencia impartida.

Frente a una larga tradición de “culpabilizar al estudiante” -blame the student- (Biggs, 1994; Clark, 1960; Tinto, 2006), por las carencias que aparentemente explicarían los problemas de deserción y fracaso estudiantil, la investigación especializada se ha ido volcando cada vez más a comprender el complejo proceso de enseñanza-aprendizaje, y respecto del cual corresponde más bien responsabilizar a las instituciones de educación superior por el logro de resultados.

En Chile y en la región, ha existido un amplio debate respecto de la rápida transformación y crecimiento de los sistemas de educación superior, lo que implica hacerse cargo de un conjunto de nuevos desafíos propios de un contexto cambiante (ver, por ejemplo, a Brunner, 2010; Lamarra, 2012). Pese a las limitaciones de información, se han realizado esfuerzos por analizar a los estudiantes y sus trayectorias, prestando especial atención a los altos niveles de deserción que se observan en la educación terciaria (en América Latina, se puede indicar lo aportado por el Centro Interuniversitario de Desarrollo, CINDA, 2005; en tanto que en Chile se puede consultar a González y Uribe, 2002). La experiencia de aprendizaje solo ha empezado a ser objeto de un estudio sistemático recientemente (González, 2015).

La gran cantidad de investigación llevada a cabo en el mundo desarrollado contrasta con la poca y limitada investigación disponible en el país. Recién en esta década, se comienza a producir cierta evidencia empírica relativa a la experiencia y compromiso estudiantil en Chile (González, 2010; González, Montenegro, López, Munita y Collao, 2011; Hinrichs, Ortiz y Pérez, 2016; Parra, 2010; Polanco et al., 2014; Spormann et al., 2015). Aunque la investigación disponible sugiere que existen relaciones significativas entre experiencia estudiantil y desempeño, la evidencia empírica es todavía muy limitada, estando enmarcada en ciertos contextos muy acotados.

Foco en la experiencia y compromiso estudiantil

El desarrollo de los sistemas de educación superior y el creciente interés en las trayectorias de los estudiantes ha logrado generar gran acopio de información y estadísticas. Mucho de ese material se concentró originalmente en las características institucionales, los recursos disponibles y los antecedentes de los estudiantes (Kells, 1993). Sin embargo, con el tiempo la investigación ha ido evolucionando desde el estudio de los insumos, crecientemente, hacia el análisis de los procesos y los resultados de aprendizaje. Se trata de un cambio de enfoque que ha sido lento y paulatino, donde la pregunta central de la educación superior en un nuevo contexto es acerca de cómo aprenden los estudiantes y de qué modo se puede mejorar (Kuh et al., 2014).

Por un lado, los regímenes de aseguramiento de la calidad - instalados en parte importante del mundo desarrollado- han relevado la necesidad de documentar la adquisición de competencias, destrezas y habilidades en los estudiantes (Cabrera, Colbeck & Terenzini, 1998). Por otro, las evaluaciones que se realizan en ese contexto son más bien esporádicas y su éxito pasa por la generación de capacidades institucionales de abordar el complejo desafío de la formación en un contexto diverso y dinámico como el actual. El enfoque de procesos y de evaluación de resultados está muy lejos de una simple descripción de las oportunidades de enseñanza, por el contrario, aborda la experiencia de aprendizaje misma de estudiantes diversos, reforzando la necesidad de contar con información respecto de su inserción en el mundo del trabajo, pero también se hace cargo del aprendizaje en contextos de formación general de los estudiantes, revalorizándose la función de responsabilidad social y ciudadana, aunque no exista una fórmula precisa para evaluar su impacto (Association of American Colleges and Universities, AACU, 2012).

Existen múltiples esfuerzos para apreciar los resultados formativos y medir el valor que las instituciones de educación superior agregan a sus estudiantes. Sin embargo, ha sido muy difícil desarrollar una metodología razonablemente sustentable que permita evaluar logros de aprendizajes en diversos contextos y compararlos (Assessment of Higher Education Learning Outcomes, AHELO, 2012-2013).

Los estudios en torno al compromiso estudiantil corresponden a un tipo de perspectiva dentro de una línea más amplia de investigación referida a aprendizajes (González, 2015). Se trata de estudios que colocan su énfasis en la noción de involucramiento (engagement), el que puede producirse y fomentarse a través de diversos modos, y que resulta indispensable para promover aprendizajes significativos. Desarrollado originalmente en los Estados Unidos, se ha ido expandiendo en diversos países del mundo por su capacidad de proveer de evidencias acerca del aprendizaje de los estudiantes, sus contextos e impactar en una mejor educación superior (Kuh et al., 2014).

Student engamement, traducido al español como compromiso estudiantil, se refiere fundamentalmente a un estado psicoafectivo persistente, caracterizado por el vigor y energía que los estudiantes ponen respecto de sus estudios y, particularmente, hacia su aprendizaje. Promueve la dedicación hacia el estudio profundo, la concentración y la valoración de la actividad académica, pese a los naturales contratiempos y dificultades que puedan existir (Schaufeli, Martinez, Pinto, Salanova & Bakker, 2002). Se trata de un término que ha ido evolucionado durante las últimas décadas, incorporando progresivamente la dimensión de conexión entre las actividades de formación y el aprendizaje (Coates, 2005). En este sentido, no se trataría solo de commitment o compromise (en sus acepciones de “acuerdo formal” u “obligación que se contrae respecto de algo”, en sus traducciones al español), sino también un estrecho vínculo (y relación de dependencia) entre ciertas dimensiones del trabajo de los estudiantes con el logro de resultados del aprendizaje.

El supuesto a la base de esta perspectiva es que el aprendizaje necesita fuerte inversión de tiempo y esfuerzos por parte de los estudiantes, mientras que las instituciones de educación superior deben desarrollar actividades consistentes y ofrecer condiciones adecuadas para el logro de aprendizajes efectivos. Así entonces, el foco está puesto en conocer mejor cómo se involucran y comprometen los estudiantes con su aprendizaje, y qué pueden hacer las instituciones para mejorar sus políticas y prácticas que impacten estimulando el aprendizaje de los estudiantes (Kuh et al., 2014).

Instrumentos de evaluación del compromiso estudiantil

En 1998, la Universidad de Indiana diseñó por primera vez un instrumento de medición del compromiso estudiantil, el denominado National Survey of Student Engagement, NSSE. Su propósito original era reunir información acerca de la calidad de los estudios (fundamentalmente de pregrado) y las calificaciones obtenidas por los estudiantes. Fue desarrollado como parte de un esfuerzo colaborativo del que participaron numerosas universidades norteamericanas, que reunieron y analizaron información respecto de sus estudiantes, colaborando entre sí y compartiendo la información recogida.

Con el tiempo, los propósitos, diseño y reportes del cuestionario fueron evolucionando, según se fue acumulando la investigación de experiencias estudiantiles. En efecto, se trata de un instrumento que intenta identificar los niveles de desarrollo que presentan los estudiantes en un conjunto de dimensiones que aparecen como relevantes para que el aprendizaje se produzca. Ewell (2010) sintetiza las principales dimensiones de las prácticas educacionales efectivas que son habitualmente evaluadas mediante el estudio del compromiso de los estudiantes en los siguientes cuatro aspectos: el nivel de desafío académico (academic challenge), el aprendizaje colaborativo con pares (learning with peers), la calidad de la experiencia con docentes (experiences with faculty), y el entorno institucional para el aprendizaje (campus environment).

El cuestionario NSSE (2013) incluye 109 ítems (preguntas) asociadas con diversos aspectos de la experiencia estudiantil. Incluye 42 preguntas relacionadas con diez índices de compromiso estudiantil1, que a su vez están agrupados en las cuatro dimensiones antes indicadas, según se ilustra a continuación.

• Desafío académico, que incluye los índices de: Aprendizaje de orden superior; Aprendizaje reflexivo e integrativo; Estrategias de aprendizaje y Razonamiento cuantitativo.

• Aprendizaje con pares, que incluye: Aprendizaje colaborativo e Interacción con otros.

• Experiencia con docentes, que incluye: Interacción estudiante-docente y Prácticas docentes efectivas.

• Entorno institucional, que incluye: Calidad de las interacciones y Apoyo institucional.

Fuente: Elaboración y traducción propia, a partir de NSSE 2013

Figura 1 Dimensiones e índices de compromiso estudiantil NSSE (2013) . 

Adicionalmente, NSSE (2013) cuenta con seis preguntas asociadas al nivel de desarrollo de ciertas “prácticas de alto impacto” (high impact practice, HIP por sus siglas en inglés), que corresponden a factores que en la experiencia norteamericana han demostrado un alto impacto en retención y aprendizaje estudiantil3. Finalmente, el cuestionario contiene también preguntas de caracterización individual, antecedentes previos e información demográfica.

El cuestionario está diseñado para ser aplicado a distintos tipos de instituciones y a estudiantes de pregrado en diversos programas, fijando como muestra a los estudiantes de primer/último año (junior y seniors). NSSE ha ido desarrollando protocolos para su aplicación y requisitos para la obtención de muestras adecuadas para las instituciones participantes, aunque también se considera una cierta flexibilidad para ajustarse a diferentes tipos de instituciones y sus necesidades de información. Con el objeto de permitir la colaboración entre instituciones, el cuestionario es administrado centralmente por un centro de investigación especializado de la Universidad de Indiana, que es la responsable de proveer reportes individuales para cada una de las instituciones y reportes generales con información a nivel agregado4.

La expansión de esta iniciativa ha sido importante, encontrando un nivel de aceptación y uso a nivel internacional muy significativo. Al año 2014, NSSE se aplicaba a casi medio millón de estudiantes en más de 700 universidades y escuelas en los Estados Unidos y Canadá. Por su parte, los cuestionarios de medición del compromiso estudiantil se han expandido a más de una docena de otros países, siendo adaptados y aplicados ampliamente en los últimos años en países como Australia y Nueva Zelanda (AUSSE), Sudáfrica (SASSE), China (CCSS), Irlanda (ISSE), UK (UKES), entre los más importantes. Existen, además, desarrollos de iniciativas similares en el Sudeste de Asia, Corea del Sur y el mundo árabe. Recientemente, han emergido otros enfoques para examinar la experiencia estudiantil, como ocurre, por ejemplo, con la encuesta francesa Observatoire de la Vie Etudiante y la iniciativa europea Eurostudent.

Se trata de desarrollos que buscan sistematizar la experiencia estudiantil y promover el uso de evidencia empírica acerca del compromiso y mejoramiento de los procesos de enseñanza-aprendizaje. Un aspecto clave, por cierto, está en comprender que se trata de instrumentos que cuentan con limitaciones inherentes a cualquier cuestionario y que requieren una implementación cuidadosa y debidamente contextualizada (Brogt & Comer, 2013). La necesidad de contextualizar y calibrar permanentemente estos instrumentos está a la base de reconocer las diferencias que existen acerca de la forma de comprender y vivir la experiencia estudiantil en distintas latitudes y periodos de tiempo, y de asumir el dinamismo que esta posee.

Originalmente, los instrumentos de NSSE fueron diseñados para el contexto norteamericano de los años setenta, basados en una población estudiantil tradicional y predominantemente de élite. Hoy, en cambio, tratan de capturar la enorme diversidad de experiencias estudiantiles de un estudiantado que muestra gran dinamismo. Desde su primer diseño a fines de los noventa, el cuestionario de NSSE ha sufrido varios cambios por esos motivos.

Por su parte, los ajustes de este tipo de instrumentos para otros contextos y realidades nacionales son también clave. La literatura reporta diversos estudios y adaptaciones necesarias para ajustarse a otros contextos, los que han logrado capturar las especificidades propias de los sistemas, además de contribuir a un mejor entendimiento del aprendizaje de los estudiantes y, lo que es más importante, a su optimización desde las instituciones de educación superior (Coates & McCormick, 2014).

Aunque la discusión sobre los beneficios y limitaciones del uso de estos instrumentos ha sido importante, su aplicación ha tendido a crecer y popularizarse. En efecto, algunos critican la excesiva simplificación de la experiencia estudiantil (Hagel, Carr & Devlin, 2012), o bien el problema de no evaluar directamente aprendizajes (Finnie & Usher, 2005). Otros notan que NSSE ha tenido un menor impacto público que el esperado (Ewell, 2010), lo que plantea mayores exigencias en el uso de los resultados y gestión académica. Por otra parte, existen críticas a la validez de constructo de los índices, planteándose que es preciso someter a este tipo de instrumentos a procedimientos de validación y estándares más exigentes (Campbell & Cabrera, 2011).

A nuestro juicio, es indispensable evaluar cuidadosamente la validez de los modelos y sus índices, realizando los ajustes necesarios que permitan mejorar la calidad de la información proporcionada. La experiencia muestra que estos instrumentos pueden mejorar su validez en el tiempo, según avanza la investigación empírica y se sistematizan los resultados obtenidos (McCormick, Kinzie & Gonyea, 2013). A su vez, aunque su uso se ha popularizado en diversos países e instituciones, es indispensable realizar mayores esfuerzos destinados al uso intensivo de las evidencias que ofrecen estos instrumentos, aprovechando la riqueza del trabajo colaborativo y poniéndolas al servicio del mejoramiento de la calidad.

Durante los últimos 15 años, puede apreciarse una relativa convergencia entre académicos, políticos y técnicos en que las políticas del aseguramiento de la calidad han subestimado la experiencia estudiantil y el foco en los resultados de aprendizaje. Más bien, han promovido una evaluación a veces excesivamente formal (o de cumplimiento de ciertas condiciones muy generales) que no necesariamente se hace cargo de un sistema más diverso y dinámico (Westerheijden, Stensaker & Rosa, 2007).

En este sentido, cabe reconocer que el estudio de la experiencia estudiantil parece fundamental para enriquecer la gestión de la calidad, incidir en la mejora continua y guiar el uso de los recursos disponibles para el aprendizaje. Pero se requiere de la generación de una cultura de la evaluación, que incorpore efectivamente prácticas de evaluación y una gestión de la calidad en consecuencia (Kells, 1993). La evaluación de procesos y resultados, a veces tan desatendidos por las instituciones de educación superior, vuelca la mirada sobre el flujo vital del sistema: los estudiantes y sus aprendizajes (Barr & Tagg, 1995). La riqueza y beneficios de un estudio sistemático sobre la experiencia estudiantil se obtienen no solo del trabajo realizado individualmente por las instituciones, sino que también de la colaboración mutua, al compartir las maneras en que otras instituciones han enfrentado desafíos análogos en contexto similares (Kuh, 2001). En suma, el aprovechamiento de este tipo de instrumentos involucra un trabajo de gestión y planificación en el tiempo, que precisa de un mejor conocimiento técnico de la actividad que se realiza, así también como del fortalecimiento y aprendizaje institucional colectivo, que responda a desafíos de la política pública, o bien que se levante desde las propias instituciones comprometidas con ofrecer una educación superior de calidad (Barnett, 1992; Middaugh, 2011).

1. Objetivos, diseño metodológico, instrumento y trabajo de campo

1.1. Objetivos

Esta investigación se propuso diseñar, pilotear y validar un instrumento de evaluación de compromiso estudiantil con fines de aprendizaje y mejoramiento de la calidad. Para lo anterior, se abordó la experiencia nacional e internacional referente a instrumentos de evaluación del compromiso estudiantil -student engagement-, que evalúan diversas dimensiones de la experiencia estudiantil, aportando evidencias para mejorar las políticas, prácticas y experiencia formativa de los estudiantes.

Considerando que el instrumento de más larga trayectoria y acumulación de investigación es el desarrollado por la Universidad de Indiana en los Estados Unidos, se procedió a realizar un trabajo de adaptación y validación de la Encuesta Nacional de Compromiso Estudiantil (NSSE, 2013) en dos etapas. Primero, se realizó un proceso de preparación del instrumento, que incluyó su traducción y pretest cognitivo (análisis cualitativo) del cuestionario. Luego, se aplicó un piloto en una muestra de universidades chilenas, evaluando la validez estadística de los índices de compromiso estudiantil y sugiriendo algunos ajustes para futuras aplicaciones. La hipótesis de trabajo fue que el modelo de cuestionario e índices NSSE, desarrollado en el contexto norteamericano, podía ser replicado (y ajustado) en el contexto chileno actual.

1.2. Diseño metodológico y muestra

Este estudio contó con un diseño preliminar exploratorio y descriptivo, que fue abordado mediante una metodología mixta, de tipo cualitativa-cuantitativa. Se trató de un estudio exploratorio puesto que, como se planteó anteriormente, no existe aún investigación sistemática en el país respecto de las experiencias estudiantiles. Este proyecto constituye una de las primeras aproximaciones a la medición del compromiso de los estudiantes en universidades chilenas, utilizando un instrumento piloto elaborado sobre referentes internacionales y adaptado preliminarmente a la realidad local. Asimismo, se trató de un estudio de carácter descriptivo, porque se propuso detallar resultados de la aplicación del instrumento, así como realizar un primer ejercicio de validación estadística que permitiera conocer cómo se comporta, particularmente respecto de los índices de compromiso estudiantil en contexto local5.

Este proyecto se propuso contribuir al diseño y ajuste de un instrumento, abordando especialmente el análisis de su validez y confiabilidad, así como ha sido estudiado en otros contextos. En general, los análisis de validez buscan aportar evidencia respecto de la medida en que las preguntas, sus alternativas de respuesta y las escalas definidas a partir de ellas, logran medir realmente lo que pretenden cuantificar. Para ello, se aplican habitualmente técnicas cualitativas que identifican la correcta comprensión de las preguntas y sus alternativas de respuesta originales en los nuevos contextos en las que se aplican (Collins, 2003). Asimismo, se realizan análisis estadísticos psicométricos que examinan qué tan bien se replican en las nuevas circunstancias (Brown, 2014 Campbell & Cabrera, 2011; NSSE, s.f.) los conceptos teóricos (constructos) definidos en las aplicaciones iniciales. Por su parte, los análisis de confiabilidad buscan evaluar en qué medida dichos constructos son internamente consistentes, vale decir, qué tanto se correlacionan los indicadores que los componen (Campbell & Cabrera, 2011; Carle, Jaffee, Vaughan & Eder, 2009; LaNasa, Cabrera & Trangsrud, 2009).

La población objetivo para los efectos del estudio fueron estudiantes de programas de pregrado en el contexto de las universidades chilenas. Se consideró como carreras de pregrado a aquellas de una duración igual o superior a cuatro años, conducentes a una licenciatura y título profesional (equivalentes al nivel 6, ISCED-20116). Lo anterior obedece a la naturaleza del instrumento, cuya aplicación en contextos internacionales se ha dado preferentemente en estudiantes pertenecientes a programas terciarios de primer ciclo, conducentes a licenciatura, bachiller o equivalente.

Para este estudio, se invitó a participar y se seleccionó a tres universidades, de acuerdo con los siguientes criterios: su liderazgo en el sector, diversidad de programas, suficiente tamaño de la matrícula, su ubicación geográfica (metropolitana/regional) y naturaleza jurídica (pública/privada). Se optó por focalizar el trabajo con las instituciones pertenecientes al Consejo de Rectores de las Universidades Chilenas (CRUCH), considerando que existe una instancia de trabajo conjunto de las direcciones académicas de sus universidades miembro, en la que se ha manifestado el interés de colaboración mutua. De acuerdo con lo anterior, se invitó formalmente a la Universidad de Valparaíso, a la Universidad de Chile y a la Pontificia Universidad Católica de Chile.

Se trata de tres universidades de larga historia y liderazgo en sus respectivos sectores. Cuentan con una amplia oferta de programas y matrícula. Aunque comparten ciertas características en términos de calidad (se trata de universidades acreditadas y adscritas al sistema nacional de admisión), son también diversas entre sí (por su naturaleza jurídica, proyecto institucional, ubicación geográfica y perfil de su población estudiantil).

El diseño, aplicación piloto y validación del instrumento consideró básicamente dos etapas de trabajo:

• Una etapa de preparación del instrumento, que incluyó su traducción y pretest cognitivo en una muestra de estudiantes de las tres universidades participantes (análisis cualitativo, n = 32).

• Aplicación piloto y validación de los índices de compromiso estudiantil (análisis cuantitativo, n = 900, n válido = 803).

1.3. Traducción y preparación

El cuestionario de compromiso estudiantil se desarrolló a partir de un borrador preliminar correspondiente a la versión 2013 de NSSE. Dicho instrumento fue traducido y utilizado por la Universidad de Valparaíso (UV) en el año 2015. En su traducción, se consideraron dos revisores: un especialista en lengua inglesa (primera lengua) y en español, que fuera al mismo tiempo experto en el campo de la educación superior y procesos de gestión académica, y un segundo especialista en educación superior, con dominio del español (primera lengua) e inglés avanzado.

El documento traducido fue también sometido a una revisión de un comité de expertos, compuesto por especialistas en gestión de procesos académicos de las tres universidades participantes, donde se plantearon ajustes y alcances al uso de los conceptos y términos del instrumento original.

Respecto de los índices de compromiso estudiantil, en los que se enfoca el análisis en este artículo, se introdujeron cambios mínimos. Se ajustaron algunas palabras (por ejemplo, los conceptos de asignaturas, cursos o ramos, o bien, el personal docente, de servicios y administrativo) y precisaron algunas relaciones (interacción con personas, estudiantes, académicos o directivos de la carrera, etc.).

Acerca del resto del instrumento, se introdujeron adaptaciones asociadas a la terminología utilizada en el país, ajustándose a las características del sistema nacional y trayectorias estudiantiles. Asimismo, se incorporaron ciertos ajustes y algunas nuevas preguntas. En particular, se incorporaron ítems nuevos relacionados con los resultados obtenidos (notas y aprobación de cursos), así también como percepciones del nivel de desempeño obtenido. Finalmente, considerando la relevancia que tiene en el país el tema de las ayudas estudiantiles, se incorporaron algunas preguntas nuevas relativas a los antecedentes socioeconómicos de los estudiantes, aprovechando preferentemente formatos validados de preguntas y escalas recogidas de encuestas previamente validadas en el país (Instituto Nacional de la Juventud, Injuv; Ministerio de Educación de Chile, Mineduc; Servicio Nacional de la Discapacidad, Senadis, etc.).

1.4. Preparación y pretest cognitivo del instrumento piloto

El cuestionario traducido y ajustado fue sometido a un proceso de pretest cualitativo, desarrollado mediante técnicas de validación cognitiva. Este tipo de procedimientos, elaborados por la psicología social y cognitiva, permiten mejorar la calidad y precisión de los instrumentos, identificando posibles errores en la formulación de las preguntas y alternativas de respuesta (Collins, 2003). Se buscó responder si las preguntas y alternativas del cuestionario eran correcta y consistentemente comprendidas por estudiantes chilenos, de tal modo de mejorar la validez (face validity) del instrumento.

Se realizaron seis grupos de entrevistas, integrados por un total de 32 estudiantes. Estas fueron realizadas a estudiantes de las tres universidades participantes. La selección se realizó en las mismas universidades donde luego se aplicaría el cuestionario, asegurando la mayor diversidad posible, en función de las carreras de origen, año de ingreso (cohorte), edad y proveniencia geográfica (Santiago/regiones). Asimismo, se procuró mantener una relativa paridad de género en los grupos de participantes.

Las entrevistas tuvieron una primera parte individual de respuesta al cuestionario y una segunda grupal, de discusión colectiva, en ambos casos con el objetivo de identificar posibles problemas del instrumento. En las entrevistas se utilizaron técnicas de pretest cognitivo de las preguntas y alternativas de respuestas del instrumento, desarrollando procedimientos de simulación, prueba (probing) y pensamiento en voz alta (Collins, 2003).

El pretest permitió incorporar una serie de ajustes a la forma en que se planteaban ciertas preguntas, especialmente respecto de la nomenclatura relativa a los cursos, las tareas/trabajos, carga de trabajo y otras materias. Específicamente en relación con aquellos ítems asociados a los índices de compromiso estudiantil, el pretest no introdujo cambios, salvo la eliminación de varias preguntas relativas al índice de aprendizaje reflexivo e integrativo (Reflective & Integrative Learning). La mayoría de las preguntas vinculadas con dicho índice obtuvo apreciaciones y una lectura poco consistente entre los estudiantes consultados. En efecto, mediante procedimientos de prueba y pensamiento en voz alta, estos se refirieron a los contenidos y sentido de las preguntas en muy diferentes términos. Debido a lo anterior, se determinó eliminar íntegramente dicho índice y analizar en el futuro una formulación alternativa.

Como ya se indicó, salvo por algunos ajustes en la terminología y la eliminación del índice de aprendizaje reflexivo e integrativo, las dimensiones, índices e ítems asociados al compromiso estudiantil mantienen las definiciones del modelo NSSE 2013. Las dimensiones, índices e ítems de la sección de compromiso estudiantil se sintetizan en la siguiente tabla.

Tabla 1 Dimensiones, índices e ítems del cuestionario piloto de medición del compromiso estudiantil 

Fuente: Elaboración propia, a partir de NSSE 2013.

Sin perjuicio de lo anterior, el proceso de ajuste preliminar permitió otras adaptaciones e incorporación de nuevas preguntas. De las 109 preguntas que posee el instrumento NSSE 2013 (que incluyen algunas exploratorias), el instrumento adaptado para el contexto chileno quedó en 140 preguntas. Incluye nueve de los diez índices de compromiso estudiantil. Además, explora siete posibles prácticas de alto impacto (HIP), una más que el instrumento norteamericano.

Algunas de las preguntas adicionales que incorpora son de tipo exploratorio, para evaluar su incorporación futura en los índices de compromiso estudiantil (carga de trabajo, uso del tiempo, formación integral y de servicio, desarrollo de habilidades y competencias), pero en su mayoría indaga en los resultados (notas y percepción de logro y aprendizajes) y variables descriptivas y de caracterización socioeconómica (personales y demográficas, por ejemplo, edad, sexo, género, origen; educacionales, es decir, tipo de establecimiento de enseñanza media y trayectoria previa; laborales, por ejemplo, trabajo remunerado y dedicación; y otras actividades, entre las que se cuentan la participación en organizaciones y extrauniversitarias; hogar, eso es, vivienda, ubicación, y composición; y por último nivel socioeconómico, en este caso la comuna de residencia y el nivel educacional de los padres).

Cabe destacar que la incorporación de variables exploratorias y descriptivas, algunas sugeridas por el propio instrumento de NSSE (2013), son útiles para el desarrollo de diversos cruces y análisis que permitan comprender mejor la experiencia estudiantil en el contexto nacional.

El pretest realizado a 32 estudiantes incluyó una medición del tiempo de respuesta del instrumento, la que obtuvo en promedio 17 minutos y 23 segundos (en un rango de 12 a 23 minutos). Se trata de un cuestionario medianamente largo, aunque equivalente a otras encuestas e instrumentos aplicados en el contexto nacional.

1.5. Aplicación piloto

Para la aplicación piloto del instrumento traducido y ajustado, se procedió a realizar una muestra de carreras pertenecientes a las tres universidades participantes. La muestra se diseñó de tal modo que estuvieran presentes simultáneamente en las tres universidades y que fueran lo más heterogéneas posibles entre sí.

De este modo, se fijaron los siguientes criterios para su selección:

• programas tipo 6-ICSED, 2011, de la misma duración y conducentes al mismo título y/o grado en las tres instituciones;

• de un tamaño mediano a grande, que sumados permitieran poder cumplir con el tamaño mínimo de la muestra que se indica más adelante; y

• suficientemente heterogéneas (diferentes áreas del conocimiento y tipos de disciplinas, y con distintos niveles de preferencia de los estudiantes).

En este sentido, más que buscar representatividad, se buscó máxima heterogeneidad en el contexto de las universidades chilenas.

De acuerdo con lo anterior, se determinó aplicar el instrumento en cinco carreras, a saber: Química y Farmacia, Enfermería, Ingeniería Comercial, Psicología y Diseño. Considerando los datos disponibles al año 2016, la matrícula total de las cinco carreras y en las tres universidades sumaban 12.751 estudiantes. Se calculó que cerca de 4.300 estudiantes cursaban primero y cuarto año en sus respectivos programas, lo que constituiría el universo efectivo de extracción de la muestra7.

Se estimó una tasa de respuesta del orden del 20%, lo que resulta consistente con algunas tasas de respuestas reportadas en la literatura (Campbell & Cabrera, 2011; Carle et al., 2009), anticipándose obtener cerca de 900 casos8. Aunque las tasas de respuesta entre universidades y carreras resultaron ser dispares, se obtuvo una muestra final prácticamente idéntica a la anticipada (n = 900; válidos = 803; 72% mujeres, 28% hombres). El 58,6% de los casos correspondió a estudiantes de primer año y el resto de cuarto año. En ningún caso se podía alcanzar una muestra inferior a los 500 individuos, pues ese número es crítico para poder realizar análisis estadísticos robustos y con suficientes grados de libertad, como lo demuestran estudios internacionales de similares características (Campbell & Cabrera, 2011; Carle et al., 2009; LaNasa et al., 2009).

La encuesta se aplicó en formato online por cada una de las universidades participantes, bajo la coordinación del equipo de investigadores. El trabajo de campo se realizó durante la segunda quincena de agosto y la primera de septiembre de 2017. A continuación, se reportan los resultados y procedimientos de validación estadística del instrumento, específicamente respecto de la sección de los índices de compromiso estudiantil.

2. Resultados: validación del instrumento y ajustes

2.1. Estadísticos descriptivos

Un primer ejercicio de análisis de los resultados consideró una revisión general de los diversos índices e ítems del cuestionario. Respecto de los índices de compromiso estudiantil que se reportan en este artículo, en el Anexo 1 se sintetizan las principales estadísticas descriptivas resultantes para la muestra.

En términos generales, los datos obtenidos dan cuenta de índices e ítems que muestran suficiente dispersión, requisito indispensable para los efectos de poder proceder a la realización de análisis. En efecto, la distribución de las respuestas obtenidas en la muestra de estudiantes presenta variabilidad y sus respuestas se distribuyen en las escalas (en la mayoría de las preguntas, de cuatro alternativas y, en algunas, de siete alternativas). Son muy pocos los casos de preguntas en que existe una concentración mayor a 50% de las respuestas en alguna de las alternativas de la escala.

Las estadísticas resumidas en el anexo fueron trabajadas por el equipo de investigadores y por las universidades participantes. Proporcionan abundante información y antecedentes, que permite ser cruzada luego entre universidades, entre carreras y entre estudiantes de primero y cuarto año. Se trata de evidencias útiles para comprender la experiencia estudiantil y que caracterizan ciertas dinámicas, o bien, levantan nuevas preguntas. En el proyecto de investigación se consideró especialmente el desarrollo de procesos para compartir datos entre las universidades participantes, cuestión que ayuda a poner en perspectiva los datos institucionales obtenidos.

Aunque en este artículo reportamos fundamentalmente antecedentes relativos al diseño, ajuste, aplicación y validación del instrumento, también se exponen sucintamente algunas de las estadísticas obtenidas en el piloto. En el anexo de estadísticas descriptivas puede observarse la disparidad en los promedios y desviación estándar observada respecto de los índices en las dimensiones de desafío académico, aprendizaje con pares, experiencia con docentes y entorno institucional. En efecto, llaman la atención especialmente los índices asociados a razonamiento cuantitativo, aprendizaje colaborativo, apoyo institucional y, particularmente, la relación entre estudiantes y docentes, áreas que presentan un amplio espacio para el mejoramiento del compromiso estudiantil.

2.2. Confiabilidad

Luego de examinar los estadísticos descriptivos, se procedió a estimar la confiabilidad a través del cálculo del Alfa de Cronbach (Cronbach & Meehl, 1955). Se trata de una medida que estima consistencia interna de un grupo de ítems, mediante el análisis de la proporción de varianza de la escala. Se buscó determinar si los índices de compromiso estudiantil y sus escalas son razonablemente fiables en el contexto chileno. Los resultados para la muestra de estudiantes y los nueve indicadores de compromiso estudiantil utilizados en el instrumento se reportan en la siguiente tabla.

Tabla 2 Resultados de confiabilidad (Alfa de Cronbach ) 

Índices de compromiso estudiantil Número de ítems/reactivos Alfa de Cronbach
Aprendizaje de orden superior 5 ,640
Estrategias de aprendizaje 3 ,641
Razonamiento cuantitativo 3 ,804
Aprendizaje colaborativo 4 ,234
Interacción con otros 4 ,692
Interacción estudiante-docente 4 ,802
Prácticas docentes efectivas 5 ,762
Calidad de las interacciones 5 ,767
Apoyo institucional 9 ,868

Nota: N= 900 (válidos 803).

Fuente: Elaboración propia.

Al respecto, el análisis realizado sugiere que al menos cinco de los nueve índices presentan estimaciones para escalas fiables, sobre 0,7 de acuerdo al criterio de DeVellis (2003). Por su parte, tres escalas de índices debieran ser analizadas y utilizadas con cierta precaución. Finalmente, el indicador de aprendizaje colaborativo, compuesto por cuatro ítems, muestra una muy baja correlación, por lo que se recomendaría su ajuste y redefinición.

2.3. Validación estadística

Los índices de compromiso estudiantil que considera NSSE (2013) fueron elaborados a partir de dos fundamentos: lo que la teoría indicaba respecto de las experiencias de compromiso estudiantil que impactan en el aprendizaje, y su análisis estadístico en el contexto norteamericano y según la técnica de Análisis Factorial Exploratorio (EFA, por sus siglas en inglés) (Campbell & Cabrera, 2011; Pike, Kuh, McCormick, Ethington & Smart, 2011). Los índices que consigna NSSE, aunque conceptualmente distintos, muestran ciertos niveles de interrelación que también requieren ser considerados en su análisis (Campbell & Cabrera, 2011).

A partir del instrumento piloteado en las tres universidades chilenas, se realizó un análisis factorial confirmatorio (CFA, por sus siglas en inglés), con el objeto de analizar la replicabilidad de los índices de compromiso estudiantil en este nuevo contexto. Cabe recordar que el instrumento mantiene prácticamente todos los ítems correspondientes a los índices de compromiso estudiantil, introduciendo solo algunos pocos ajustes en algunos términos. No se consideró, sin embargo, el índice de Integrative Learning, que mostró diversos problemas en el pretest cognitivo.

En este sentido, el supuesto era que en Chile los nueve índices de compromiso estudiantil podían dar cuenta de los patrones de relación entre los ítems que los componen (Brown, 2014; Campbell & Cabrera, 2011; LaNasa et al., 2009). Al respecto, se analizó si los ítems (indicadores) comparten un solo factor (índice) común (indicadores congenéricos) (Brown, 2014; Jöreskog, 1971), según lo definido en el modelo NSSE. Así, se evaluó en qué medida la inexistencia de cargas cruzadas entre los factores (índices) latentes y los indicadores (ítems) observados confirmaban las dimensiones propuestas. Para estos efectos, se fijó en 1 la varianza de los factores, en búsqueda de indagar la carga específica de cada uno de los ítems, tal como se ha realizado en otros estudios de medición de la validez del instrumento (Campbell & Cabrera, 2011; LaNasa et al., 2009).

A diferencia de los métodos regulares de estimación de modelos CFA (por ejemplo, máxima probabilidad o maximum likelihood, ML), el presente estudio se realizó según mínimos cuadrados ponderados robustos (robust weighted least squares, WLSMV), en la medida en que los indicadores incluidos en los modelos son categóricos, lo que subvierte el supuesto de normalidad en el cual descansa ML (Brown, 2014). Tradicionalmente, para la realización de modelos CFA con variables categóricas se ha utilizado el estimador de mínimos cuadrados ponderados (weighted least squares, WLS) (Brown, 2014), lo que ha ocurrido también en la literatura NSSE (LaNasa et al., 2009). Sin embargo, diversas condiciones lo hacen menos preciso que WLSMV, en particular, cuando se utilizan muestras pequeñas y modelos de complejidad creciente (WLS requiere de muestras extremadamente grandes, mientras que WLSMV puede funcionar bien incluso en muestras de 200 casos) (Brown, 2014; Flora & Curran, 2004; Jöreskog & Sörbom, 1996).

La elección de este estimador modifica los procedimientos usuales de los modelos CFA con variables continuas normales, en tanto que es necesario estimar variables latentes continuas (y*) distribuidas de manera continua y normal, en “reemplazo” de las variables categóricas observadas (Brown, 2014; Muthén & Asparouhov, 2002). Estas variables latentes especifican ciertos umbrales de modificación que dan cuenta del paso desde una categoría a la siguiente en las variables observadas. La estimación WLSMV utiliza las matrices de correlación de estas variables latentes, a diferencia de las matrices de covarianza de las variables observadas de los modelos CFA estimados con ML. Adicionalmente, el uso de este estimador requiere de la parametrización de la variable latente (y*), esto es, la definición de su escala. En el caso del presente estudio, se optó por la parametrización delta, que establece que la varianza de las variables latentes se encuentra fija en 1 para todos los ítems, la opción más común en los estudios de esta naturaleza (Brown, 2014). Con esta decisión, las varianzas residuales de los indicadores categóricos no son identificadas como parte del modelo CFA, por lo que los errores de medición (Θ) no son considerados parámetros libres, sino el residuo del producto de las cargas de los factores al cuadrado y la varianza del factor (Brown, 2014).

El análisis fue ejecutado en el programa estadístico Mplus 7 (Muthén & Muthén, 2012). Se realizó un modelo CFA (WLSMV) completo, considerando los nueve índices (factores) de NSSE, permitiendo su interdependencia. A pesar de estar validados conceptualmente en la literatura, los resultados del modelo inicial no fueron satisfactorios según medidas de bondad del ajuste estándar, lo que llevó a la observación de posibles áreas de desajuste focalizado, la evaluación de la pertinencia de los indicadores utilizados y la estimación de errores correlacionados, todo esto con miras de elaborar nuevos modelos. Dichas estrategias son detalladas a continuación.

Para realizar la evaluación de la calidad global de los modelos realizados, se estimaron diversas medidas de la bondad del ajuste: χ2, Error de Aproximación Cuadrático Medio (RMSEA), Índice de Ajuste Comparativo (CFI) y el Índice de Tucker-Lewis (TLI). La investigación de simulación ha demostrado que el Residuo Cuadrático Medio Estandarizado (SRMR) se comporta inadecuadamente en modelos con variables categóricas (Brown, 2014; Yu, 2002), a pesar de ser usado ampliamente en modelos CFA continuos. Respecto de los valores de ajuste considerados adecuados, se siguieron las recomendaciones de Hu y Bentler (1999) y Brown (2014), con valores superiores a 0,95 para TLI/CFI como un ajuste excelente y 0,9 como ajuste apropiado, valores inferiores a 0,05 para RMSEA como excelentes y entre 0,05 y 0,08 como adecuados, y la evaluación de valores críticos de χ2 (α = 0,01) según los grados de libertad (df) de cada modelo. Respecto de esto último, corresponde señalar que la estimación de WLSMV en Mplus arroja un estadístico χ2 ajustado a la media y a la varianza de tales datos (Muthén & Muthén, 2012).

Además de las medidas globales de bondad del ajuste, se analizaron posibles áreas de desajuste focalizado según los índices de modificación (MI), los cuales señalan toscamente el posible aumento de χ2 del modelo general que ocurre cuando un parámetro es liberado de la constricción de cargar a solo uno de los factores (vale decir, cuando se vuelve libremente estimado). De este modo, estos índices pueden ser entendidos como una modificación significativa al ajuste del modelo según el valor crítico de χ2 para run grado de libertad (p < 0,05 cuando χ2 ≥ 3,84) (Brown, 2014). Para una interpretación adecuada de los índices de modificación, estos fueron evaluados en conjunto con los valores completamente estandarizados de los parámetros esperados de cambio (EPC) (Kaplan, 1989; 1990), los cuales son necesarios para omitir la sensibilidad de los primeros respecto del tamaño de la muestra (Brown, 2014). En general, los índices de modificación se utilizaron en el marco de los modelos exploratorios de ecuaciones estructurales (exploratory SEM o ESEM) (Asparouhov & Muthén, 2009), los cuales son especificados a continuación.

Finalmente, dado el desajuste del modelo inicial ya indicado, se realizaron análisis factoriales exploratorios (EFA) (también con estimador WLSMV) para explorar si es que la cantidad de factores considerados en el modelo original norteamericano era la adecuada para el contexto chileno según la regla Kaiser-Guttman (Brown, 2014). Como una etapa intermedia entre esta exploración y los posibles nuevos modelos CFA, se ejecutaron los modelos ESEM señalados. A pesar de tener el mismo ajuste que los EFA, estos modelos proveen mayor información, como la significancia estadística de las cargas cruzadas y la potencial presencia de covarianza saliente entre los errores, además de índices de modificación y residuos estandarizados, entre otros (Brown, 2014). La lógica de estos modelos se basa en la integración de modelos de medición EFA y CFA en la misma solución, por lo que “secciones” (bloques) del modelo pueden pertenecer a uno, y el resto al otro (Asparouhov & Muthén, 2009; Brown, 2014). En nuestro caso, utilizamos una solución EFA en el marco de CFA para evaluar posibles soluciones para nuestro modelo inicial.

Tabla 3 Índices de bondad de ajuste de los modelos 

Notas: ξ = Índices (o factores); xi = Ítems (preguntas o reactivos); δ = Errores

correlacionados.

Fuente: Elaboración propia.

Según los criterios adoptados en el presente artículo, y siguiendo los modelos de simulación de Hu y Bentler (1999) y las directrices de Brown (2014), podemos observar que el modelo inicial tiene ajuste deficiente, salvo para los índices RMSEA y CFI, que tienen un ajuste adecuado, particularmente el primero. En búsqueda de una revisión del modelo, se efectuó un EFA, y el análisis de los valores propios (eigenvalues) del modelo EFA según el criterio Kaiser-Guttman dio cuenta que el modelo debería tener 11 factores (índices). No obstante, en la revisión de un modelo ESEM de 11 factores, se observó que uno de estos índices no tendría ítems con cargas significativas, y otro de ellos estaría compuesto únicamente por dos ítems (los que, a pesar de ser significativos, tienen valores z más bien bajos). Por estos motivos, es razonable juzgar que la mera agrupación estadística de los ítems no es suficiente para sustentar un cambio en el modelo.

Ahora bien, tanto el modelo ESEM de 11 factores señalado, como uno adicional de nueve de la misma naturaleza, indican que la variable Memorizar y/o aprender los contenidos del índice Aprendizaje de orden superior no carga significativamente a ninguno de los índices propuestos. Asimismo, estos modelos dan cuenta de que las variables que pertenecen al índice Aprendizaje colaborativo cargan errática y heterogéneamente a los distintos factores propuestos, de manera significativa, pero con bajos puntajes z. Dados estos resultados, se prueba inicialmente eliminar el ítem Memorizar y/o aprender los contenidos, lo que se reporta en el segundo modelo de la Tabla 3. Como se observa, dicha modificación permite una mejora marginal de TLI, permitiéndole ingresar al nivel de aceptación9.

Otro resultado relevante de los modelos ESEM realizados para la exploración de los factores, son los altos índices de modificación (y, conjuntamente, los altos parámetros esperados de cambio estandarizados) reportados para la correlación entre los errores de los ítems Fomentar la asistencia a actividades y eventos en la universidad (charlas, seminarios, actividades artísticas, eventos deportivos, etc.) y Fomentar la asistencia a eventos de debate social, económico o político de importancia. Estos ítems en general no tienen las características que dan pie a la suposición de que sus errores se encuentran correlacionados, ni tampoco se cuenta con evidencia que permita sostener que existan dichas razones: escalas invertidas, sesgos de deseabilidad social, entre otros (Brown, 2014). Tal vez la única razón que se podría considerar es que tienen una redacción similar, al tratar temas afines. No obstante, los parámetros de modificación son elocuentes, muy alejados de valores similares para otras variables: en el caso de el ESEM de nueve índices, el índice de modificación es de 253.563 (frente a índices de entre diez y 40 puntos para el resto de las variables), con un parámetro esperado de cambio estandarizado de 0,41 puntos (frente a parámetros entre 0,1 y 0,2 para el resto de las variables). Por tanto, el tercer modelo presentado en la Tabla 3 corresponde a un modelo en el que estos ítems tienen sus errores correlacionados. Para evaluar la mejora del ajuste, además de la observación de los índices de bondad del ajuste (que mejoran de manera relevante: RMSEA = 0,049; CFI = 0,922; TLI = 0,914), se hizo una prueba de diferencia de χ2 entre el modelo 2 y 3, en la que el modelo 2 se considera anidado (en tanto que tiene más restricciones, ya que supone que los errores se encuentran fijos en 0). Esta restricción implica significativamente un peor ajuste: χ2(1) = 129.661, p < 0,001, por lo que se privilegiaría el modelo 3, en concordancia con los índices de bondad del ajuste.

Esta clase de modificaciones se repitió de manera exploratoria para ver la posibilidad de seguir aumentando el ajuste de los modelos (análisis que no se presentan aquí), probando correlacionar los errores de otros ítems, modificar la carga de ciertas variables a otros factores (específicamente cuando estas eran débiles (< 0,5) o los índices de modificación así lo sugerían) o directamente eliminar ciertos ítems de comportamiento divergente. Los resultados de este tipo de modificaciones no fueron convincentes (aumento de ciertos índices de bondad del ajuste en desmedro de otros o excesiva eliminación de variables), y además no estaban respaldados ni teórica ni empíricamente. Como para cualquier especificación de parámetros en CFA, estos cambios deben responder a una racionalidad, por lo que las mejoras observadas en estos ejercicios pueden dar cuenta de errores de muestreo y no de relaciones relevantes, en particular cuando los índices de modificación son valores límite (Brown, 2014; MacCallum, 1986).

La Tabla 3 señala otras exploraciones realizadas, dando cuenta de procedimientos similares a los mencionados hasta el momento, pero divididos según las dos poblaciones que componen la muestra. Es relevante notar que el modelo inicial para la muestra de estudiantes de primer año - juniors (modelo 4) tiene buenos indicadores de bondad del ajuste; no obstante, las mismas circunstancias observadas para los modelos ESEM son replicadas en esta población, vale decir: la variable Memorizar y/o aprender los contenidos sigue sin cargar a ningún factor, las variables de Aprendizaje colaborativo se comportan de manera errática, y los ítems Fomentar la asistencia a actividades y eventos en la universidad (charlas, seminarios, actividades artísticas, eventos deportivos, etc.) y Fomentar la asistencia a eventos de debate social, económico o político de importancia tienen sus errores correlacionados de manera significativa. Este escenario lleva a realizar los mismos modelos que para la población total, teniendo el modelo 5 (restringido por el hecho de que los errores de los ítems señalados sean (0) un ajuste significativamente peor que el modelo 6: χ2(1) = 73.616, p < 0,001, cuestión respaldada por RMSEA (0,045), CFI (0,939) y TLI (0,932). Adicionalmente, se analizó el efecto de eliminar el índice Aprendizaje colaborativo, lo que no significó mejoras relevantes en las medidas de ajuste de los modelos (análisis no presentados en el presente informe).

Finalmente, la Tabla 3 presenta los resultados del modelo inicial solo para la muestra de estudiantes de cuarto año-seniors. Este modelo no cumple el supuesto de que su matriz sea definida positivamente (positive definite), pero teniendo en consideración que el resto de los modelos ha funcionado adecuadamente, podría creerse que los datos de esta población producen un modelo distinto (vale decir, la razón por la cual la solución presentada es “non positive definite” es porque está fuertemente mal especificada) (Brown, 2014). La realización de cambios al modelo, guiada por índices de modificación, logró superar este problema (eliminación de ítems en el índice de Aprendizaje colaborativo y la incorporación de los restantes al índice de Estrategias de aprendizaje), pero produjo soluciones que siguen teniendo mal ajuste (CFI y TLI < 0,9, RMSEA > 0,05).

Teniendo en consideración los análisis estadísticos señalados hasta el momento, se podría sugerir que el caso chileno pareciera replicar, con ciertas reservas, el conjunto de dimensiones planteadas por NSSE original. Sin embargo, ninguno de los modelos presentados tiene un ajuste excelente, aunque las cargas se comportan razonablemente bien según los índices presentados en el modelo ajustado (ver Anexo 2), incluso en los modelos en que los ítems son libres de cargar a cualquier factor (EFA, ESEM). Dadas las reservas planteadas, y el proceso de ajuste y validación realizado, parece razonable que la adición de una mayor cantidad de variables al cuestionario podría sugerir nuevos ajustes a las dimensiones e índices de compromiso estudiantil, que respondan mejor a las características idiosincráticas locales, adaptando flexiblemente las dimensiones del modelo original. En efecto, las debilidades y necesidad de ajustar la validez estadística son consistentes con las diferencias observadas muchas veces en la aplicación de instrumentos con enfoques importados (Hofstede, 1980; 1986). No obstante, existe un avance importante y no parece ser necesaria la realización de grandes ajustes al instrumento, como ha ocurrido en los esfuerzos realizados por otros autores en otros contextos (Carle et al., 2009; Gordon, Ludlum & Hoey, 2008; Hu, Ching, & Chao, 2012; LaNasa et al., 2009; Pike et al., 2011).

3. Perspectivas y conclusiones

En este artículo se han presentado los resultados preliminares de un proyecto que se propuso adaptar y validar un cuestionario de medición de compromiso estudiantil para el contexto nacional. Se trata de una de las primeras experiencias de adaptación de un instrumento de esta naturaleza en el país, que incluyó su traducción, pretest cognitivo y una aplicación piloto en una muestra de un tamaño suficiente para desarrollar diversos procedimientos de análisis estadístico y validación. La muestra se realizó procurando heterogeneidad en el contexto de las universidades participantes, sin pretender representatividad.

El análisis estadístico desarrollado a la sección de los índices de compromiso estudiantil y su composición de ítems, muestra resultados parcialmente positivos. En efecto, la gran mayoría de los índices muestra escalas razonablemente fiables, sin embargo, el modelo presenta un ajuste deficiente que requiere precisiones y correcciones. De los procedimientos realizados, se constata que, introducidos algunos ajustes en el uso de los índices e ítems, el desempeño y ajuste en las pruebas mejora significativamente.

Se trata, en consecuencia, de un paso importante que contribuye a mejorar la calidad de la información que puede proporcionar un instrumento de evaluación del compromiso estudiantil en el contexto nacional.

Frente a grandes vacíos de información estadística acerca de la experiencia estudiantil en Chile, resulta importante abordar seriamente la acumulación de evidencia empírica y la sistematización de investigación que permitan conocer mejor cómo aprenden nuestros estudiantes y cómo pueden nuestras instituciones mejorar efectivamente el logro de los resultados. La experiencia internacional advierte que se trata de un esfuerzo lento, que requiere de diversos estudios y de un trabajo cuidadoso en el tiempo, capturando mejor un fenómeno que es de naturaleza compleja y dinámica. Ciertamente se requiere también calibrar los instrumentos en el tiempo, sometiéndolos a pruebas exigentes que evalúen correctamente su validez y confiabilidad. Asimismo, en el caso de aspirar a realizar análisis inferenciales, se requiere poner especial atención a las muestras, tasas de respuestas y alternativas para controlar posibles sesgos.

Conocer más respecto de las experiencias estudiantiles, en un contexto de creciente diversidad, resulta particularmente importante. No se trata de descubrir relaciones entre variables y prescribir las fórmulas para fomentar el compromiso estudiantil, sino que más bien el desafío es conocer mucho mejor la variedad de modos a través de los cuales los estudiantes se comprometen con su aprendizaje y promover una amplia batería de maneras mediante las cuales las instituciones pueden promover aprendizajes efectivos para toda la población estudiantil. La experiencia desarrollada contribuye con un amplio repertorio de datos e información estadística, que en este artículo solo ha sido analizado en una de sus facetas.

El análisis de los índices de compromiso estudiantil, junto con los de las prácticas de alto impacto, pero también analizados en función del logro de resultados, calificaciones obtenidas y graduación oportuna, son relevantes para el análisis. Nos parece también que la caracterización de los estudiantes abre un amplio espectro de posibilidades para comprender a una población estudiantil diversa y compleja.

Pero junto con los necesarios esfuerzos para ir mejorando la calidad de la información generada, parece indispensable garantizar su uso intensivo. Los esfuerzos en la recolección y análisis de datos debieran apuntar específicamente a apoyar el mejoramiento y aprendizaje institucional, y no solo la respuesta a exigencias externas o a la constatación formal de ciertas prácticas institucionales ya instaladas. El fomento a la creatividad y la búsqueda de nuevos modos para promover aprendizajes efectivos debieran estar en el centro de dicho proceso.

Esta tarea se enriquece enormemente mediante la colaboración mutua. La función de benchmarking -comparaciones según puntos y factores seleccionados- que ofrece este tipo de instrumentos, abre grandes posibilidades para abordar una preocupación que es común, a partir de una diversidad de experiencias institucionales. Ciertamente la colaboración mutua requiere también de confianza y de construir relaciones de trabajo y compromisos en el tiempo. Es útil también puesto que ofrece marcos de referencia más allá de los institucionales, además de permitir el desarrollo de economías de escala en los procesos de recolección y análisis de los datos. El ejercicio piloto desarrollado por tres universidades en el país muestra que la colaboración mutua es posible cuando existen objetivos compartidos y experiencias institucionales ricas y diversas de las que todos pueden beneficiarse.

Referencias

Association of American Colleges and Universities, AACU. (2012). A crucible moment: College learning and democracy’s future. Washington, DC: National Task Force on Civic Learning and Democratic Engagement. [ Links ]

Assessment of Higher Education Learning Outcomes, AHELO. (2012-2013). Feasibility study report. Volumes 1, 2 and 3. Paris: OECD. Recuperado de http://www.oecd.org/education/skills-beyond-school/AHELOFSReportVolume1.pdfLinks ]

Asparouhov, T. & Muthén, B. (2009). Exploratory structural equation modeling. Structural Equation Modeling, 16(3), 397-438. https://doi.org/10.1080/10705510903008204Links ]

Barnett, R. (1992). Improving higher education: Total quality care. London: Open University Press. [ Links ]

Barr, R. B. & Tagg, J. (1995). From teaching to learning-A new paradigm for undergraduate education. Change: The Magazine of Higher Learning, 27(6), 12-26. https://doi.org/10.1080/00091383.1995.10544672Links ]

Biggs, J. (1994). Student learning research and theory: Where do we currently stand? Recuperado de http://158.132.155.107/posh97/private/research/papers/Biggs-learning-research-theory.pdfLinks ]

Brogt, E. & Comer, K. (2013). Interpreting differences between the United States and New Zealand university students’ engagement scores as measured by the NSSE and AUSSE: Assessment & Evaluation in Higher Education, 38(6), 713-736. https://doi.org/10.1080/02602938.2012.693906Links ]

Brown, T. A. (2014). Confirmatory factor analysis for applied research. New York: Guilford Publications. [ Links ]

Brunner, J. J. (2010). Universidad, sociedad y Estado en los 90. Educación Superior y Sociedad, 1(2), 18-24. Recuperado de http://nuso.org/articulo/universidad-sociedad-y-estado-en-los-90/Links ]

Cabrera, A. F., Colbeck, C. L., & Terenzini, P. T. (1998). Teaching for professional competence: Instructional practices that promote development of group, problem-solving, and design skills. ASHE Annual Meeting Paper. Recuperado de https://fles.eric.ed.gov/fulltext/ED427590.pdfLinks ]

Campbell, C. & Cabrera, A. (2011). How sound is NSSE? Investigating the psychometric properties of NSSE at a public, research-extensive institution. The Review of Higher Education, 35(1), 77-103. https://doi.org/10.1353/rhe.2011.0035Links ]

Carle, A. C., Jaffee, D., Vaughan, N. W. , & Eder, D. (2009). Psychometric properties of three new national survey of student engagement based engagement scales: An item response theory analysis. Research in Higher Education, 50(8), 775-794. https://doi.org/10.1007/s11162-009-9141-zLinks ]

Centro Interuniversitario de Desarrollo, CINDA. (2005). Repitencia y deserción universitaria en América Latina. Colección Gestión Universitaria. Santiago de Chile: Centro Interuniversitario de Desarrollo, IESALC, Universidad de Talca. [ Links ]

Clark, B. (1960). The “cooling out” function in higher education. American Journal of Sociology, 65(6), 569-76. https://doi.org/10.1086/222787Links ]

Clark, B. & Trow, M. (1966). The organizational context. En T. Newcomb & E. Wilson (Eds.), College peer groups: Problems and prospects for research (pp. 17-70). Chicago: Aldine. [ Links ]

Coates, H. (2005). The value of student engagement for higher education quality assurance. Quality in Higher Education, 11(1), 25-36. https://doi.org/10.1080/13538320500074915Links ]

Coates, H. & McCormick, A. (Eds.) (2014). Engaging university students: International insights from system-wide studies. Dordrecht: Springer. [ Links ]

Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality of Life Research, 12(3), 229-238. https://doi.org/10.1023/a:1023254226592Links ]

Cronbach, L. J. & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281-302. http://doi.org/10.1037/h0040957Links ]

DeVellis, R. F. (2003). Scale development: Theory and applications (2nd Edition). Thousand Oaks, CA: Sage Publications, Inc. [ Links ]

Ewell, P. (2010). The US National Survey of Student Engagement. En D. Dill & M. Beerkens (Eds.), Public policy for academic quality: Analysis of innovative policy instruments (pp. 83-97). Dordrecht: Springer. [ Links ]

Finnie, R. & Usher, A. (2005). Measuring the quality of post-secondary education: Concepts, current practices and a strategic plan. Canadian Policy Research Network. Recuperado de http://cprn3.library.carleton.ca/documents/35998_en.pdfLinks ]

Flora, D. B. & Curran, P. J. (2004). An empirical evaluation of alternative methods of estimation for confirmatory factor analysis with ordinal data. Psychological Methods, 9(4), 466-491. https://doi.org/10.1037/1082-989x.9.4.466Links ]

González, C. (2010). El aprendizaje y el conocimiento académico sobre la enseñanza como claves para mejorar la docencia universitaria. Revista Calidad en la Educación, 33, 123-146. Recuperado de https://www.cned.cl/sites/default/files/revista/cse_articulo959.pdf Links ]

González, C. (2015). Capítulo VIII: Perspectivas y desafíos de la docencia en la educación superior chilena. En A. Bernasconi (Ed.), La educación superior de Chile: Transformación, desarrollo y crisis (pp. 371-408). Santiago de Chile: Ediciones UC. [ Links ]

González, C., Montenegro, H., López, L., Munita, I., y Collao, P. (2011). Relación entre la experiencia de aprendizaje de estudiantes universitarios y la docencia de sus profesores. Revista Calidad en la Educación , 35, 21-49. Recuperado de https://scielo.conicyt.cl/pdf/caledu/n35/art02.pdfLinks ]

González, L. E. y Uribe, D. (2002). Estimaciones sobre la “repitencia” y deserción en la educación superior chilena. Consideraciones sobre sus implicaciones. Revista Calidad en la Educación , 17, 75-90. Recuperado de https://www.cned.cl/revista-calidad-en-la-educacion/revista-calidad-en-la-educacion-retencion-y-movilidad-estudiantil-enLinks ]

Gordon, J., Ludlum, J., & Hoey, J. (2008). Validating NSSE against student outcomes: Are they related? Research in Higher Education , 49(1), 19-39. https://doi.org/10.1007/s11162-007-9061-8Links ]

Hagel, P. , Carr, R., & Devlin, M. (2012). Conceptualising and measuring student engagement through the Australasian Survey of Student Engagement (AUSSE): A critique. Assessment & Evaluation in Higher Education , 37(4), 475-486. https://doi.org/10.1080/02602938.2010.545870Links ]

Hinrichs, C. P., Ortiz, L. E., y Pérez, C. E. (2016). Relación entre el bienestar académico de estudiantes de Kinesiología de una universidad tradicional de Chile y su percepción del ambiente educacional. Formación Universitaria, 9(1), 109-116. https://doi.org/10.4067/s0718-50062016000100012Links ]

Hofstede, G. (1980). Motivation, leadership and organization: Do American theories apply abroad? Organizational Dynamics, 9(1), 42-63. https://doi.org/10.1016/0090-2616(80)90013-3Links ]

Hofstede, G. (1986). Cultural differences in teaching and learning. International Journal of Intercultural Relations, 10(3), 301-320. https://doi.org/10.1016/0147-1767(86)90015-5Links ]

Hu, L. & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling : A Multidisciplinary Journal, 6(1), 1-55. http://doi.org/10.1080/10705519909540118Links ]

Hu, L., Ching, G. S., & Chao, P.-C. (2012). Taiwan student engagement model: Conceptual framework and overview of psychometric properties. International Journal of Research Studies in Education, 1(1), 69-90. https://doi.org/10.5861/ijrse.2012.v1i1.19Links ]

Jöreskog, K. G. (1971). Statistical analysis of sets of congeneric tests. Psychometrika, 36(2), 109-133. https://doi.org/10.1007/bf02291393Links ]

Jöreskog, K. G. & Sörbom, D. (1996). PRELIS 2 user’s reference guide. Chicago: Scientific Software International. Guilford Press. [ Links ]

Kaplan, D. (1989). Model modification in covariance structure analysis: Application of the expected parameter change statistic. Multivariate Behavioral Research, 24(3), 285-305. https://doi.org/10.1207/s15327906mbr2403_2Links ]

Kaplan, D. (1990). Evaluating and modifying covariance structure models: A review and recommendation. Multivariate Behavioral Research , 25(2), 137-155. https://doi.org/10.1207/s15327906mbr2502_1Links ]

Kells, H. R. (1993). Autorregulación en la educación superior chilena. Santiago de Chile: Consejo Superior de Educación. [ Links ]

Kuh, G. D. (2001). Assessing what really matters to student learning inside the national survey of student engagement. Change: The Magazine of Higher Learning , 33(3), 10-17. https://doi.org/10.1080/00091380109601795Links ]

Kuh, G. D. (2003). The national survey of student engagement: Conceptual framework and overview of psychometric properties. Indiana: Indiana University Center for Postsecondary Research & Planning. [ Links ]

Kuh, G. D., Ikenberry, S. O., Jankowski, N. A., Cain, T. R., Ewell, P. T., Hutchings, P. , & Kinzie, J. (2014). Using evidence of student learning to improve higher education. Hoboken, NJ.: John Wiley & Sons. [ Links ]

Lamarra, N. F. (2012). Universidad y calidad en América Latina en perspectiva comparada. Interrogantes y desafíos. Avaliação: Revista da Avaliação da Ecucação Superior (Campinas), 17(3), 661-688. https://doi.org/10.1590/s1414-40772012000300006Links ]

LaNasa, S. M., Cabrera, A., & Trangsrud, H. (2009). The construct validity of student engagement: A confirmatory factor analysis approach. Research in Higher Education 50(4), 315-332. https://doi.org/10.1007/s11162-009-9123-1Links ]

MacCallum, R. C. (1986). Specification searches in covariance structure modeling. Psychological Bulletin , 100, 107-120. https://doi.org/10.1037//0033-2909.100.1.107Links ]

Marginson, S. (2016). High participation systems of higher education. The Journal of Higher Education, 87(2), 243-271. https://doi.org/10.1353/jhe.2016.0007Links ]

McCormick, A., Kinzie, J., & Gonyea, R. M. (2013). Student engagement: Bridging research and practice to improve the quality of undergraduate education. En M. B. Paulsen (Ed.), Higher education: Handbook of theory and research (p. 47). Dordrecht: Springer. [ Links ]

Middaugh, M. F. (2011). Planning and assessment in higher education: Demonstrating institutional effectiveness. Hoboken: John Wiley & Sons. [ Links ]

Muscatine, C. (Chair) (1968). Education at Berkeley (“The Muscatine report”). Berkeley: University of California Press. [ Links ]

Muthén, B. O. & Asparouhov, T. (2002). Latent variable analysis with categorical outcomes: Multiple-group and growth modeling in Mplus. Mplus Web Notes, 4(5), 1-22. Recuperado de https://www.statmodel.com/download/webnotes/CatMGLong.pdf Links ]

Muthén, L. K. & Muthén, B. O. (2012). Mplus Version 7 user’s guide. Los Angeles, CA: Muthén & Muthén. [ Links ]

National Survey of Student Engagement, NSSE. (2013). Information about the 2013 update. Recuperado de http://nsse.indiana.edu/nsse-update/Links ]

National Survey of Student Engagement, NSSE (s.f.). Psychometric portfolio. Recuperado de http://nsse.indiana.edu/html/psychometric_portfolio.cfmLinks ]

Parra, P. (2010). Relación entre el nivel de engagement y el rendimiento académico teórico/práctico. Revista de Educación en Ciencias Salud, 7(1), 57-63. http://www2.udec.cl/ofem/recs/anteriores/vol712010/revbib71a.pdf Links ]

Pascarella, E. & Terenzini, P. (1991). How college affects students. San Francisco: Jossey Bass. [ Links ]

Pascarella, E. & Terenzini, P. (2005). How college affects students (Vol. 2): A third decade of research. San Francisco: Jossey Bass. [ Links ]

Pike, G. R., Kuh, G. D., McCormick, A. C., Ethington, C. A., & Smart, J. C. (2011). If and when money matters: The relationships among educational expenditures, student engagement and students’ learning outcomes. Research in Higher Education , 52(9), 81-106. https://doi.org/10.1007/s11162-010-9183-2Links ]

Polanco, A., Ortiz, L., Pérez, C., Parra, P., Fasce, E., Matus, O., y Meyer, A. (2014). Relación de antecedentes académicos y expectativas iniciales con el bienestar académico de alumnos de primer año de medicina. FEM: Revista de la Fundación Educación Médica, 17(4), 205-211. https://doi.org/10.4321/s2014-98322014000400006Links ]

Ramsden, P. (1985). Student learning research: Retrospect and prospect. Higher Education Research and Development, 4(1), 51-69. https://doi.org/10.1080/0729436850040104Links ]

Schaufeli, W. B., Martinez, I. M., Pinto, A. M., Salanova, M., & Bakker, A. B. (2002). Burnout and engagement in university students a cross-national study. Journal of Cross-Cultural Psychology, 33(5), 464-481. https://doi.org/10.1177/0022022102033005003Links ]

Spormann, C., Pérez, C., Fasce, E., Ortega, J., Bastías, N., Bustamante, C., e Ibáñez, P. (2015). Predictores afectivos y académicos del aprendizaje autodirigido en estudiantes de medicina. Revista Médica de Chile, 143(3), 374-382. https://doi.org/10.4067/s0034-98872015000300013Links ]

Tinto, V. (1975). Dropout from higher education: A theoretical synthesis of recent research. Review of Educational Research, 45(1), 89-125. https://doi.org/10.2307/1170024Links ]

Tinto, V. (1987). Leaving college: Rethinking the causes and cures of student attrition. Chicago: University of Chicago Press. [ Links ]

Tinto, V. (2006). Research and practice of student retention: What next? Journal of College Student Retention: Research, Theory & Practice, 8(1), 1-19. https://doi.org/10.2190/c0c4-eft9-eg7w-pwp4Links ]

Trow, M. (1970). Reflections on the transition from mass to universal higher education. Daedalus, 90(1) 1-42. [ Links ]

Trow, M. (1973). Problems in the transition from elite to mass higher education. Paris: OECD. [ Links ]

Tyler, R.W. (1930). Measuring the ability to infer. Educational Research Bulletin, 9(17), 475-480. Recuperado de http://www.jstor.org/stable/1472023?seq=1#page_scan_tab_contentsLinks ]

Westerheijden, D. F. , Stensaker, B., & Rosa, M. (2007). Conclusions and further challenges. En D. F. Westerheijden, B. Stensaker, & M. Rosa (Eds.), Quality assurance in higher education (pp. 247-260). Dordrecht: Springer. [ Links ]

Yu, C.-Y. (2002). Evaluating cutoff criteria of model fit indices for latent variable models with binary and continuous outcomes (Vol. 30 ). Los Angeles: University of California. [ Links ]

Agradecimientos

1 Este artículo reporta parte de los resultados del proyecto de investigación “Compromiso estudiantil y mejoramiento de la calidad en la educación superior: diseño, validación y aplicación piloto de un instrumento y protocolo interinstitucional de evaluación del compromiso estudiantil con la enseñanza-aprendizaje”, financiado por el Consejo Nacional de Educación (Proyecto CNED 2016-2017).

5 Los autores agradecen especialmente a José Miguel Salazar, Director Académico de la Universidad de Valparaíso, quien participó activamente en el diseño y desarrollo del proyecto de investigación. Asimismo, se agradece al equipo de gestión de las universidades participantes: Leonor Armanet, Carlos Rilling y Bárbara Mora, de la Universidad de Chile; Carlos Becerra y a la Unidad de Análisis Institucional de la Universidad de Valparaíso; y William Young y María Soledad Cruz, de la Pontificia Universidad Católica de Chile.

1NSSE los denomina como “engagement indicators”, no obstante aquí los identificamos como “índices”, puesto que están compuestos por diversos ítems. En efecto, cada uno de los índices está compuesto por entre tres y hasta ocho preguntas (ítems o reactivos).

2Las dimensiones e índices de compromiso estudiantil, en su versión 2013 en inglés, son las que siguen: 1) Academic Challenge: 1.1. Higher-Order Learning, 1.2. Refective & Integrative Learning, 1.3. Learning Strategies, 1.4. Quantitative Reasoning; 2) Learning with peers: 2.1. Collaborative Learning, 2.2. Discussions with Diverse Others; 3) Experiences with Faculty: 3.1. Student-Faculty Interaction, 3.2. Effective Teaching Practices; 4) Campus Environment: 4.1. Quality of Interactions, 4.2. Supportive Environment.

3Las HIP de NSSE 2013 corresponden a: 1) Involucramiento en comunidades de aprendizaje; 2) Participación en cursos de aprendizaje y servicio; 3) Trabajo con profesores (proyectos, ayudantías, prácticas, etc.); 4) Desarrollo de pasantías o intercambio estudiantil; y 5) Desarrollo de prácticas de egreso exitosas (tesis, prácticas, portafolios, exámenes, etc.).

4Más antecedentes del cuestionario, sus características técnicas y reportes, pueden obtenerse en: nsse.indiana.edu/

5Cabe destacar que el estudio evaluó también otros índices e indicadores del cuestionario, sin embargo, en este artículo se analizan fundamentalmente aquellos que componen el modelo de dimensiones e índices de compromiso estudiantil.

6ISCED-2011 corresponde a la Clasificación Internacional Normalizada de la Educación (International Stantard Clasification of Education), elaborada por UNESCO. El detalle de los niveles y sus especificaciones puede obtenerse en: http://uis.unesco.org/sites/default/files/documents/international-standard-classification-of-education-isced-2011-en.pdf

7Para lo anterior, se consideraron los datos de matrícula nueva y total del Servicio de Información de Educación Superior, SIES, 2016, aplicando porcentajes moderados de deserción de un 15%, de primer año y de 30% durante toda la carrera. Cabe destacar que efectivamente estas universidades mantienen niveles más bajos de deserción que los del resto del sistema, cuyos porcentajes alcanzan a un 30% en primer año y hasta casi un 50% a lo largo de las carreras.

8Cabe destacar que en este estudio no se realizaron inferencias respecto de la población. Sin embargo, en el caso de estudios que busquen representatividad, debieran considerarse cuidadosamente las tasas de respuesta y sesgo de no respuesta (Carle et al., 2009), para lo cual la literatura reporta procedimientos y técnicas de ajuste (Kuh, 2003).

9Adicionalmente, cabe hacer notar que al eliminar el ítem de Memorizar y/o aprender los contenidos, del índice de Aprendizaje de orden superior, el Alfa de Cronbach, reportado más arriba, mejora también. En este sentido, se pasa de un Alfa de 0,640 (con cinco ítems) a 0,773 (con cuatro ítems), alcanzando un nivel fiable de acuerdo al criterio de DeVellis (2003).

Anexos

Anexo 1

Estadísticos descriptivos: Índices de compromiso estudiantil 

Fuente: Elaboración propia.

Anexo 2

Modelo 3: CFA, población total, 9 índices, 41 ítems, 1 error correlacionado 

Fuente: Elaboración propia.

Recibido: 29 de Diciembre de 2017; Aprobado: 26 de Abril de 2018

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons