SciELO - Scientific Electronic Library Online

 
vol.6 número3Felicidad y Rendimiento Académico: Efecto Moderador de la Felicidad sobre Indicadores de Selección y Rendimiento Académico de Alumnos de Ingeniería ComercialMódulos Alternativos en la Enseñanza de las Ciencias: Estrategia Didáctica Orientada al Logro de Aprendizajes Significativos índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

Compartir


Formación universitaria

versión On-line ISSN 0718-5006

Form. Univ. vol.6 no.3 La Serena  2013

http://dx.doi.org/10.4067/S0718-50062013000300005 

Formación Universitaria Vol. 6(3), 31-38 (2013)

 

Evaluación de la Eficiencia de las Universidades pertenecientes al Consejo de Rectores de las Universidades Chilenas: Resultados de un Análisis Envolvente de Datos

Evaluation of the Efficiency of the Universities belonging to the Council of Rectors of Chilean Universities: Results of a Data Envelopment Analysis

 

Patricio E. Ramírez(1) y Jorge L. Alfaro(2)

(1) Escuela de Ciencias Empresariales, Universidad Católica del Norte, Larrondo 1281, Coquimbo-Chile. (e-mail: patricio.ramirez@ucn.cl)

(2) Departamento de Ingeniería de Sistemas y Computación, Universidad Católica del Norte, Av. Angamos 0610, Antofagasta-Chile. (e-mail: jalfaro@ucn.cl)


Resumen

El objetivo de este estudio es estimar la eficiencia de las universidades pertenecientes al Consejo de Rectores de las Universidades Chilenas. El trabajo se basa en la técnica de análisis envolvente de datos (DEA) y tiene en cuenta la realidad del sistema universitario chileno. Un modelo DEA con una variable de entrada (gastos operativos) y dos variables de salida (publicaciones ISI y número de estudiantes matriculados) fue desarrollado para evaluar el desempeño de las universidades. Los resultados empíricos indican que 3 de las 25 instituciones son eficientes en el plano de investigación y docencia. Además, estos resultados no revelan diferencias estadísticamente significativas de eficiencia entre las instituciones estatales y las no estatales, como tampoco entre las instituciones con distintos años de acreditación institucional.

Palabras clave: universidades chilenas, calidad de la enseñanza, eficiencia, análisis envolvente de datos


Abstract

The objective of this study is to estimate the efficiency of the universities belonging to the Council of Rectors of Chilean Universities. The work is based on the technique known as data envelopment analysis (DEA) and takes into account the reality of the Chilean university system. A DEA model with an input variable (operating expenses) and two output variables (ISI publications and number of students enrolled) was developed to evaluate the performance of universities. The empirical results indicate that 3 of the 25 institutions are efficient in terms of research and teaching. Furthermore, these results reveal no statistically significant differences in efficiency between state institutions and non-state institutions or between institutions with different years of institutional accreditation.

Keywords: chilean universities, quality of teaching, efficiency, data envelopment analysis


 

INTRODUCCIÓN

En las últimas décadas las universidades chilenas se han enfrentado a nuevos escenarios de masificación, diversificación y cambios económicos (Bernasconi, 2008). En este contexto, y si bien las funciones de  docencia, investigación y extensión se han considerado siempre propias de la tarea universitaria, se ha puesto un acento importante en la necesidad de perfeccionar las primeras dos, debido a su rol relevante en la competitividad del país (Rodríguez, 2006; Coenen, 2007; Lucchesi, 2011). Este trabajo contribuye a profundizar en la evaluación de la eficiencia de estas dos funciones.

La función docente de las universidades chilenas se ubica dentro del sistema de educación superior chileno. Este sistema concentra a 1.068.263 estudiantes en diversas instituciones de educación, tanto privadas como públicas (Mineduc, 2012). Dentro de este universo, 661.862 estudiantes están matriculados en alguna de las 60 universidades existentes (planteles que ofrecen programas de nivel 5A y nivel 6 de acuerdo con la clasificación internacional normalizada de la educación).  De este grupo de estudiantes, aproximadamente el 47% asisten a universidades pertenecientes al Consejo de Rectores de las Universidades Chilenas (CRUCH), organismo creado en virtud a lo establecido en la Ley Nº 11.575 para la coordinación a nivel nacional de la actividad académica de las 25 universidades que lo conforman, velando por la calidad y excelencia académica de las mismas. La función investigadora de las universidades chilenas se enmarca en un sistema nacional de investigación que desarrolló notables avances en las últimas décadas, pero que es aún deficitario en el contexto internacional (Rodríguez, 2006). En este sistema son las universidades chilenas, y particularmente las pertenecientes al CRUCH, los principales motores de la actividad científica, generado directamente más del 87% de la investigación producida en Chile con visibilidad internacional (CRUCH, 2008).

Si adicionalmente se considera que las actuales políticas económicas del sistema de educación superior en Chile se basan esencialmente en la existencia de fondos privados (Brunner y Uribe, 2007),  es interesante  revisar la eficiencia de las universidades chilenas del CRUCH como unidades económicas competitivas y  sujetas a cumplir su misiones de docencia y de investigación.  Por lo tanto, el objetivo de este estudio es estimar la eficiencia de las universidades pertenecientes al CRUCH utilizando el enfoque del análisis envolvente de datos (DEA).

REVISION DE LA LITERATURA Y PROPUESTA DE MODELO

Enfoque del análisis envolvente de datos (DEA)

DEA es un método no paramétrico de programación matemática basado en programación lineal, que fue desarrollado por  Charnes et al. (1978) a partir del trabajo de Farrell (1957). El objetivo del DEA es determinar la eficiencia de un grupo de unidades de decisión que realizan actividades similares (Eken y Kale, 2011). Este enfoque de optimización muestra la eficiencia de un grupo de entidades utilizando la llamada frontera de eficiencia. Esta técnica puede proporcionar datos sobre la eficiencia de cada una de las unidades objeto de estudio, y clasificar éstas de acuerdo con la eficiencia conseguida en comparación con otras unidades (Mcmillan y Datta, 1998; Yang y Liang, 2009), o su proporción con relación al resto.

Por lo general, para el análisis DEA se utiliza un software que opera bajo un modelo fraccionado propuesto por Charnes et al. (1978), conocido como CCR, que asume que una organización es eficiente cuando se aumenta la cantidad de productos producidos (entradas) y mantiene un volumen constante de los recursos utilizados (salidas) (Díez, 2008).

Para evaluar la eficiencia de unidades de decisión homogéneas, el análisis cualitativo simple puede no ser suficiente y/o adolecer de sesgos subjetivos, mientras que DEA puede proporcionar medidas cuantitativas objetivas complementarias para la toma de decisiones. La ventaja principal de DEA es que se calcula una puntuación simple para cada unidad de decisión que es fácilmente comprensible para cualquier persona. Sin embargo posee limitaciones, como la sensibilidad a errores de datos y  el hecho de que se evalúa la eficiencia en forma relativa, y no absoluta. 

La especificación del modelo es una de las consideraciones más importantes para el éxito de la evaluación DEA. Si el investigador utiliza una variable de entrada como una variable de salida, o utiliza unidades de decisión heterogéneas, es decir, con actividades dispares, o excluye una variable de salida importante o una variable de entrada importante en el modelo, DEA produce resultados incorrectos (Yang y Liang, 2009).

DEA ha sido ampliamente utilizado en múltiples estudios internacionales, así como en estudios latinoamericanos (por ejemplo, Ramírez y Alfaro (2011) y González y Verdugo (2010)).

DEA y educación superior

Evaluar la eficiencia relativa en las universidades con DEA  es un área consolidada  de investigación que ha aumentado considerablemente en los últimos años. La literatura presenta estudios en diversos países, como Australia (Abbott y Doucouliagos, 2003), Chile (González y Verdugo, 2010; Ramirez et al. 2012), China (Ng y Li, 2000), Alemania (Tzeremes y Halka, 2010), Portugal (McMillan y Datta, 1998), España (Martín, 2006, 2008), Reino Unido (Flegg et al., 2004) y  Estados Unidos (Colbert et al. 2000). Particularmente, Bougnol y Dulá (2006) demuestra que el proceso DEA entrega resultados similares a los obtenidos por evaluaciones de reconocidos expertos. No obstante, DEA entrega resultados que minimizan los aspectos subjetivos. De esta forma, DEA se expone como un método objetivo factible de emplearse en evaluaciones de entidades complejas como las universidades.

El uso de esta metodología en el campo de las universidades es justificada por Martín (2006, 2008). La autora afirma que la metodología DEA se considera suficientemente apropiada para su uso en la medición de la eficiencia de las universidades, ya que puede ser adaptada a las características del área a analizar. En particular, DEA ha sido aplicado a nivel universidad (Bougnol y Dulá, 2006), a nivel de departamentos (Martín, 2008) y a nivel individual (Johnes, 2006). Bougnol y Dulá (2006) comparó dos métodos de evaluación de universidades. Uno, proveniente de un reporte reconocido y publicado, con otro empleando DEA, demostrando equivalencias relevantes. Martín (2008) desarrolló un análisis del grado de eficiencia técnica con que actúan los departamentos universitarios. Finalmente, Johnes (2006) aplicó DEA a 2.568 graduados de universidades del Reino Unido para evaluar la eficiencia del proceso de enseñanza.

Propuesta de modelo DEA

En el contexto mundial, en la aplicación de DEA a instituciones de educación superior, se ha utilizado un modelo "típico" compuesto por dos variables de entrada,  que son el trabajo y los insumos no asociados al trabajo, y por dos variables de salida, la actividad docente y los resultados de investigación (Salerno, 2003). En algunos de estos estudios la matrícula estudiantil se ha utiliza como indicador  de la actividad docente (Coelli, 1996; Athanassopoulos y Shale, 1997; Avkiran, 2001),  el número de publicaciones como indicador de los resultados de investigación (Coelli, 1996), y el gasto total como variable de entrada que agrupa el trabajo y los insumos no asociados al trabajo (Athanassopoulos y Shale, 1997).  Estos antecedentes son la base para el modelo DEA de este estudio. Para proponer el modelo DEA se ha considerado dar una visión simple de la eficiencia de las funciones de docencia e investigación desde una perspectiva financiera. El modelo propuesto se muestra en la figura.1. En el modelo, se especifica una variable de entrada, los gastos de operación, y dos variables de salida, la matrícula estudiantil y el número de publicaciones ISI.

Fig. 1: Modelo DEA propuesto.

METODOLOGÍA DE LA INVESTIGACIÓN

El estudio empírico se basó en los datos financieros y de matrícula del año 2011 entregados por las universidades del CRUCH al Ministerio de Educación de Chile (MINEDUC, 2012). Adicionalmente se obtuvieron las publicaciones ISI de los años 2011 registradas en la base de datos Web of Science para cada una de estas instituciones.

Para analizar los datos se utilizaron los software SPSS y Frontier Analyst (versión 3.04). Frontier Analyst fue configurado para un modelo orientado a las entradas (optimización para minimizar entradas y escalamiento constante). En Frontier Analyst, las unidades consideradas eficientes tienen la misma puntuación, igual a 100.

RESULTADOS

El promedio de las puntuaciones de eficiencia de la muestra fue 80.89 (DS= 12.36). La tabla.1 exhibe las variables e índices de eficiencia para cada una de las universidades del CRUCH. Tres instituciones son evaluadas como eficientes: Universidad de La Serena (referida 18 veces), Universidad Católica de La Santísima Concepción (referida 12 veces) y Universidad Austral de Chile (referida 10 veces). La figura.2 muestra la distribución de los índices de eficiencia y la figura.3 grafica la frontera de eficiencia.

Tabla 1. Variables e índice de eficiencia.

 

Fig. 2: Distribución de los índices de eficiencia.

Fig. 3: Frontera de eficiencia.

Para revelar las diferencias entre la eficiencia de las instituciones estatales (N=16) y no estatales (N=9) se realizó una prueba ANOVA en SPSS. El resultado de ANOVA en SPSS indica el valor calculado del estadístico F y su nivel de significación (la probabilidad de rechazar la hipótesis nula siendo cierta). El  nivel de significación permite aceptar o rechazar la hipótesis nula (de independencia entre las variables) sin necesidad de tener que comparar el valor de la F con su valor real de la tabla estadísticas F de Snedecor. Si el nivel de significación es mayor que 0,05, aceptaremos la hipótesis nula. Si el nivel de significación es menor que 0,05 rechazaremos la hipótesis nula y aceptaremos la hipótesis alternativa. En el caso de las dos categorías analizadas (estatales y no estatales), dado que el valor del nivel de significación es 0,442 y este valor es mayor que 0,05 aceptaremos la hipótesis nula de que no existen efectos diferenciales entre los dos grupos. Como las variables no cumplían el requisito de normalidad, la técnica no paramétrica Mann-Whitney se aplicó corroborando el resultado anterior (el nivel de significación de esta prueba es 0,388).

Como se muestra en la tabla.2, se computó el índice de eficiencia según años de acreditación de las instituciones. Posteriormente, para evaluar posibles diferencias entre la eficiencia de las instituciones según sus años de acreditación se realizó una segunda prueba ANOVA en SPSS. El resultado de esta prueba indica un valor del nivel de significación de 0,450 y como este valor es mayor que 0,05 aceptaremos la hipótesis nula de que no existen efectos diferenciales entre los grupos. Como las variables no cumplían el requisito de normalidad y los tamaños de muestra en cada grupo eran muy diferentes, la técnica no paramétrica Kruskal-Wallis se aplicó corroborando el resultado anterior (el nivel de significación de esta prueba es 0,300).

Tabla 2: Índice de eficiencia según años de acreditación institucional.

Finalmente, con fines de simplificar la explicación del resultado del análisis DEA, la figura.4 muestra en forma esquemática un fragmento de él. La frontera DEA es representada por los segmentos definidos por la universidades  C, S y A,  las cuales son 100% eficientes (C es el punto máximo en la relación E/G y A el máximo en la relación I/G).  La universidades L, F y P son ineficientes. El valor de la eficiencia relativa de la universidad P (58%) está dado por tamaño el segmento entre esta letra y el origen (O) en relación al tamaño de la recta entre este origen y la frontera DEA que pasa por P, lo mismo para las universidades L y F (92% y 77% respectivamente). La universidad referente para P es sólo A, que es la universidad que genera el segmento de la frontera donde se proyecta su eficiencia relativa, en el caso de L y F son sus referentes las universidades C y S, pues son las que generan el segmento donde se proyectan su eficiencia relativa. 

Fig. 4: Explicación esquemática del DEA.

CONCLUSIONES

Como expone la literatura, las universidades son instituciones de gran relevancia para el desarrollo de las naciones. Consecuentemente, el estudio de su eficiencia debe ser considerado como un punto crucial por aquellos que gobiernan tales instituciones. Esto permitirá observar bases objetivas para la  asignación y evaluación de recursos de origen tanto público como privados.

Este estudio analizó la eficiencia de las universidades en un sistema de educación superior altamente privatizado, con una perspectiva de análisis de negocios. Luego de proponer un modelo de eficiencia que incorpora elementos de docencia e investigación, se evaluó la eficiencia relativa de las instituciones del CRUCH con una técnica DEA.

El análisis de los resultados de este estudio puede sugerir que los altos directivos de las universidades chilenas han establecido implícitamente algunas normas de negocios para evaluar e informar su gestión. Además, si aceptamos las consecuencias de la hipótesis sociológica de un sistema chileno de educación superior altamente privatizado, se debe reconocer que las universidades de la muestra han logrado una notable eficiencia. Además, la uniformidad de la eficiencia entre las universidades estatales y otras universidades indica que todas siguen las reglas del mercado.

La calidad de los servicios de las instituciones de la muestra ha sido explícitamente no considerada en el estudio. Sin embargo, los autores creen que esta calidad está implícita en el rendimiento económico de las instituciones, debido al hecho de que los estudiantes aceptan la calidad del servicio prestado por el precio cobrado por ella. Además, si bien hay algunos elementos de asimetría de información entre las universidades (los proveedores) y estudiantes (clientes), esto no explicaría el desempeño económico a largo plazo de las instituciones.

Desde una perspectiva práctica, este estudio permite observar de forma holística el posicionamiento de las universidades chilenas respecto de su eficiencia relativa. Cada institución podrá observar su situación estratégica y de acuerdo a ello establecer acciones de posicionamiento futuro.

Desde una perspectiva teórica, sin duda se requiere mayor conocimiento respecto del desempeño de las universidades dado la carencia de investigaciones empíricas que aborden la temática en Chile. En este sentido, proponemos estudios futuros en esta línea que consideren la inclusión de otras variables de entrada y/o salida. Además, consideramos de valor el desarrollo de investigaciones de carácter longitudinal que permitan observar las trayectorias de eficiencia de las universidades respecto de la frontera de eficiencia. De igual forma, sería de relevancia el contrastar estos resultados con la realidad de las universidades en Latinoamérica.

Las limitaciones de este trabajo son varias, sin embargo, los autores creen que esta modesta contribución al conocimiento de la realidad del sistema universitario chileno será de utilidad para los tomadores de decisiones de las universidades y para el debate público.

REFERENCIAS

Abbott, M. y Doucouliagos, C., The efficiency of Australian universities: A data envelopment analysis. Economics of Education Review: 22(1), 89-97 (2003).         [ Links ]

Athanassopoulos, A.D. y Shale, E., Assessing the Comparative Efficiency of Higher Education Institutions in the UK by Means of Data Envelopment Analysis, Education Economics: 5(2), 117-134 (1997).         [ Links ]

Avkiran, N.K., Investigating technical and scale efficiencies of Australian universities through data envelopment analysis, Socio-Economic Planning Sciences: 35, 57-80 (2001).         [ Links ]

Bernasconi, A., Is there a Latin American model of the university? Comparative Education Review: 52(1), 27-52 (2008).         [ Links ]

Bougnol, M.L. y Dulá, J.H., Validating DEA as a ranking tool: An application of DEA to assess performance in higher education, Annals of Operations Research: 145(1), 339-365 (2006).         [ Links ]

Brunner, J.J. y Uribe, D., Mercados universitarios: el nuevo escenario de la educación superior. Universidad Diego Portales, Santiago de Chile, Chile (2007).         [ Links ]

Charnes, A., Cooper, W.W. y Rodas, E., Measuring the efficiency of decision making units, European Journal of Operational Research: 2(4), 429-444 (1978).         [ Links ]

Coelli, T., Assessing the performance of Australian universities using data envelopment analysis, Internal report, Centre for Efficiency and Productivity Analysis, University of New England (1996).         [ Links ]

Coenen, L., The role of universities in the regional innovation systems of the North East of England and Scania, Sweden: providing missing links?, Environment and Planning C-Government and Policy: 25(6), 803-821 (2007).         [ Links ]

Colbert, A., Levary, R.R. y Shaner, M.C., Determining the relative efficiency of MBA programs using DEA, European Journal of Operational Research: 125(3), 656-669 (2000).         [ Links ]

CRUCH. Planteamiento Sobre Políticas Nacionales de Ciencia, Tecnología e Innovación del Consejo de Rectores de las Universidades Chilenas.  http://www.cruch.cl/documentos/PlanteamientoSobrePoliticas.pdf (2008)  Acceso: 12 de Agosto de 2012.         [ Links ]

Díez, F.A, Análisis de eficiencia de los departamentos universitarios. El caso de la Universidad de Sevilla. Dykinson, Madrid, España (2008).         [ Links ]

Eken, M.H. y Kale, S., Measuring bank branch performance using data envelopment analysis (DEA): The case of Turkish bank branches, Afr. J. Bus. Manage: 5(3), 889-901 (2011).         [ Links ]

Farrell, M.J., The measurement of productive efficiency, Journal of the Royal Statistical Society: 120(3), 253-290 (1957).         [ Links ]

Flegg, A.T., Allen, D.O., Field, K. y Thurlow, T.W., Measuring the efficiency of British universities: A multi period data envelopment analysis, Education Economics: 12(3), 231-249 (2004).         [ Links ]

González, M. y Verdugo, G., Análisis de  eficiencia y productividad de las universidades chilenas mediante análisis y encapsulamiento de datos,  Revista Aporte Santiaguino: 3(2), 245-256 (2010).         [ Links ]

Johnes, J., Measuring teaching efficiency in higher education: An application of data envelopment analysis to economics graduates from UK Universities 1993, European Journal of Operational Research: 174, 443-456 (2006).         [ Links ]

Lucchesi, M.A.S., La universidad internacional en América Latina: un nuevo paradigma para el siglo XXI, Formación Universitaria: 4(1), 25-36 (2011).         [ Links ]

Martín, R., La medición de la eficiencia universitaria. Una aplicación del análisis envolvente de datos, Formación Universitaria: 1(2), 17-26 (2008).         [ Links ]

Martín, R., La evaluación de la eficiencia técnica. Una aplicación del DEA al estilo de la Universidad de la Laguna, XV Jornadas de la Asociación de la Economía de la Educación (2006).         [ Links ]

Mcmillan, M.L. y Datta, D., The relative efficiencies of Canadian universities: A DEA perspective, Canadian Public Policy: 24(4), 485-511 (1998).         [ Links ]

MINEDUC. Base de Datos Matriculados 2011. http://www.mifuturo.cl (2012)  Acceso: 9 de Septiembre de 2012.         [ Links ]

Ng, Y.C. y Li, S.K., Measuring the research performance of Chinese higher education institutions: An application of data envelopment analysis, Education Economics: 8(2), 139-156 (2000).         [ Links ]

Ramírez, P. y  Alfaro, J., El nivel de la inversión en tecnología de información no afecta el rendimiento empresarial: Evidencia empírica de las industrias manufactureras chilenas, Journal of Technology Management & Innovation: 6(4), 225-242 (2011).         [ Links ]

Ramírez, P., Peña, J. y Alfaro, J., Evaluating the efficiency of the higher education system in emerging economies: Empirical evidences from Chilean universities, African Journal of Business Management: 6(4), 1441-1448 (2012).         [ Links ]

Rodríguez, E., La ciencia en Chile: desafíos para el bicentenario, Idesia: 24(2), 5-6 (2006).         [ Links ]

Salerno, C., What we know about the efficiency of higher education institutions: The best evidence, Zoetermeer, Ministry of Education, Culture and Science, Netherlands, http://www.minocw.nl/documenten/bhw-99-bgo99.pdf (2003) Acceso: 2 de Abril de 2012.         [ Links ]

Tzeremes, N. y Halkos, G., A DEA approach for measuring university departments' efficiency, working paper, http://mpra.ub.uni-muenchen.de/24029/ (2010) Acceso: 7 de Mayo de 2011.         [ Links ]

Yang, Z. y Liang L., A Multi-objective DEA Approach in Chinese University Evaluation, International Conference on Information Management, Innovation Management and Industrial Engineering: 1, 400-403 (2009).         [ Links ]


Recibido Ene. 23, 2013; Aceptado Feb. 13, 2013; Versión final recibida Mar. 25, 2013

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons