SciELO - Scientific Electronic Library Online

 
vol.5 número1Dificultades y facilidades para el desarrollo de un proceso de innovación educativa con base en las Tecnologías de la Información y Comunicación (TIC)Diseño de un cuestionario para evaluar conocimientos básicos de estadística de estudiantes del último curso de ingeniería índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

Compartir


Formación universitaria

versión On-line ISSN 0718-5006

Form. Univ. vol.5 no.1 La Serena  2012

http://dx.doi.org/10.4067/S0718-50062012000100003 

Formación Universitaria-Vol. 5 Nº1-2012, pág.: 13-20

ARTICULOS

Modelo basado en Lógica Difusa para el Diagnóstico Cognitivo del Estudiante

Cognitive Diagnosis Model based on Fuzzy Logic

Constanza R. Huapaya, Francisco A. Lizarralde,  Graciela M. Arona
Universidad Nacional de Mar del Plata, Grupo de investigación en Inteligencia Artificial, Depto. de Matemática, Facultad de Ingeniería,
Juan B. Justo 4302, Mar del Plata-Argentina (e-mail: huapaya,flizarra,grarona@fi.mdp.edu.ar)


Resumen

La apreciación del estado cognitivo de un estudiante presenta  inconvenientes  originados en el tratamiento de la imprecisión presente tanto en la naturaleza dinámica del estado cognitivo así como en el enfoque interpretativo  de la evaluación del educador. La valoración del desempeño con una puntuación rígida aparece como inapropiada para medir este fenómeno dinámico. A fin de mejorar el diagnóstico cognitivo,  se propone un modelo de evaluación basado en lógica difusa. El modelo está compuesto por 27 reglas difusas que capturan la experticia de los profesores  y   utiliza tres variables lingüísticas de entrada y una de salida. La experiencia realizada mostró una visión mejorada del diagnóstico cognitivo  con la obtención de información adicional a partir de las notas tradicionales. Las  ventajas encontradas  comprenden la obtención de una mayor flexibilidad  en la evaluación con respecto a la rígida evaluación tradicional y la posibilidad de que los docentes puedan expresarse en lengua natural.

Palabras clave: diagnóstico cognitivo, lógica difusa, experiencia docente, evaluación del estudiante


Abstract

The appreciation of a student's cognitive status has problems originated in the treatment of the imprecision present in the nature of the cognitive status' dynamic. The interpretative focus of the observations done by the teacher on the student's activity also influences in the before mentioned problems. The assessment with a rigid scoring seems inappropriate to measure this dynamic phenomenon. In order to treat the imprecision involved in a more flexible way, an approach based on fuzzy logic is proposed aiming at improving the diagnosis. In this approach, the linguistic variable knowledge level is estimated using three linguistic variables: grades' progression, tests' passing level, and final grade with respect to the course's average. The approach is comprised by 27 fuzzy rules that capture the professors' expertise and uses three linguistic variables of input and one of output.  The  experience  carried  out  showed  an  enlarged  vision  to  obtain  additional information from traditional grades. Advantages have been found in the students' assessment with the proposed approach: it is more flexible than the traditional assessment and the professors can express themselves in a natural language.

Keywords: Cognitive diagnosis, fuzzy logic, professors’ expertise, student assessment


INTRODUCCION

Las Nuevas Tecnologías de la Información y Comunicación (NTICs) (Maceiras et al., 2010;  Van der Pol, 2009) incrementan el acceso a diversas oportunidades educativas, ayudan a mejorar la calidad de la educación con métodos avanzados de enseñanza, mejoran los resultados del aprendizaje y permiten alcanzar mejores sistemas administrativos de la educación. Estos objetivos se logran a través de la combinación de tecnologías como  multimedia, internet, ingeniería de software y  metodologías de la computación blanda (soft computing). La integración de una o varias de estas tecnologías con sistemas tradicionales de enseñanza da lugar a ambientes de aprendizaje avanzados (Häkkinen, 2002). Uno de los rasgos más importantes de estos nuevos paradigmas es posicionar al estudiante en el centro del ambiente educativo.  Por tal motivo es de gran importancia el modelado cognitivo (Shute, 2006), esto es, la representación del conocimiento del alumno.  Para la construcción de un modelo cognitivo se tienen que considerar las diferencias individuales de los alumnos y elaborar un diagnóstico cognitivo a fin de capturar las diferencias personales. Este diagnóstico es el proceso de inferir el estado cognitivo a partir de sus características  intrínsecas y como tal es la actividad central de los sistemas computacionales cuyo objetivo es construir un modelo dinámico y adaptativo de la actividad del estudiante (Bass y Glaser, 2004). 

Uno de los enfoques más importantes que modificó la visión de estos ambientes centrados en el estudiante, fue el modo de valoración del logro de los estudiantes. Esta nueva visión de la enseñanza está reemplazando la noción de control del estudiante por un concepto mucho más amplio y más complejo de evaluación. Este concepto pretende encontrar parámetros objetivos y racionales para tratar el esfuerzo y los resultados alcanzados por cada estudiante.  Actualmente, el paradigma de la enseñanza se encuentra centrado en el aprendizaje, motivo por el cual se debería llevar a cabo una evaluación para el aprendizaje y no solamente una evaluación del aprendizaje (Black y Wiliam, 1998; Stiggins, 2002). Es así que se busca valorar tanto al alumno durante el proceso de su aprendizaje (i.e. evaluación formativa y representante de la evaluación para el aprendizaje)   como el producto final (i.e. evaluación sumativa o final, fiel ejemplo de la evaluación del aprendizaje).

La evaluación del estudiante a partir de mediciones tradicionales presenta ciertas dificultades, a saber: 1) La calificación numérica que un docente asigna dentro de un esquema predeterminado puede dar lugar a una puntuación imprecisa debido a que las mediciones pueden diferir de un evaluador a otro, dependiendo de la experiencia y sensibilidad de cada uno de ellos. En general, la nota que se le asigna a un estudiante es una aproximación. 2) La calificación mediante términos lingüísticos (p.e. excelente o regular), si bien logra mayor flexibilidad, también enfrenta  cierta imprecisión proveniente de la distinta percepción que cada evaluador hace mediante la lengua natural. Estos dos aspectos de la evaluación del estudiante se originan en la percepción humana cuando valora las pruebas resueltas por los estudiantes.  Una de las tecnologías de la computación blanda usadas con éxito para el tratamiento de la imprecisión en los datos es la Lógica Difusa (LD) (Zadeh, 1975; Dubois y Prade, 1996).

Nuestro objetivo es desarrollar un sistema asistente (sistema capaz de adaptarse a los requerimientos del docente) para estimar el diagnóstico cognitivo del estudiante. Este sistema comparte características de las NTICs porque integra una metodología de la computación blanda,  la Lógica Difusa. La finalidad es cooperar con los docentes en la toma de decisión sobre la aprobación de asignaturas de una carrera universitaria. Este artículo está organizado en cuatro secciones: una introducción a la Lógica Difusa, luego se presenta la descripción del modelo de diagnóstico, seguida por  el desarrollo de un caso y el análisis de los resultados obtenidos para finalizar con las conclusiones.

BREVE INTRODUCCIÓN A LA LOGICA DIFUSA

La lógica tradicional booleana trabaja con información exacta y precisa (información crisp). Por el contrario, la LD utiliza valores de verdad no-deterministas que tienen una connotación de incertidumbre. Es particularmente útil cuando se necesita el conocimiento experto construido con conceptos ambiguos o imprecisos, como por ejemplo, en sistemas de control  (de tráfico, centrales térmicas, máquinas lavadoras, etc.), en reconocimiento de patrones, en diagnóstico de enfermedades, etc.  La LD incluye el razonamiento aproximado (cálculo con palabras) y provee fortaleza matemática a la emulación de atributos lingüísticos y perceptuales asociados con la cognición y razonamiento humano. Veamos una breve definición  de conjunto difuso.

Un conjunto difuso A sobre un universo de objetos X, se define a través de su  función de pertenencia, definida en el intervalo [0,1], i.e., la función mA: X → [0,1]. mA  (x) indica el grado de pertenencia de cada elemento x al conjunto difuso A, el cual se representa como A= {(x, mA(x)) | x Î X}.   De este modo, (x;0)  indica que x no tiene ninguna pertenencia al conjunto A y el par (y;1) propone la total pertenencia de y al conjunto difuso A. En el caso de (z; 0’5) se puede considerar que z tiene mediana relación con A. Nótese que si la función de pertenencia sólo alcanza los valores 0 o 1, sólo se obtiene la teoría tradicional de conjuntos, pero con la lógica difusa, es posible expresar el grado de pertenencia de x al conjunto A con todos los valores intermedios entre 0 y 1.

Es importante notar  que la especificación de la función de pertenencia  es subjetiva, es decir, que los valores pueden diferir de una persona a otra; esta subjetividad proviene de las diferencias individuales en la percepción o expresión de conceptos abstractos. La evaluación humana del logro  involucra,  generalmente,  términos  lingüísticos  como  excelente,  bueno o  regular están  fuertemente imbuidos de subjetividad  y son dependientes de un contexto.  Las técnicas difusas se muestran apropiadas para capturar estas etiquetas lingüísticas. Por ejemplo, la evaluación del logro de un alumno puede posicionarse en algún punto dentro de un intervalo de la variable a considerar. Si el interés es  modelar la variable lingüística (palabras u oraciones) nivel de conocimiento de un estudiante, pueden crearse dos conjuntos difusos (también llamados términos)  denominados insuficiente y excelente estimados sobre el universo de discurso [0,10] (notas usadas en Argentina). Como se aprecia en la  Figura 1, una nota 0 tiene 1 como pertenencia al conjunto insuficiente, mientras que una nota 4 es menos “insuficiente”, y se le asigna un valor de pertenencia de 0’6 en este conjunto.

Fig. 1: Representación de los conjuntos difusos insuficiente y excelente.

Las etiquetas lingüísticas son usadas por los educadores para definir sus estrategias de evaluación a fin de decidir el nivel del logro del estudiante.  Los docentes, en general, no establecen modelos detallados para estimar el desempeño del alumno. Éstos reúnen información sobre la actividad del estudiante y se forman ideas generales sobre que métodos pedagógicos funcionan mejor con cada estudiante (Severac, 2006; Stathacopoulou et al., 2005). Nuestro sistema asistente captura ese conocimiento experto con reglas de inferencia difusa (es el  método de obtener conjuntos difusos a partir de la combinación de otros conjuntos difusos con reglas de la forma si-entonces).

En la literatura sobre la aplicación de la lógica difusa en la evaluación del estudiante se reportan  ejemplos que usan solo cómputos numéricos asignando etiquetas difusas (Chen y Lee,1999; Law, 1996) hasta los desarrollos más recientes incorporando reglas difusas  (Chen y Li,2011; Gokmen et al.,2010; Nykanen ,2006; Tay y Lim, 2011). 

DESCRIPCIÓN DEL MODELO DE DIAGNOSTICO

El sistema de diagnóstico desarrollado ha sido aplicado en las asignaturas Computación y Análisis Numérico de la Facultad de Ingeniería de la Universidad Nacional de Mar del Plata. El sistema de evaluación de estas asignaturas sigue la reglamentación de la Facultad que implica arribar a una nota entre 0 y 10. Los estudiantes con nota (un número entero)  mayor o igual a 5, aprueban la asignatura y los demás la desaprueban. Este sistema de evaluación nos ha llevado a situaciones problemáticas: alumnos con notas cercanas y por debajo de 5 desaprueban la asignatura. Un estudiante con nota 4’9 sabe menos que otro con nota 5? .A un alumno con nota 6’5, se le asigna una nota 6 o 7?  El sistema de evaluación no prevé un método alternativo a fin de fortalecer el sistema de valoración. Estas circunstancias, donde es necesario resolver situaciones  ambiguas, nos motivaron a desarrollar un sistema alternativo de evaluación basada en LD.

El modelo de diagnóstico hace una estimación del nivel de conocimiento alcanzado por el estudiante en el momento de la terminación del dictado de una asignatura. Esto es, intenta capturar un indicador que integre el logro académico alcanzado basándose en información que  se genera en nuestras cátedras universitarias. Se analiza la información adquirida por el sistema sobre las notas de exámenes parciales, finales y pruebas computacionales específicas basadas en la distancia semántica DistSem (Vivas, 2004) (este método permite extraer la estructura de una red semántica en base a las distancias estimadas entre significados y representar esa información en una matriz de similitudes. Este método se aplica sobre conjuntos de n conceptos seleccionados para su evaluación). El modelo desarrollado para estimar la variable lingüística de salida nivel de conocimiento usa tres variables lingüísticas de entrada: progresión de notas, nivel  de  aprobación  de  las  pruebas  y  nota  final  respecto  a  la  media  del  curso. A continuación se presenta una descripción de cada una de ellas:

Progresión de notas: se considera importante la evolución de las notas a lo largo del período académico. Un crecimiento importante de las notas indica un mejoramiento en el aprendizaje, mientras que un decrecimiento sostenido implica lo contrario. Los otros casos pueden ser considerados como no significativos (en el sentido de que no ascienden o descienden monótonamente) y no inciden sobre el cálculo del nivel del conocimiento.  Esta variable se calcula en base a las calificaciones de todas las pruebas  registradas de cada alumno considerando su cronología.  Sus términos (conjuntos difusos) son: creciente, estable y decreciente. Considerando

que en el ciclo académico se registran n notas, el cómputo de estos valores se inicia calculando la recta resultante de la aproximación por cuadrados mínimos, siendo la variable x el tiempo:

(1)

La pendiente de la recta p1(x)  muestra la tendencia de la evolución de las notas. Por ejemplo, si el valor de la pendiente es mayor a -1 y menor que 1,  la variable Progresión de notas  toma el valor Estable.  En la Figura 2 se aprecia los tres conjuntos difusos de los valores correspondientes a la variable Progresión de notas en el desarrollo realizado en Matlab (software matemático multiplataforma).

Nivel de aprobación de las pruebas: es la información más relevante para decidir el nivel de conocimiento de cada estudiante. Los resultados de las pruebas (incluyendo exámenes) son almacenados en el sistema. La variable toma los términos no satisfactorio, satisfactorio y muy satisfactorio.  El cálculo es un promedio ponderado y usa las notas notak, k=1, n :

(2)

n es la cantidad total de notas. Los pesos wk (0<wk<1) son proporcionados por el experto evaluador y dependen de la importancia que éste le asigne a cada evaluación.


Fig. 2: conjuntos difusos para creciente, estable y decreciente de la variable Progresión de notas

Nota final respecto a la media del curso (RM): aquí se   compara el   rendimiento individual de cada alumno a  través  de  su  nota  NivelA (se presenta un ejemplo en la Tabla 1)  con  respecto  al desempeño  promedio  de  todos  los  estudiantes  del  curso.  Esta  medida  es  relativa  al  curso particular y se define del siguiente modo:

RMi=Abs( NivelAi  – DP )   ; i=1,M 

(3)

NivelAi  es el nivel de aprobación de las pruebas calculado en (2) para cada uno de los M

estudiantes y  el desempeño promedio del curso de ellos es:   

        

Se consideran relevantes las notas alejadas del promedio. Las notas cercanas a la media no influyen en el nivel del conocimiento. Se han determinado los siguientes términos: debajo de la media,  alrededor de la  media  y arriba de la media.

Finalmente, la variable de salida nivel de conocimiento toma los términos   bajo, medio y alto indicando la categoría alcanzada por el estudiante según la información analizada en la progresión de notas, nivel de aprobación de las pruebas y nota final respecto a la media del curso.  El nivel estimado provee una guía  al evaluador, asistiéndolo en su toma de decisión.

Los docentes razonan con sentencias en lengua natural como “si el estudiante tiene un nivel de aprobación excelente entonces su nivel de conocimiento es muy bueno”. La experiencia docente se puede traducir en una colección de reglas difusas si(antecedente)-entonces(consecuente).  En nuestro sistema, en el antecedente de estas reglas figuran las variables lingüísticas y sus valores como conjuntos difusos. En el consecuente se encuentra la variable de salida y sus valores correspondientes.

Para inferir los valores del nivel de conocimiento, se ha considerado que Nivel de aprobación de las pruebas es la variable de entrada que guiará fundamentalmente la categorización y que las otras dos variables consideradas (progresión de notas y nota respecto a la media), contribuirán en menor medida. Los expertos involucrados en el desarrollo propusieron 27 reglas en lenguaje natural, dos de las cuales se muestran a continuación:

Regla 1. Si (nivel de aprobación de las pruebas es muy satisfactoria) y (nota final respecto a la media está por arriba de la media) y (progresión de notas es creciente)
Entonces (nivel de conocimiento es alto)     

Regla 2. Si (nivel de aprobación de las pruebas es  satisfactorio) y (nota final respecto a la media está alrededor de la media) y (progresión de notas es estable)
Entonces (nivel de conocimiento es medio)  

RESULTADOS Y DISCUSIÓN

Para ilustrar el uso del modelo de diagnóstico se han analizado las notas de un estudiante que figuran en la Tabla 1. Las filas 2, 3, 5, 6 y 7 corresponden a evaluaciones tradicionales, mientras que las filas 1 y 4 registran los resultados de la misma prueba DistSem, administrada antes de iniciar el curso como pre-test y al terminar el periodo académico a modo de post-test.

Tabla 1: ejemplo de la actividad de un estudiante

En este método no difuso de evaluación, un alumno que tenga un promedio de 4’9 (insuficiente) estará en una situación diferente respecto a uno que tenga 5’1 (suficiente). Se aprecia que a pesar de la pequeña diferencia numérica entre estas notas (0’2), los resultados de la evaluación son muy diferentes. Si bien en el caso en análisis, el estudiante tiene un nivel “suficiente”, el docente puede considerar necesario requerir más información  para dar por aprobada la asignatura

A fin de asistir al evaluador en su decisión final, el modelo descripto encuentra información adicional sobre el mismo estudiante, como se aprecia en la Tabla 2. A partir de la fórmula (1)  para la Progresión de notas el cálculo de la pendiente de la recta de aproximación por cuadrados mínimos es 0’914. A partir de la fórmula (2), el Nivel de aprobación de  notas es 5’85. El desempeño promedio del curso del 2009 es 5’12. En consecuencia la Nota final con respecto a la media es RM=0’73, siguiendo la fórmula (3).

En la tabla 2 se muestra los valores de pertenencia de los términos de las 4 variables lingüísticas pertenecientes al estudiante en análisis. En la columna primera (I) figuran los términos bajos (decreciente, no satisfactorio, debajo y bajo de cada variable). En la columna (II) los intermedios y en la columna (III) los valores altos. Se aprecia que los valores de pertenencia más altos figuran en la columna (II).

Tabla 2: valores obtenidos de las variables lingüísticas del estudiante en estudio

La aplicación de las reglas difusas (en este caso la Regla 2) nos responde que el nivel de conocimiento tiene una pertenencia al conjunto difuso Medio en 0’5,  mientras otra regla aporta que la pertenencia al conjunto Alto es menor, de 0’25. Este resultado alternativo con referencia a la evaluación tradicional permite agregar una nueva visión sobre las notas.

El sistema fue usado durante los años 2009 y 2010 en las asignaturas  Análisis Numérico (150 alumnos por año) y  Computación (350 alumnos por año). Se identificaron grupos de estudiantes en cada asignatura que presentaban cierta dificultad para decidir su calificación final (aproximadamente el 22 % por año).  Durante 2009 el sistema coincidió con la evaluación de los docentes en un 87 % y luego de la corrección de algunas reglas, en 2010 coincidieron en un 89 %. 

CONCLUSIONES

De los resultados mostrados, de su análisis y de su discusión, se pueden obtener las siguientes conclusiones, sobre el diagnóstico del estudiante basado en Lógica Difusa: 1) la validez del sistema desarrollado se probó con notas de estudiantes de dos ciclo académicos; 2) se bajó el nivel de subjetividad en las evaluaciones; 3) los docentes reconocieron la ayuda brindada por el sistema ; 4)  si bien los resultados obtenidos muestran una coincidencia en los resultados del 88 % con los evaluadores, consideramos que es necesario aumentar el nivel de exactitud de las predicciones para lograr un mejor sistema asistente; 5) los  evaluadores han propuesto bajar la incidencia de la variable Nota final respecto a la media del curso (RM) por considerar que su aporte es menos relevante que el propuesto; 6) asimismo, los docentes que usaron el sistema  han notado la falta algunas variables de carácter cualitativo que sería necesario incorporar para enriquecer el sistema: algunas de ellas propias del tema a enseñar como nivel de dificultad del tópico o importancia del tema y otras relacionadas con la actividad del estudiante como  esfuerzo o motivación. Con estas nuevas variables se agregarán nuevas reglas al sistema asistente.

REFERENCIAS

Bass, K. M. y R. Glaser,  Developing  assessments to inform teaching and learning, Universidad de Pittsburg, Centro de Investigación del Aprendizaje y el Desarrollo (2004).         [ Links ]

Black,  P.J.  y  D. Wiliam;  Assessment  and  Classroom  Learning.  Assessment  in  Education:principles, policy and practice: 5(1),7-74 (1998).         [ Links ]

Chen S. M. y C.H. Lee., New methods for Students’ Evaluation using fuzzy sets, Fuzzy sets and systems: 104, 209-218 (1999).         [ Links ]

Chen S.M. y T. K. Li , Evaluating students´ learning achievement based on fuzzy rules with fuzzy reasoning capability, Expert Systems with Applications: 38, 4368-4381 (2011).         [ Links ]

Dubois D. y H. Prade.   What   are fuzzy rules and how to use them. Fuzzy sets and systems:84,169-185 (1996).         [ Links ]

Gokmen G., Akinci T.C., Tektas M., Onat N. Kocyigit G. y N. Tekta, Evaluation of student performance in laboratory applications using fuzzy logic, Procedia Social and Behavioral Sciences: 2 , 902–909(2010).         [ Links ]

Häkkinen P.,Challenges for design of computer-based learning environments. British Journal of Educational Technology: 33 (4), 461-469 (2002).         [ Links ]

Kaschek R.H. Intelligent Assistant Systems: Concepts, Techniques and Technologies. 1ª edición, IGI Publishing, London, UK (2007)        [ Links ]

Law C., Using fuzzy numbers in educational grading systems, Fuzzy sets and systems: 83(3), 311-323 (1996).         [ Links ]

Maceiras  R., Cancela A. y V. Goyanes, Aplicación de Nuevas Tecnologías en la Docencia Universitaria,  Formación Universitaria: 3(1), 21-26 (2010).         [ Links ]

Nykanen O. Inducing Fuzzy Models for Student Classification. Educational Technology & Society: 9 (2),  223-234(2006).         [ Links ] 

Severac Z. , Neuro fuzzy Reasoner for Student Modeling,  Six IEEE International Conference on Advance Learning Technologies:  740-744 (2006).         [ Links ]

Shute V. J., Tensions, Trends, Tools and Technologies: Time for an Educational Sea Change. Research Report. ETS Educational Testing Service, Princeton, NJ. (2006).         [ Links ]

Stathacopoulou R., Magoulas G., Grigoriadou M, Samarakou M., Nero-fuzzy knowledge processing in intelligent learning environments for improved student diagnosis, Information Sciences: 170, 273-307(2005).         [ Links ]

Stiggins  R.J.  Assessment  crisis:  The  absence  of  assessment  for  learning.  Delta  Kappan Professional Journal: 83(10), 758-765 (2002).         [ Links ]

Tay K. M.  y C. P. Lim , A fuzzy inference system-based criterion-referenced assessment model, Expert Systems with Applications: 38, 11129-11136 (2011).         [ Links ]

van der Pol H., Guide to measuring information and communication technologies (ICT) in education. Technical paper No. 2. UNESCO Institute for Statistics (en línea),2009.  http://unesdoc.unesco.org/images/0018/001865/186547e.pdf. Acceso: 18 de septiembre (2011).         [ Links ]

Vivas J., Método Distsem: procedimiento para la evaluación de distancias semánticas. Revista Perspectivas en Psicología: 1, 56-61 (2004).         [ Links ]

Zadeh L.A.. The concept of a linguistic variable and its application to approximate reasoning. Information Sciences: 8(3), 199-249 (1975).         [ Links ] 


Recibido Jul. 07, 2011
Aceptado Ago. 18, 2011
Versión final recibida Oct. 08, 2011

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons