SciELO - Scientific Electronic Library Online

 
vol.39 número60Comprensión macroestructural y reformulación resuntiva de textos teóricos en estudiantes de institutos de formación de docentes primariosDiscurso y manipulación: Discusión teórica y algunas aplicaciones índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

Compartir


Revista signos

versión On-line ISSN 0718-0934

Rev. signos v.39 n.60 Valparaíso  2006

http://dx.doi.org/10.4067/S0718-09342006000100002 

 

Revista Signos 2006, 39(60), 31-48

ARTÍCULOS

Aplicaciones del diálogo humano de tutoría al AutoTutor: Un sistema inteligente de tutoría*

Applications of human tutorial dialog in AutoTutor: An intelligent tutoring system

 

G. Tanner Jackson

Arthur C. Graesser


Universidad de Memphis

Estados Unidos de Norteamérica

Dirección para correspondencia


RESUMEN

En la Universidad de Memphis hemos creado un sistema tutorial inteligente, llamado AutoTutor1, que ayuda a los estudiantes a aprender, manteniendo una conversación en lenguaje natural. Décadas de investigación acerca de la tutoría humana han guiado nuestra creación del AutoTutor que implementa estrategias de tutoreo efectivas. Diversos estudios han mostrado que el AutoTutor promueve ganancias significativas de aprendizaje. En nuestra actual investigación estamos examinando qué rasgos del diálogo pueden dar cuenta de estas ganancias de aprendizaje y evaluar el uso adecuado del diálogo por parte del AutoTutor. Específicamente, exploramos los patrones dialógicos de las interacciones naturales durante las tutorías con el AutoTutor y analizamos cómo las breves retroalimentaciones pedagógicas se relacionan con el aprendizaje. Encontramos que el AutoTutor crea un modelo apropiado del conocimiento del estudiante y responde a los estudiantes en forma consistente con su actuación general. Estos resultados, junto con otros previos, apoyan la conclusión de que el AutoTutor es un sistema tutorial inteligente efectivo que usa estrategias pedagógicas apropiadas para los aprendices individuales.

Palabras clave: AutoTutor, retroalimentación pedagógica, sistema tutorial inteligente.



ABSTRACT

At the University of Memphis we have created an intelligent tutoring system, called AutoTutor, that helps students learn by holding a conversation in natural language. Decades of research on human tutoring have guided our creation of AutoTutor, which implements effective tutoring strategies. Several studies have shown that AutoTutor promotes significant learning gains. The current research examines which features of the dialog can account for the learning gains, and assesses AutoTutor’s appropriate use of dialog. Specifically, we explored the dialog patterns from natural tutoring interactions with AutoTutor and analyzed how short pedagogical feedback is related to learning. We found that AutoTutor creates an appropriate model of student knowledge and responds to the students in a manner consistent with their overall performance. These results together with previous findings support the conclusion that AutoTutor is an effective intelligent tutoring system that uses pedagogical strategies that are appropriate for individual learners.

Key words: AutoTutor, pedagogical feedback, intelligent tutoring systems.


INTRODUCCIÓN

Hace ya tiempo que se sabe que la actividad individual de un tutor frente un alumno es una forma de instrucción altamente efectiva, comparada con la situación tradicional de la sala de clases (Bloom 1984; Cohen, Kulik & Kulik, 1982). Esta tutoría humano uno-a-uno es implementada habitualmente en la mayoría de los niveles de aprendizaje, con estudiantes de diferentes edades tutoreados por sus pares, por paraprofesionales y profesionales. Los padres tutorean a sus hijos. Alumnos de secundaria tutorean a alumnos de educación básica. Estudiantes universitarios más avanzados tutorean a otros más atrasados. En ocasiones, profesores universitarios realizan sesiones tutoriales individuales para ayudar a los estudiantes a dominar conceptos difíciles de su asignatura. Sin embargo, lo más común es que un novato sea tutoreado por uno de sus pares o un paraprofesional que no es un acabado experto en la materia y que nunca ha sido entrenado en el uso de tácticas efectivas de tutoría.

Se entiende que tutorear a un novato significa que no incorpora estrategias pedagógicas sofisticadas. Estas estrategias se derivan de amplios enfoques teóricos, como la teoría evolutiva de Vygotsky, enfoques de bloques organizados en términos de pre-requisitos, teorías basadas en retroalimentación, tutores socrático y aprendizaje a partir de ejemplos (Graesser, Bowers, Hacker & Person, 1997; Graesser, Person & Magliano, 1995; Person & Graesser, 1999). Los tutores de novatos rara vez hacen uso de estas estrategias durante las sesiones de tutoría, de allí la expresión “tutores novatos”.

A pesar de la ausencia de estrategias sofisticadas, las actividades de los tutores novatos han
sido un medio muy efectivo para promover el aprendizaje. La organización y la efectividad de la tutoría solo han sido examinadas en profundidad estos últimos años. Uno de los descubrimientos interesantes es que estos tutores sin experiencia y sin entrenamiento pedagógico (Fitz-Gibbon, 1977) de todos modos aumentan el aprendizaje del estudiante (Cohen et al., 1982; Fantuzzo, King & Heller, 1992; Rogoff, 1990). Esto plantea una pregunta fundamental: ¿Qué componentes de la tutoría son responsables de estas ganancias significativas en el aprendizaje? Los investigadores han probado muchos contextos tutoriales, tanto humanos como con computador en un intento por contestar esta pregunta. Con el fin de comprender mejor esta área de investigación, este artículo comienza con una breve organización descriptiva de la tutoría y luego se explora algunas de las pruebas y aplicaciones. Nos centramos en el papel de las retroalimentaciones pedagógicas breves como parte del contexto tutorial naturalístico. Este tipo de retroalimentación es presumiblemente un componente vital del diálogo tutorial y puede ser fundamental para el estado de la metacognición del aprendiz. A continuación, informamos de un análisis de interacciones dialógicas genuinas y evaluamos estadísticamente el impacto de estas retroalimentaciones sobre las ganancias de aprendizaje en el AutoTutor, un sistema tutorial inteligente que mantiene conversaciones en lenguaje natural. Se cierra el artículo con un análisis del papel de la retroalimentación pedagógica durante la tutoría.

Organización de las tutorías

Antes de poder examinar los componentes de las tutorías, debemos saber cuáles son estos componentes. Una proporción significativa de las típicas sesiones tutoriales sigue un patrón dialógico, denominado “marco tutorial de cinco pasos” (Graesser & Person, 1994; Graesser, Person & Magliano, 1995). El patrón consiste en los siguientes cinco pasos:

1. El tutor hace una pregunta.
2. El alumno contesta la pregunta.
3. El tutor responde con una breve retroalimentación a esa respuesta.
4. El tutor mejora la calidad de la respuesta mediante una conversación colaborativa.
5. El tutor evalúa la comprensión que el alumno ha logrado de la respuesta.

Un ejemplo de este patrón podría ser:

1. Tutor: ¿Qué es un tutor novato?
2. Alumno: Alguien no entrenado
3. Tutor: Sí
4. Tutor: Un tutor novato es uno que no ha sido entrenado en ______?
Alumno: Pedagogía
5. Tutor: Bien, ¿entiendes todo eso?

En el “marco tutorial” típico, como en el ejemplo, el primer turno en la secuencia del diálogo es una pregunta que debe contestar el alumno. Después de recibir la respuesta del alumno, el tutor tiene la posibilidad de dar una retroalimentación cualitativa. En esta retroalimentación, el tutor evalúa la corrección o incorrección de la respuesta del alumno y responde en consecuencia, proveyendo retroalimentación positiva ante las respuestas correctas, retroalimentación neutra para las respuestas vagas o incompletas y retroalimentación negativa ante las respuestas incorrectas. Luego el tutor puede desarrollar con mayor detalle la respuesta del alumno y posiblemente aclarar el uso de ciertos términos. Finalmente, el tutor debería tratar de verificar si el alumno tiene el conocimiento y la comprensión adecuados.

El patrón dialógico del “marco tutorial” ha llegado a ser un supuesto prevaleciente en muchos estudios acerca de las tutorías subsiguientes. Una versión de este modelo de diálogo incluso ha sido implementada en un sistema tutorial inteligente llamado AutoTutor (Graesser, Person, Harter & TRG, 2001; Graesser, Wiemer-Hastings, Wiemer-Hastings, Kreuz & TRG, 1999). Este modelo de marco tutorial de interacción dialógica ha guiado la exploración de varias hipótesis acerca de los componentes de las tutorías que serían responsables de las ganancias significativas en el aprendizaje. Esta implementación será discutida en detalle más adelante.

Aplicación de la organización

Chi, Siler, Jeong, Yamauchi y Hausmann (2001) investigaron tres posibilidades que intentan responder la cuestión acerca de qué patrones dialógicos dan cuenta de las ganancias en aprendizaje. La eficacia de las tutorías se derivan de: (1) las habilidades pedagógicas del tutor, (2) de la generación activa de los alumnos, o (3) el esfuerzo conjunto del tutor y los estudiantes. Chi y colaboradores usaron el “marco tutorial” para crear y desarrollar algunas de sus predicciones. Estos investigadores se centraron directamente en el uso de retroalimentación tutorial como parte de su primera hipótesis, relativa a las habilidades pedagógicas del tutor y postulaban que la conversación estaría dominada mayoritariamente por el tutor. Si la eficacia de la tutoría individual provenía de las estrategias pedagógicas del tutor, entonces las tendencias deberían reflejar las características de los turnos del tutor más que los del alumno y los turnos de los alumnos deberían en gran medida verse afectados por la retroalimentación del tutor. Tal vez la sola retroalimentación podría servir de guía para los alumnos al motivarlos a mantenerse en la misma línea de razonamiento (retroalimentación positiva) o cambiar hacia una nueva dirección (retroalimentación negativa). Desde este punto de vista, la retroalimentación podría considerarse una especie de andamiaje y por ello ser el paso inicial en dirección hacia una sutil estrategia tutorial.

Varios estudios (Anderson, Corbett, Koedinger & Pelletier, 1995; Merrill, Reiser, Ranney & Trafton, 1992) informan acerca de resultados que apoyan la aseveración de Chi et al. (2001)
acerca de la dominancia del tutor en el diálogo. En el estudio de Merril et al. (1992), 66% de las aseveraciones correctas de los estudiantes eran seguidas de retroalimentación positiva. Este resultado apoya el patrón dialógico encontrado en el “marco tutorial” y demuestra el adecuado uso de retroalimentación tutorial. El estudio de Anderson et al. (1995) manipula la forma de la retroalimentación de parte de los tutores (retroalimentación inmediata del tutor, señalización de error por parte del tutor, exigencia de retroalimentación por parte del tutor, versus ausencia de retroalimentación por parte del tutor) y encontraron, en general, que recibir algún tipo de retroalimentación resultaba mejor que no recibir retroalimentación alguna. Este resultado apoya la aseveración de que la retroalimentación es un componente vital en el marco tutorial.

Anderson et al. (1995) también discuten un tema importante en relación al contenido de la retroalimentación, a saber, la hipótesis de que la retroalimentación tutorial efectiva debe incluir el por qué ha ocurrido un error. Anderson, Conrad y Corbett (1989) examinaron la efectividad de la corrección de errores usando retroalimentación que consistía solo en la notificación de un error (retroalimentación simple), comparada con una retroalimentación que incluía una explicación del error (retroalimentación elaborativa). Informaron que el 66% del grupo al que se le explicaban los errores era capaz de corregir el error al primer intento, comparado con solo un 33% del grupo al que solo se le notificaba el error. Sin embargo, esta diferencia de los grupos no persistía en una evaluación a largo plazo.

¿Por qué es importante la retroalimentación?

Investigaciones anteriores han mostrado que la retroalimentación es importante, pero realmente no se han dirigido a descubrir por qué es importante y cómo debiera usarse. McKendree (1990) reemplazó la retroalimentación que explicaba en términos genéricos el error cometido por explicaciones más específicas al contexto. Como resultado de ello, McKendree encontró que sus participantes sí retenían los beneficios en una evaluación a largo plazo. Luego ella examinó qué era lo que resultaba específicamente responsable por el cambio en la retención del provecho. En el análisis teórico de McKendree (1990), ella descubrió que la retroalimentación específica al contexto era capaz de ayudar a los alumnos a remediar errores de conocimiento declarativo subyacente, mientras que la retroalimentación genérica no ofrecía ayuda suficiente como para ayudar a los alumnos a corregir sus errores de comprensión o llenar vacíos conceptuales. Estos descubrimientos tienen consecuencias serias para cualquier tipo de tutoría, especialmente en el campo de la tutoría ser humano-computador. Los resultados de este análisis demuestran la importancia de una retroalimentación tutorial adecuada y el papel que juega tanto en la evaluación del conocimiento como en la reparación de errores.

Por su parte, Chi et al. (2001) dieron cuenta de que era más probable que los alumnos aprendieran una regla si cometían un error y luego reconocían que lo habían cometido. Esta afirmación coincide con la percepción ampliamente compartida de que el aprendizaje profundo genuino resulta del proceso por el cual los individuos reconocen la presencia de un error y lo corrigen ellos mismos. Desgraciadamente, este proceso exige que el alumno tenga suficientes habilidades metacognitivas como para lograr con éxito una gran cantidad de construcción activa de conocimiento. Es en esta área donde la retroalimentación pedagógica de calidad por parte del tutor puede jugar su papel más importante.

La mayor parte del tiempo los alumnos no se dan cuenta de lo equivocado de sus concepciones. Estas erradas interpretaciones no serán advertidas por el alumno hasta que explícitamente no se le llame la atención sobre ellas. El papel del tutor aquí es señalizar la presencia de ese error conceptual, usando la retroalimentación, y ayudar al alumno a penetrar y comprender los conceptos subyacentes en juego. Para ser eficaz, este proceso no solo involucra una retroalimentación didáctica por parte del tutor, sino que también incluye una participación y construcción activa por parte del alumno. También exige una fina interacción entre el aprendiz y el tutor a medida que esta retroalimentación del tutor es asimilada por el estudiante. Nos hemos concentrado en el papel de la retroalimentación del tutor al guiar el proceso de tutoría, pero también es importante reconocer la importancia del conocimiento construido por el aprendiz y la interacción tutor-aprendiz, tal como es discutida en Chi et al. (2001).

La retroalimentación en acción

El trabajo comentado previamente nos ha llevado a una nueva era en la investigación de la tutoría. Sintetizando los resultados de estos y otros estudios, hemos desarrollado un modelo de tutoría práctico que simula las estrategias de novatos para las tutorías. Este modelo provee las bases para un sistema inteligente de tutoría llamado AutoTutor. El concretar un modelo psicológico y educacional al interior del AutoTutor nos ha permitido explorar en forma sistemática las capacidades y limitaciones del modelo. A diferencia de los humanos, el AutoTutor puede manipular al tutor de manera sistemática y controlada tanto a niveles sutiles como a niveles globales.

AutoTutor

El AutoTutor es un sistema de tutoría dialógica en lenguaje natural que simula el patrón discursivo y las estrategias didácticas de un tutor humano típico. Los mecanismos dialógicos del AutoTutor fueron diseñados para incorporar patrones conversacionales naturalísticos a partir de sesiones reales de tutoría (Graesser et al., 1995) así como estrategias teóricas ideales con el fin de promover avances en el aprendizaje.

El principal objetivo del proyecto AutoTutor ha sido construir un agente inteligente que pueda producir diálogos conversacionales que sean tanto pedagógicamente eficaces como atractivos. El AutoTutor es más que un sistema que entrega información. Es un andamiaje colaborativo que usa la conversación en lenguaje natural para ayudar a los alumnos a construir conocimiento activamente. Construir este tipo de socio conversacional con capacidad de conocimiento ha presentado una serie de desafíos interesantes. Por ejemplo, muchos tutores humanos generan sus movidas conversacionales, acomodando el contenido a la información de turnos previos. De igual manera, el AutoTutor relaciona los turnos tutoriales a la información recién dada por el estudiante. Un componente que administra el diálogo coordina la conversación que ocurre entre el aprendiz y el agente pedagógico. Reconocemos que los diálogos conversacionales probablemente nunca van a ser tan dinámicos y espontáneos como las conversaciones entre seres humanos. Sin embargo, sí creemos que las habilidades conversacionales del AutoTutor son tan buenas o mejores que otros agentes pedagógicos. Evaluaciones de la fidelidad del diálogo han apoyado las conclusiones de que el AutoTutor puede responder a una amplia mayoría de las contribuciones lingüísticas de los estudiantes en forma conversacional y pedagógicamente adecuada (Jackson, Mueller, Person & Graesser, 2001; Person, Graesser, Kreuz, Pomeroy & TRG, 2001). El AutoTutor hace uso de un agente conversacional animado con expresiones faciales, habla sintetizada y gestos rudimentarios.

¿Qué hace el AutoTutor?

Durante una sesión normal que instruye a los alumnos en física newtoniana, el AutoTutor comienza con una introducción y un panorama de dos minutos, y luego emprende la sesión de aprendizaje pertinente. El AutoTutor típicamente cubre cinco problemas conceptuales de física en una sola sesión. Después de la introducción, comienza la conversación, planteando un problema e impulsa al alumno hacia una respuesta. Le sigue una conversación a medida que el alumno y el tutor intentan colaborativamente cubrir la materia necesaria para contestar la pregunta en forma completa. Por ejemplo, una de las preguntas es: “Suponga que un niño está en un ascensor en caída libre y mantiene inmóviles sus llaves frente a su cara y luego las suelta. ¿Que le sucede a las llaves? Explique por qué”. A continuación, viene un trozo sacado de la mitad de un diálogo entre el AutoTutor y un alumno real:

TUTOR-1:

¿Qué tal esto? El niño y sus llaves en caída libre en el ascensor parten con la misma…?
ESTUDIANTE -1: Aceleración.
TUTOR-2: Algo como…Posición vertical.
TUTOR-3: Avanzando, y otra cosa, los objetos que parten de la misma posición y tienen la misma velocidad tendrán el mismo desplazamiento.
TUTOR-4:

¿Qué pasa cuando dos objetos parten en la misma posición con la misma aceleración?

ESTUDIANTE-2: Tienen la misma velocidad.
TUTOR-5: OK.
TUTOR -6: El desplazamiento de las llaves y la cara del niño debería ser…?
ESTUDIANTE-3: Igual.
TUTOR-7: ¡Sí, tienes toda la razón! El mismo.

Este ejemplo demuestra varios rasgos distintivos de la tutoría que son comunes en el AutoTutor. El sistema: (a) estimula al estudiante a dar información específica que falta en su respuesta previa (TUTOR-1, TUTOR-6), (b) inserta la información correcta en el turno erróneo o incompleto del alumno (TUTOR-2), (c) provee un resumen de información relevante y luego da una sugerencia con una pregunta relacionada (TUTOR-3 y TUTOR-4), (d) “comprende” y evalúa las contribuciones en lenguaje natural, incluyendo afirmaciones semánticamente similares (ESTUDIANTE-2 y ESTUDIANTE-3), (e) entrega retroalimentación al turno anterior del alumno (TUTOR-2, TUTOR-5 y TUTOR-7) y (f) mantiene la coherencia con los turnos anteriores al adaptarse a las contribuciones del estudiante (el contenido de ESTUDIANTE-2 excluye la información específica requerida acerca de “igual desplazamiento” así que el turno del TUTOR-6 hace una pregunta relacionada con esta información requerida). Como se mencionó anteriormente, las investigaciones acerca de las tutorías naturalísticas (Chi et al., 2001; Fox, 1993; Graesser et al., 1995; Moore, 1995) proveyeron alguna guía al diseñar estas movidas de los diálogos y conductas tutoriales.

La arquitectura del AutoTutor

El AutoTutor tiene una arquitectura del tipo cliente-servidor, con un programa que reside en un servidor Pentium. El programa cliente del AutoTutor se puede descargar a una computadora local con acceso a Internet. Todas las interacciones con el AutoTutor se hacen directamente a través del cliente, con comunicación periódica de vuelta al servidor mediante un diseño adaptado al cliente (thin client design). El principal programa del AutoTutor permanece en el servidor.

La arquitectura del AutoTutor incluye un conjunto de bases de datos permanentes que no se actualizan durante el transcurso de la tutoría. El primero es una base de datos de guión curricular, que contiene un conjunto completo de materiales para la tutoría que incluye: preguntas para la tutoría, respuestas ideales, expectativas de respuestas (componentes específicos necesarios para una respuesta completa), conceptos erróneos asociados y otras movidas dialógicas con contenido relacionado. Para cada uno de los problemas conceptuales de física planteados por el AutoTutor, los expertos en el dominio de la física han creado un conjunto
de expectativas necesarias para una buena respuesta y un conjunto de posibles errores para un problema dado. En nuestro ejemplo previo, al que nos referimos como “el problema del ascensor y las llaves”, algunas de las expectativas asociadas son:

• “Dado que el ascensor está en caída libre, la gravedad es la única fuerza que actúa sobre las personas y los objetos [llaves]”
• “Cuando la gravedad es la única fuerza que actúa sobre un objeto, está en caída libre”
• “El objeto [llaves] parece que permanecerá frente a la cara de la persona”

Cada una de estas expectativas debe ser cubierta, directa o indirectamente por el estudiante, antes de la sesión de tutoría puede pasar a un nuevo problema. Algunos de los errores asociados son:

• “El objeto [llaves] va a golpear el piso del ascensor”
• “Los objetos más pesados caen más rápido”
• “El objeto [llaves] va a golpear el techo del ascensor”

Si un error es expresado por un estudiante, el AutoTutor guía al estudiante a través de un breve diálogo que corrige el concepto equivocado. Para completar totalmente una respuesta a un problema puede tomar desde 40 hasta 150 turnos conversacionales (incluyendo los del tutor y los del alumno) dependiendo de la habilidad, verbosidad y conocimiento previo del estudiante.

Dentro del guión curricular, el AutoTutor tiene un repertorio de movidas dialógicas clasificadas. Las movidas dialógicas incluidas en el AutoTutor (con ejemplos) aparecen más abajo:

(1) Retroalimentación positiva inmediata: “Eso es”, “Bien”
(2) Retroalimentación neutra inmediata: “Mhuh” ,”Ya”
(3) Retroalimentación negativa inmediata: “No del todo”, “No”
(4) Extracción de más información: “¿Qué más?”
(5) Sugerencia: “¿Cómo afecta lanzar el zapallo a la velocidad horizontal?”
(6) Insinuación información específica: “La aceleración vertical no afecta la…”
(7) Aseveración: “La aceleración vertical no afecta la velocidad horizontal”
(8) Corrección: “en el correcto contenido después de un error del estudiante”
(9) Resumen: “Así, para recapitular <sucinto resumen de la respuesta>”

Durante la sesión tutorial, el AutoTutor apoya a modo de andamiaje el aprendizaje del estudiante usando un ciclo de sugerencia-extracción-aseveración. Este ciclo está concebido para traspasar progresivamente el peso cognitivo del estudiante al tutor. En términos específicos, el AutoTutor le presenta primero al estudiante una sugerencia que exige que el alumno provea la mayor parte de la información. Si el estudiante no da la respuesta adecuada, el AutoTutor incita al estudiante a dar información más específica (generalmente con una o dos palabras). Si el estudiante es incapaz de dar la información exigida por la ayuda, el AutoTutor genera una afirmación. Si el estudiante da una respuesta suficiente en cualquier punto durante el ciclo de turnos dialógicos, el AutoTutor se sale del ciclo y procede al siguiente tema de la tutoría.

Una segunda base de datos permanente es una copia indexada del libro de texto Conceptual Physics (Hewitt, 1998). Si un estudiante hiciera una pregunta al AutoTutor, el tutor usaría un componente de contestar preguntas sacando una respuesta relacionada del libro de texto u otro documento relevante. De igual modo, el AutoTutor hace uso de un glosario del texto Conceptual Physics como una tercera base de datos permanente. En cuarto lugar, el servidor contiene un conjunto de lexicones, analizadores sintácticos y otros módulos de lingüística computacional que apoyan la extracción de información, analizan las contribuciones de los estudiantes y ayudan al AutoTutor a proceder en forma adecuada durante la sesión de tutoría. En quinto lugar, el servidor alberga un espacio para el Análisis Semántico Latente (LSA, por sus iniciales en inglés), como se expondrá brevemente más adelante.

La generación de turnos dialógicos inteligentes por parte del AutoTutor obviamente depende del suministro de conocimiento del mundo. El contenido de temas y el conocimiento general del mundo están representados en el guión curricular y en análisis semántico latente (LSA) (Graesser, Wiemer-Hastings, Wiemer-Hastings, Harter, Person & TRG, 2000; Landauer, Foltz, & Laham, 1998). El LSA y los rasgos lingüísticos superficiales guían la computación de la métrica evaluativa de la calidad de la contribución de los estudiantes. El AutoTutor utiliza el LSA como el componente central para representar el conocimiento semántico del mundo de la física conceptual o del contenido de cualquier otro tema (Graesser, et al., 2000; Older, Franceschetti, Karnavat, Graesser & TRG, 2002). El LSA es un análisis estadístico de alta dimensionalidad que usa cuantificaciones vectoriales para representar el conocimiento semántico general. Estos vectores se usan para calcular la similitud conceptual de dos segmentos de un texto que pueden ser tan pequeños como una palabra o tan grandes como un documento completo (Foltz, William & Kendall, 2000; Kintsch, 1998; Landauer, Foltz & Laham, 1998). En el AutoTutor, usamos el LSA como una operación de pareo que compara las contribuciones del estudiante con las buenas respuestas esperadas y con los posibles errores conceptuales.

El AutoTutor tiene un conjunto de módulos procesadores y unidades de almacenamiento dinámico que mantienen el contenido cualitativo y los parámetros cuantitativos. Estos registros de almacenamiento son frecuentemente actualizados durante el proceso de tutoría. El AutoTutor crea y actualiza para cada estudiante la historia de su diálogo. La historia del diálogo permite rastrear varias medidas de la habilidad del estudiante (evaluadas mediante
el LSA) y su iniciativa (basada en el número de preguntas que hace el estudiante). La historia del diálogo es también útil para evaluar la verbosidad del estudiante (calculada a partir del número de palabras usadas en cada contribución) y el progreso del estudiante al contestar las principales preguntas de física. Por ejemplo, cada vez que un estudiante contribuye a la conversación (un turno conversacional), es enviada primero a un analizador sintáctico. A partir de la información entregada por el analizador sintáctico, la contribución se puede clasificar como una afirmación, un tipo particular de locución fija, o una pregunta particular; esto es realizado por un clasificador de actos de habla. Si una contribución termina por ser clasificada como una afirmación en respuesta a una pregunta planteada por el AutoTutor, entonces esa afirmación del estudiante será comparada con los constituyentes de una respuesta ideal del guión curricular.

Cada vez que un estudiante hace una afirmación durante la sesión de tutoría, el AutoTutor usa el poder del LSA para computar un coseno de similitud entre la afirmación del estudiante y las expectativas para esa pregunta específica. La evaluación de esa comparación queda registrada, tanto a nivel local como global. Las evaluaciones a nivel local son creadas para cada problema y proyecta el progreso del estudiante midiendo su actuación en las expectativas de tipo oracional. El estudiante debe proveer una respuesta suficientemente buena (una que exceda un umbral local del LSA) a fin de pasar al siguiente concepto o problema. Un ejemplo de evaluación global es la habilidad total del estudiante que se mide considerando la calidad (medida mediante el LSA) de las contribuciones a lo largo de toda la sesión de tutoría. El AutoTutor hace uso de la evaluación a nivel local para determinar el progreso en un problema y calibrar el conocimiento del estudiante de modo que las movidas del diálogo puedan progresar hasta la zona de desarrollo próximo del alumno.

La zona de desarrollo próximo es definida en el AutoTutor como el contenido más cercanamente relacionado con la materia que el alumno ya ha cubierto. Pero también aumenta la cobertura del contenido hasta cierto punto (no demasiado, ni demasiado poco). El AutoTutor considera que este contenido altamente relacionado pero expandido está en el límite del conocimiento del estudiante, y por ello lo escoge para ser cubierto en la siguiente sesión de tutoría. Esta idea, de construir el conocimiento del estudiante a partir del borde del conocimiento previo, es interpretada como una instanciación de la zona de desarrollo próximo o lo que algunos llaman aprendizaje de frontera.

El módulo para la administración del diálogo del AutoTutor se adapta al estudiante con relación a todos estos parámetros, de modo que es muy poco probable que dos conversaciones con el AutoTutor sean iguales. El módulo de administración del diálogo usa un algoritmo especial para seleccionar las movidas dialógicas subsecuentes a fin de llenar la información faltante en las expectativa tipo oracional de una respuesta ideal.

Análisis de la retroalimentación al interior del AutoTutor

El AutoTutor ha sido evaluado en cuanto a las ganancias de aprendizaje en un conjunto de estudios. Estas evaluaciones continuamente han mostrado fuertes ganancias de aprendizaje en todos los alumnos que interactúan con un tutor (Graesser, Lu, Jackson, Mitchell, Ventura, Olney & Louwerse, 2004). Una vez que establecimos empíricamente la eficacia del AutoTutor, comenzamos a examinar los datos más detenidamente para determinar las posibles causas. Análisis actuales están abordando la estructura del diálogo tutorial. Los resultados previos con el AutoTutor han mostrado que su eficacia surge no del medio de presentación (agentes animados con habla impresa y auditiva, agentes animados con habla auditiva, solo habla sintetizada y solo texto impreso) sino primariamente del contenido del diálogo que va siendo presentado (Graesser, Moreno, Marineau, Adcock, Olney & Person, 2003). El diálogo del AutoTutor estaba concebido como para adaptarse al nivel del conocimiento del usuario y, por ello, debía reaccionar a las contribuciones de ese usuario en forma pedagógicamente adecuada. Esto es lo que es básicamente responsable por las ganancias, no la cara o la voz.

Investigaciones previas han apoyado el supuesto de que el AutoTutor adapta su diálogo a los usuarios específicos (Graesser et al., 2000; Jackson, Mathews, Lin & Graesser, 2003; Jackson, Person & Graesser, 2004; Mathews, Jackson, Person & Graesser, 2003). El sistema está concebido como para ajustar su tutoría al estudiante de dos maneras específicas: la selección de la movida del diálogo y la retroalimentación pedagógica. El AutoTutor necesita ser capaz de adaptar la conversación a los varios niveles de especificidad que se acomodarán al conocimiento del dominio por parte del estudiante. Por ejemplo, usuarios de gran conocimiento debían recibir menos información específica y recibir más peticiones generales de información, lo que requiere construcción activa de conocimiento por parte del estudiante y poca información entregada por el tutor. Por ello, en el AutoTutor encontramos que el usuario de gran conocimiento recibe más sugerencias, pero menos insinuaciones y afirmaciones (Jackson et al., 2003; Jackson et al., 2004). Junto con esto, si el AutoTutor, mediante el uso del LSA, está haciendo bien la evaluación del alumno, entonces se debería poder ver que estos alumnos de gran conocimiento reciben más retroalimentación positiva. La tarea de ajustar la tutoría al estudiante sería imposible sin evaluar adecuadamente el conocimiento de dominio por parte del usuario. Si el AutoTutor operara bajo el supuesto de que todos los usuarios fueran iguales, probablemente encontraríamos una de dos cosas: (1) los estudiantes de gran conocimiento se sentirían frustrados y aburridos por la pedantería del AutoTutor, o (2) los estudiantes de poco conocimiento estarían frente a un excesivo desafío y se sentirían frustrados por no lograr nada correcto.

La Tabla 1 presenta datos de correlación informados en Jackson et al. (2004) en un análisis que relaciona la retroalimentación del AutoTutor con el conocimiento del usuario. El análisis de esta tabla muestra una correlación sistemática entre la proporción de movidas en el diálogo entre el AutoTutor y las variables dependientes que sirven para evaluar las ganancias de aprendizaje. Las proporciones de diálogo miden la proporción de movidas en el diálogo que corresponden a cada una de las categorías designadas (elicitaciones, sugerencias, incitaciones, aseveraciones). Las cifras a lo largo de las filas corresponden a los puntajes en el pre-test (previo a las sesiones de tutoría) y en el post-test (después de las sesiones de tutoría), y dos cifras que corresponden a las ganancias de aprendizaje entre el pre-test y el post-test. Existe una casi consistente relación positiva entre la proporción de elicitaciones y sugerencias con todas las variables dependientes. Estas pruebas (pre-test y post-test) eran de selección múltiple y sondeaban el conocimiento de los aprendientes a niveles profundos de comprensión (como el razonamiento causal) más que a niveles superficiales. Encontramos una relación positiva sistemática entre la proporción de elicitaciones y sugerencias con todas las variables dependientes. A la inversa, se observa un patrón estable de correlaciones negativas entre las variables dependientes y la proporción de incitaciones y aseveraciones. Estos resultados demuestran que los estudiantes con mayor conocimiento reciben más elicitaciones y sugerencias y menos incitaciones y aseveraciones (en ambos dominios de conocimiento). Esto muestra, indirectamente, cómo los participantes de menor conocimiento son llevados a través de todo el material tutorial: necesitan más incitaciones y aseveraciones a un nivel muy detallado para guiarlos a lo largo del material de la tutoría.

Tabla 1. Correlaciones entre las proporciones de movidas en el diálogo y el puntaje en las pruebas
(datos informados en Jackson et al., 2004).

 
Elicitación
Sugerencia
Incitación
Aseveración
Alfabetización computacional
Puntajes en el Pre-test
-.035
.216*
.033
-.186
Puntajes en el Post-test
.188
.466*
-.165
-.433*
Ganancias Normalizadas1
.151
.200
-.120
-.198
Ganancias Proporcionales2
.131
.141
-.117
-.136
FÍSICA
Puntaje de Pre-test
.398*
.134
-.081
-.287
Puntaje de Post-test
.527*
.235
-.166
-.418*
Ganancias Normalizadas
.043
.103
-.096
-.089
Ganancias Proporcionales
.026
.373*
-.322
-.290

* p < .05
1 Normalized learning gain = (Post-test – Pre-test)/(SDpre)
2 Proportion al Gains = (Post-test – Pre-test)/(1 - Pre-test)

Tal como lo mencionamos anteriormente, la retroalimentación apropiada es un componente necesario de las tutorías. Sin ella, el usuario no puede realizar con exactitud el necesario análisis metacognitivo para determinar si está entregando buen o mal material. Predecimos que en el AutoTutor los alumnos con mayor grado de conocimiento deberían recibir mayor cantidad de retroalimentación positiva (dando una correlación positiva con conocimiento de dominio al considerar todos los sujetos) y menor retroalimentación negativa (correlación negativa con el conocimiento de dominio); en contraste, los estudiante de menor habilidad deberían recibir menos retroalimentación positiva y más retroalimentación negativa. La Tabla 2 muestra los resultados de tres estudios diferentes acerca de física teórica que comparan la relación entre las proporciones de retroalimentación pedagógica del AutoTutor (positiva, neutra, versus negativa) y la actuación de los estudiantes en el pre-test y en el post-test. Aquí nuevamente detectamos correlaciones positivas entre la proporción de retroalimentación positiva y el conocimiento de dominio del estudiante. La tendencia inversa también está presente, mostrando que los estudiantes de menor habilidad reciben más retroalimentación neutra y negativa.

Tabla 2. Correlaciones entre proporciones de retroalimentación y puntaje en las pruebas.

 
Retroalimentación
Positiva
Retroalimentación
Neutra
Retroalimentación
Negativa
Estudio 1
Pre-test
.620*
-.364
-.489*
Post-test
.501*
-.390
-.335
Estudio 2
Pre-test
.482*
-.139
-.595*
Post-test
.377*
-.456*
-.235
Estudio 3
Pre-test
.404*
-.361
-.180
Post-test
.450*
-.374*
-.223

* p < .05

Los resultados que aparecen en la Tabla 2, apoyan a nuestra propuesta de que el AutoTutor crea y utiliza una evaluación adecuada del conocimiento de los alumnos. Todas las correlaciones siguieron las direcciones hipotetizadas, lo que muestra que los estudiantes con altos puntajes reciben una mayor proporción de retroalimentación positiva, mientras que los alumnos de bajos puntajes reciben una alta proporción de retroalimentación negativa. Esta tendencia demuestra que, en general, el AutoTutor evalúa adecuadamente y responde al conocimiento de dominio de cada estudiante. Esto coincide con los resultados de investigaciones realizadas previamente acerca de la conducta pedagógicamente precisa del AutoTutor al examinar la relación entre las movidas de los diálogos y el conocimiento de los estudiantes (Jackson et al., 2003; Jackson et al., 2004). Específicamente, los alumnos con mayor conocimiento del tema son los que reciben elicitaciones y sugerencias del AutoTutor, mientras que los estudiantes con menos conocimiento requieren incitaciones y aseveraciones. En conjunto, estos estudios muestran la aplicación de movidas del diálogo pedagógicamente apropiadas durante las tutorías al interior de un sistema inteligente de tutoría en lenguaje natural.

CONCLUSIONES

Tal como se ha mostrado en los apartados anteriores de este trabajo, la construcción de un sistema adaptativo inteligente con capacidad de conocimiento incremental ha debido enfrentar una serie de desafíos muy estimulantes. Algunos de ellos aquí se presentan como avances con soporte de avanzada. Tal como se ha informado, el algoritmo para la selección del diálogo actualmente implementado en el AutoTutor es una medida aproximada. Es decir, no provee un encuadre perfecto del conocimiento de dominio, más bien selecciona el movimiento apropiado más cercano. Mejorar la actuación de este mecanismo dialógico requeriría un incremento drástico en la actuación de las capacidades de comprensión del lenguaje natural que las que tenemos disponibles hoy en día. También es importante observar que los análisis presentados en este artículo son correlacionales. No realizamos un verdadero experimento que manipule el punto hasta el cual el AutoTutor selecciona las movidas del diálogo sensibles al conocimiento de los estudiantes, por ejemplo, muy adaptativas, no adaptativas, versus selección aleatoria de las movidas del diálogo. En futuros estudios se realizarán estas pruebas con carácter realmente experimental.

El diálogo adaptativo de las tutorías y las técnicas para modelar a los usuarios son ahora temas de la investigación de corriente principal para los diseñadores de sistemas inteligentes de tutorías (SIT). Parece altamente probable que el futuro de los SIT y su adopción difundida en contextos escolares dependa del éxito de sus posibilidades adaptativas y de las capacidades generales de modelamiento del usuario. En este trabajo, simplemente nos centramos en la ocurrencia de categorías de retroalimentación breve y cómo estas se relacionan con el conocimiento del estudiante. Futuras investigaciones también irán dirigidas a descubrir cómo las secuencias de movidas dialógicas promueven el aprendizaje de principios específicos de la física.

Aun cuando muchas formas de aprendizaje se pueden implementar fácilmente como parte de sistemas tradicionales de aprendizaje basados en la computación, no resulta fácil implementar diálogos en lenguaje natural. Extraer correctamente la intención semántica a partir de las contribuciones en lenguaje natural de los alumnos y reaccionar con principios de tutoría
humana efectivos constituyen un logro técnico sin precedentes. Estos datos pueden parecer poco interesantes en el ámbito general del modelamiento de usuarios, pero el punto importante que se debe destacar aquí es que encontramos resultados consistentes al interior de un sistema inteligente de tutoría en lenguaje natural.

 

NOTA

1 El Grupo de Investigación en Tutorías (GIT) es un equipo interdisciplinario compuesto por aproximadamente 35 investigadores provenientes de la psicología, la ciencia computacional, la física y la educación (visite http://www.autotutor.org). La investigación acerca del AutoTutor fue apoyada por la National Science Foundation (SBR 9720314, REC 0106965, REC 0126265, ITR 0325428) y la DoD, Iniciativa para la Investigación Multidisciplinaria de la Universidad (MURI) administrada por la ONR bajo la subvención N00014-00-1-0600. Cualquier opinión, hallazgo y conclusiones o recomendaciones expresadas en este artículo corresponden a los autores y no reflejan, necesariamente, las posiciones de la DoD, la ONR o la NSF. Kurt VanLehn, Carolyn Rose, Pam Jordan y otros de la Universidad de Pittsburgh colaboraron con nosotros preparando los materiales de física conceptual para el AutoTutor.


REFERENCIAS BIBLIOGRÁFICAS

Anderson, J., Conrad, F. & Corbett, A. (1989). Skill acquisition and the LISP tutor. Cognitive Science, 13, 467-505.         [ Links ]

Anderson, J., Corbett, A., Koedinger, K. & Pelletier, R. (1995). Cognitive tutors: Lessons learned. Journal of the Learning Sciences, 4, 167-207.         [ Links ]

Bloom, B. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational Researcher, 13, 4-16.         [ Links ]

Chi, M., Siler, S., Jeong, H., Yamauchi, T. & Hausmann, R. (2001). Learning from human tutoring. Cognitive Science, 25, 471-533.         [ Links ]

Cohen, P., Kulik, J. & Kulik, C. (1982). Educational outcomes of tutoring: A meta-analysis of findings. American Educational Research Journal, 19, 237-248.         [ Links ]

Fantuzzo, J., King, J. & Heller, L. (1992). Effects of reciprocal peer tutoring on mathematics and school adjustment: A component analysis. Journal of Educational Psychology, 84, 331-339.         [ Links ]

Fitz-Gibbon, C. (1977). An analysis of the literature of cross-age tutoring. Washington, DC: National Institue of Education.         [ Links ]

Foltz, P., Gilliam, S. & Kendall, S. (2000). Supporting content-based feedback in on-line writing evaluation with LSA. Interactive Learning Environments, 8, 111-128.         [ Links ]

Fox, B. (1993). The human tutorial dialog project. Hillsdale, NJ: Erlbaum.         [ Links ]

Graesser, A. & Person, N. (1994). Question asking during tutoring. American Educational Research Journal, 31, 104-137.         [ Links ]

Graesser, A., Person, N. & Magliano, J. (1995). Collaborative dialog patterns in naturalistic one-on-one tutoring. Applied Cognitive Psychology, 9, 495-522.         [ Links ]

Graesser, A., Bowers, C., Hacker, D. & Person, N. (1997). An anatomy of naturalistic tutoring. En K. Hogan & M. Pressley (Eds.), Scaffolding of instruction. Brookline, MA: Brookline Books.         [ Links ]

Graesser, A., Wiemer-Hastings, K., Wiemer-Hastings, P., Kreuz, R. & Tutoring Research Group (1999). AutoTutor: A simulation of a human tutor. Journal of Cognitive Systems Research, 1, 35-51.         [ Links ]

Graesser, A., Wiemer-Hastings, P., Wiemer-Hastings, K., Harter, D., Person, N. & Tutoring Research Group (2000). Using latent semantic analysis to evaluate the contributions of students in AutoTutor. Interactive Learning Environments, 8, 129-148.         [ Links ]

Graesser, A., Person, N., Harter, D. & Tutoring Research Group (2001). Teaching tactics and dialogue in AutoTutor. International Journal of Artificial Intelligence in Education, 12, 257-279.         [ Links ]

Graesser, A., Moreno, K., Marineau, J., Adcock, A., Olney, A. & Person, N. (2003). AutoTutor improves deep learning of computer literacy: Is it the dialog or the talking head? En U. Hoppe, F. Verdejo & J. Kay (Eds.), Proceedings of Artificial Intelligence in Education (pp. 47-54). Amsterdam: IOS Press.         [ Links ]

Graesser, A., Lu, S., Jackson, G., Mitchell, H., Ventura, M., Olney, A. & Louwerse, M. (2004). AutoTutor: A tutor with dialogue in natural language. Behavioral Research Methods, Instruments, and Computers, 36, 180-193.         [ Links ]

Hewitt, P. (1998). Conceptual physics. Reading, MA: Addison-Wesley.         [ Links ]

Jackson, G., Mueller, J., Person, N. & Graesser, A. (2001). Assessing the pedagogical effectiveness and conversational appropriateness in three versions of AutoTutor. En J. Moore, C. Redfield & W. Johnson (Eds.), Artificial Intelligence in Education: AI-ED in the wired and wireless future (pp. 263-267). Amsterdam: OIS Press.         [ Links ] 

Jackson, G., Mathews, E., Lin, D. & Graesser, A. (2003). Modeling student performance to enhance the pedagogy of AutoTutor. En P. Brusilovsky, A. Corbett & F. de Rosis (Eds.), Lecture Notes in Computer Science (pp. 368-372). New York: Springer.         [ Links ]

Jackson, G., Person, N. & Graesser, A. (2004). Adaptive tutorial dialogue in AutoTutor. Actas de the workshop Dialog-based Intelligent Tutoring Systems at the 7th International conference on Intelligent Tutoring Systems. Universidad Federal de Alagoas, Brasil.         [ Links ]

Kintsch, W. (1998). Comprehension: A paradigm for cognition. New York: Cambridge University Press.         [ Links ]

Landauer, T., Foltz, P. & Laham, D. (1998). An introduction to latent semantic analysis. Discourse Processes, 25, 259-284.         [ Links ]

Mathews, E., Jackson, G., Person, N. & Graesser, A. (2003). Discourse patterns in why/AutoTutor. Actas de the 2003 AAAI Spring Symposia on Natural Language Generation in Spoken and Written Dialogue. (pp. 97-103). Palo Alto, Estados Unidos de Norteamérica.         [ Links ]

McKendree, J. (1990). Effective feedback content for tutoring complex skills. Human-Computer Interaction, 5(4), 381-413.         [ Links ]

Merrill, D., Reiser, B., Ranney, M. & Trafton, J. (1992). Effective tutoring techniques: A comparison of human tutors and intelligent tutoring systems. The Journal of the Learning Sciences, 2, 277-306.         [ Links ]

Moore, J. (1995). Participating in explanatory dialogs. Cambridge, MA: MIT Press.         [ Links ]

Olde, B., Franceschetti, D., Karnavat, A., Graesser, A. & Tutoring Research Group (2002). The right stuff: Do you need to sanitize your corpus when using Latent Semantic Analysis? En W. Gray & C. Schunn (Eds.), Proceedings of the 24th Annual Meeting of the Cognitive Science Society (pp. 708-713). Mahwah: Erlbaum.         [ Links ]

Person, N. & Graesser, A. (1999). Evolution of discourse in cross-age tutoring. En A. O’Donnell & A. King (Eds.), Cognitive perspectives on peer learning (pp. 69-86). Mahwah, NJ: Erlbaum.         [ Links ]

Person, N., Graesser, A., Kreuz, R., Pomeroy, V. & Tutoring Research Group (2001) Simulating human tutor dialogue moves in AutoTutor. International Journal of Artificial Intelligence in Education, 12, 23-39.         [ Links ]

Rogoff, B. (1990). Apprenticeship in thinking: Cognitive development in social context. New York: Oxford Press.         [ Links ]

VanLehn, K, Graesser, A., Jackson, G., Jordan, P., Olney, A. & Rose, C. (2005). When is reading just as effective as one-on-one interactive human tutoring? Actas de the Annual Cognitive Science Society. Stressa, Italia.
        [ Links ]

 

Dirección para correspondencia: G. Tanner Jackson (gtjacksn@memphis.edu). Tel.: (01-901) 830-3341. Departamento de Psicología, 202 Psychology Building, Universidad de Memphis, Memphis, TN, 38152. Estados Unidos de Norteamérica.

Recibido: 27-VII-2005 Aceptado: 3-XI-2005

*Traducido por la Dra. Marianne Peronard.

 

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons