SciELO - Scientific Electronic Library Online

 
 issue63What type of information does an evidential actually encode? Proposal for a conceptual distinction between source , basis and mode of access as a new framework for the identification of evidentialsCategorizing compounds in Spanish author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Estudios filológicos

Print version ISSN 0071-1713

Estud. filol.  no.63 Valdivia  2019

http://dx.doi.org/10.4067/S0071-17132019000100237 

Artículos:

Congruencia entre sistemas semióticos: estudio de palabras y gráficos con el uso de eye tracker

Congruency between semiotic systems: A study on words and graphs with the use of eye tracker

Cristóbal Julio a  

Giovanni Parodi b  

Óscar Loureda c  

a Pontificia Universidad Católica de Valparaíso, Facultad de Filosofía y Educación. Chile. Correo electrónico: cristobal.julio@pucv.cl

b Pontificia Universidad Católica de Valparaíso, Facultad de Filosofía y Educación. Chile. Correo electrónico: giovanni.parodi@pucv.cl

c Universidad de Heidelberg. Alemania. Correo electrónico: oscar.loureda@iued.uni-heidelberg.de

RESUMEN:

En el presente artículo se buscó determinar si la congruencia/no congruencia entre dos sistemas semióticos es un factor que incide en los patrones de lectura de un grupo de estudiantes del área de economía. Específicamente, nos interesa identificar rutas de lectura que revelen si los lectores advierten la incongruencia entre dos sistemas semióticos: el sistema verbal y el sistema gráfico. Para cumplir este objetivo, se registraron los movimientos oculares de 16 estudiantes del área de economía de una universidad con el uso de un eye tracker. Los textos leídos por los estudiantes fueron confeccionados a partir de segmentos retóricos específicos de ejemplares del género discursivo Informe de Política Monetaria (IPoM). Los resultados generales indican que: 1) los lectores procesan con igual atención todos los textos sin que el factor congruencia entre sistemas semióticos revele diferencias estadísticamente significativas, 2) tampoco se observaron diferencias en las transiciones integrativas entre congruencia y no congruencia, y 3) se procesa mayormente el sistema verbal de los textos, tanto en las variables dependientes tiempo de la primera lectura (first pass) como tiempo de la segunda lectura (second pass). Estos hallazgos pueden explicarse en términos de cierto logocentrismo o preeminencia de las palabras, a pesar de que, como alumnos del área de economía, los estudiantes hayan recibido instrucción en la lectura de gráficos.

Palabras clave: comprensión multisemiótica; Informe de Política Monetaria; gráficos de líneas; eye tracking; multimodalidad

ABSTRACT:

In the present study we seek to determine if the congruence/non-congruence between two semiotic systems is a factor that affects the reading patterns of a group of students in the area of economics. Specifically, we are interested in identifying reading routes that reveal whether readers identify the incongruence between two semiotic systems: the verbal system and the graph system. To achieve this objective, eye movements were recorded from 16 students in the economics area of a Chilean university, employing an eye tracker. The texts read by the students were constructed from specific rhetorical textual segments of the discourse genre Monetary Policy Report (IPoM). The general results indicate that: 1) readers process all texts with equal attention without the factor congruence between semiotic systems revealing statistically significant differences, 2) no differences were observed in the integrative transitions between congruency and non-congruency, and 3) the verbal system of the texts is processed mainly, both in the dependent variables time of the first reading (first pass) and time of the second reading (second pass). These findings can be explained in terms of certain logocentrism or preeminence of the words, even though, as students of the economics area, the students have received instruction in the reading of graphs.

Key words: multisemiotic comprehension; monetary policy report; line charts; eye tracking; multimodality

1. INTRODUCCIÓN

La multisemiosis o multimodalidad de los textos escritos se ha explorado de manera progresiva en el transcurso de la última década y con un número creciente de investigaciones que abarcan diversas perspectivas, tanto teóricas como metodológicas (Mayer 2009, 2015; Kress 2010; Dreyfus et al. 2012; Bateman 2014; Matthiessen 2015; Jewitt 2016; Parodi y Julio 2015, 2016; Bateman et al. 2017). Algunas investigaciones han descrito los rasgos multisemióticos de géneros discursivos específicos por su valor como textos de difusión informativa (Hiippala 2016). Otros han abordado el problema de los límites entre sistemas semióticos desde la acuciosa descripción de los modos y recursos, en conjunto con las interacciones que posibilitan la construcción de significados en una diversidad de discursos (Kress y van Leeuwen 1996; Kress 2010; Bateman 2014; Bateman et al. 2017). Asimismo, la multisemiosis también se ha abordado desde la descripción multidimensional de géneros discursivos a partir de textos constituidos en corpus de lectura en ambientes académicos y profesionales en diferentes disciplinas (Parodi y Burdiles 2015; Parodi 2008, 2010, 2015; Vásquez-Rocca y Parodi 2015; Parodi et al. 2015). En muchos de estos trabajos, el foco ha sido estudiar la forma en que los distintos sistemas semióticos crean en conjunto significado para explorar lo que Matthiessen (2009) denomina ‘trabajo semiótico’, esto es, conocer la labor que cumple cada sistema, modo o recurso semiótico en la construcción conjunta de significados.

También existen investigaciones que se han centrado en describir los procesos psicolingüísticos involucrados en la lectura de textos multisemióticos por medio de metodologías experimentales con uso de sistemas de registro de movimientos oculares o eye tracking (Holsanova et al. 2009; Acartürk et al. 2008a, 2008b; Mason et al. 2013; 2015; Parodi y Julio 2016; Parodi et al. 2018). En estas investigaciones, con menor énfasis para el español, se ha explorado una gran variedad de sistemas semióticos en distintas combinaciones en un intento por determinar las implicancias de la multisemiosis en el procesamiento cognitivo. En estos experimentos se realizan modificaciones específicas a los distintos sistemas semióticos en ambientes experimentales para explorar el posible impacto que estas modificaciones pudieran tener en los procesos de lectura y aprendizaje en diferentes grupos de participantes.

Desde estos contextos, en el presente estudio se avanza -desde la lengua española- en esta última línea de investigación, combinando, por un lado, estudios de la multisemiosis basados en la descripción de géneros discursivos y la constitución de corpus especializados (Corpus PUCV-UCSC-2013) y, por otro, investigaciones que abordan el procesamiento cognitivo en línea y en tiempo real de textos multisemióticos con ayuda de metodologías experimentales y el registro del seguimiento de los movimientos oculares (eye tracking). Nos interesa explorar el papel de la congruencia entre sistemas y su influencia en el procesamiento. Específicamente, investigamos la forma en que estudiantes del área de la economía leen determinados segmentos retóricos compuestos por palabras y gráficos, extraídos de textos correspondientes al género discursivo Informe de Política Monetaria (IPoM). De esta forma, el objetivo de este estudio es determinar si la congruencia/no congruencia entre dos sistemas semióticos es un factor que incide en los patrones de lectura de un grupo de estudiantes del área de economía; en otras palabras, en esta investigación se busca identificar rutas de lectura que revelen si los lectores identifican la incongruencia entre dos sistemas semióticos.

El artículo se organiza del siguiente modo: en el marco teórico, se contextualiza la investigación desde los estudios de multimodalidad y, de modo más específico, se describen los avances en las investigaciones con textos multisemióticos para luego entregar una mirada al paradigma de la congruencia/incongruencia. A continuación, se presenta el marco metodológico en donde se describen los pasos de la investigación, desde el diseño experimental hasta la selección de la muestra de participantes y la confección de los textos experimentales. Posteriormente, se da cuenta de los resultados y su discusión. Por último, se entregan las conclusiones, limitaciones del estudio y algunas reflexiones finales.

1.1. Multisemiosis y estudios con eye tracker

Kaltenbacher (2007: 34) denomina al estudio de la multisemiosis o estudios de la multimodalidad como “el redescubrimiento de un importante e interesante campo de estudio”, en el que se renueva la importancia de los diferentes sistemas semióticos que -en conjunto- posibilitan la construcción de significados en un texto escrito. Según Lemke (2005), no es posible la construcción de significados por medio de solo un sistema semiótico, ya que los seres humanos han desarrollado siempre la comunicación desde múltiples sistemas, los cuales se han vuelto cada vez más complejos y sofisticados. El sistema de la lengua, por ejemplo, se apoya en sistemas adyacentes para la construcción de significados, tanto en la oralidad por medio de marcas extra verbales, como en la escritura por medio de -entre otros- la tipografía, el color y la diagramación de los contenidos en la página. Para Stockl (2004), este nuevo campo constituye el descubrimiento de lo obvio, tanto para los investigadores como para los productores y diseñadores que trabajan con textos escritos, pues la combinación de distintos sistemas resulta fundamental para la construcción de significados textuales y se platea como inherente a la comunicación humana.

Los primeros trabajos importantes en este campo se llevaron a cabo, principalmente, desde la Lingüística Sistémica Funcional (LSF). En estos estudios se han descrito tanto textos multisemióticos escritos como también otros tipos de sistemas (o modos), tal como la imagen (Kress y van Leeuwen 1990, 1996), la pintura (O’Toole 1994), y, más recientemente, los llamados ‘textos espaciales’ (Ravelli y McMurtrie 2016) y los ‘textos arquitectónicos’ (McMurtrie 2017). Así, por ejemplo, desde la semiótica social de Halliday (1978), Kress y van Leeuwen (1996) se proponen estudiar las relaciones de la imagen como modo semiótico independiente. En este contexto, proponen que la imagen, así como el lenguaje, mostraría regularidades que pueden ser objeto de una descripción relativamente formal. También desde la LSF, O’Toole (1994), en el marco de sus estudios del arte y de la pintura, propone tres dimensiones de significado con las cuales se simplificaría la descripción del funcionamiento de cualquier sistema: significado representacional, significado modal y significado composicional. Para Kress (2010), los sistemas semióticos (o modos) están compuestos por distintos recursos, los cuales pueden describirse a partir de su posición visual y espacial en un texto, además del rol que cumplen al interactuar en la construcción de significados en los textos multimodales. Estas interacciones pueden ser leídas a través de la composición de los textos y reconocer en ellos tanto su contexto general de difusión, como también la proliferación de nuevos recursos tecnológicos que posibilitan la creación de nuevos medios de producción semiótica (Kress 2010).

Por su parte, Liu y O’Halloran (2009) buscan describir las relaciones intersemióticas en textos compuestos de ilustraciones y palabras. En su análisis, Liu y O’Halloran proponen que, en la construcción de significados en textos multisemióticos, existe una ‘textura intersemiótica’ que da cuenta de las relaciones semánticas entre sistemas:

“Intersemiotic Texture refers to a matter of semantic relations between different modalities realized through Intersemiotic Cohesive Devices in multimodal discourse. It is the crucial attribute of multisemiotic texts that creates integration of words and pictures rather than a mere linkage between the two modes.” (Liu y O’Halloran 369).

Las autoras emplean categorías desarrolladas por la LSF para estudiar las relaciones en el sistema verbal y las aplican a la interacción entre diferentes sistemas semióticos. Complementariamente, Terry Royce (1998, 2007) propone un sistema de relaciones de significado multimodal (Multimodal Sense Relations), siguiendo los principios de cohesión léxica propuestos por Hasan (1985). A partir de esta propuesta, Royce analiza textos multisemióticos y propone el concepto de ‘complementariedad intersemiótica’ para la creación de significados ideacionales entre decisiones lingüísticas y visuales. En estos estudios se da cuenta de una preocupación y de una fructífera línea de investigación por describir los mecanismos por los cuales los distintos sistemas semióticos construyen en conjunto los significados a nivel textual.

Desde una mirada de los géneros discursivos, Bateman (2014) propone una metodología para estudiar la composición semiótica desde el proyecto GeM (Genres and Multimodality). A partir de este proyecto, se describe una gran diversidad de géneros discursivos en un corpus digital, usando categorías desde la LSF y con apoyo de la lingüística computacional, con el fin de conocer el diseño multimodal y las estructuras jerárquicas de los distintos sistemas semióticos en la composición de cada uno de los géneros en estudio. Esta indagación posibilitaría entregar información detallada sobre la composición discursiva de diversos géneros y construir también un panorama de los distintos sistemas semióticos que los componen, todo esto con la ayuda de procedimientos automatizados para el análisis del gran volumen de textos de un corpus.

Desde un punto de vista tanto teórico como aplicado, Martin (2012) realiza un balance del estado del arte de la multimodalidad y platea con ello un conjunto de desafíos. Asimismo, destaca la necesidad de definir las relaciones intermodales y los sistemas de valor en los que se enmarcan las relaciones entre diferentes sistemas semióticos. De preferencia, las relaciones intersemióticas se han descrito desde el paradigma del sistema verbal (O’Toole 1994; Liu y O’Halloran 2009), asumiendo que las relaciones descritas en lo verbal son aplicables para relacionar dos o más sistemas en un texto. Desde este marco, Martin (2012) ofrece una profunda reflexión y deja abierto un número significativo de preguntas desafiantes para los estudios descriptivos, específicamente, en cuanto al grado de abstracción para determinar los componentes de cada sistema y la forma en que estos componentes se relacionan intra e inter sistemas para generan significado.

Hasta aquí hemos realizado una breve mirada a investigaciones que dan cuenta de la descripción de los textos multisemióticos y sus relaciones intermodales. Junto a ello, también es importante destacar que el interés por una comprensión más acabada del fenómeno ha influenciado la investigación del procesamiento psicolingüístico de los textos multisemióticos. De esta forma, se ha explorado, con metodologías experimentales y el uso de herramientas tecnológicas como el eyetracker, el control de la atención sobre diferentes sistemas semióticos (e.g., Holsanova y Nord 2010; Boeriis y Holsanova 2012; Parodi y Julio 2016). En este sentido y de particular interés para la presente investigación resulta el estudio de Andrá et al. (2013), en el cual se explora las implicancias en el procesamiento cognitivo de la presentación de un problema matemático en tres sistemas diferentes: verbal, gráfico y matemático. El objetivo de Andrá et al. (2013) fue determinar si existía variación en el desempeño de la lectura en los distintos sistemas en estudio. La muestra de participantes consistió en 46 estudiantes universitarios suecos con diferentes niveles de dominio sobre las matemáticas. Los resultados reportaron diferencias estadísticamente significativas en las variables dependientes entre los diferentes sistemas de representación, resaltando un mayor número y tiempo de fijación en las fórmulas matemáticas. Esto resulta importante para determinar qué sistema semiótico es más visitado para construir el significado del texto.

Otro estudio experimental relevante para esta investigación en cuanto a interacción de diferentes sistemas semióticos es el de Acartürk et al. (2013), en el que se explora la referencialidad entre el sistema gráfico y el sistema verbal. El experimento consistió en la elaboración de tres condiciones distintas en las que se manipuló la mención del gráfico, el que normalmente se encuentra entre paréntesis en el sistema verbal. Las condiciones fueron las siguientes: a) la mención al gráfico en el sistema verbal se mantuvo como en el texto original, b) se dejó solo la mención al gráfico sin los paréntesis, y c) se eliminó toda mención al gráfico en el sistema verbal. Este estudio tenía como objetivo dar cuenta de los diferentes mecanismos a los que recurrirían los lectores para dar coherencia en la interacción de ambos sistemas en las distintas condiciones. Los resultados generales indican que se registran fijaciones más prolongadas en el sistema gráfico al no existir menciones a este sistema en el cotexto verbal. Esto sugiere que la no existencia de una marca explícita resulta en mayores tiempos de lectura y, por lo tanto, dificulta la integración entre sistemas para el lector.

En esta misma línea, Mason et al. (2013) estudian la integración intersemiótica de la información entre dos sistemas (palabras y gráficos) en lectores de enseñanza escolar. El objetivo de este estudio fue determinar las estrategias que ponen en práctica los lectores inexpertos para integrar información desde dos fuentes, clasificando los resultados de acuerdo a al número de transiciones integrativas (movimientos oculares sacádicos entre dos áreas de interés) que van desde un sistema a otro. Los resultados de la investigación (Mason et al. 2013) fueron clasificados por grupos acorde al nivel de la densidad de los movimientos integrativos entre ambos sistemas, resultando en tres los grupos distintivos, los que se desempeñaron desde una alta a una baja densidad integrativa. En pruebas post-test se evidenció que los alumnos del grupo con mayor densidad integrativa tuvieron mejores resultados de comprensión.

Más recientemente y para el español, Parodi y Julio (2016) estudiaron con tecnología eye tracking la incidencia del orden de presentación de información verbal y gráfica en textos de economía. También buscaban indagar en la variable disciplinariedad (estudiantes de español y de economía) como factor de diversidad de rutas de lectura entre el sistema verbal y el gráfico durante la lectura de segmentos retóricos de un género discursivo específico. Sus resultados revelan que, sin importar la procedencia de los lectores en términos de carrera universitaria ni el orden en que se presenta la información (verbal/gráfico o gráfico/verbal), los estudiantes fijan la atención en primer lugar en las palabras y dedican mayor atención al sistema verbal, en desmedro del sistema gráfico.

En suma, este recorrido nos permite sostener que el concepto de texto escrito estático ha evolucionado en las últimas décadas y que el redescubrimiento de lo obvio (Stöckl 2004) en cuanto a su carácter inherentemente multisemiótico nos lleva a definirlo teóricamente como una unidad semántica potencialmente constituida por diversos sistemas semióticos (verbal, gráfico, tipográfico, matemático, color, etc..), los cuales presentan tanto relaciones intrasemióticas como intersemióticas. Según Parodi y Julio (2017: 36): “Estos sistemas constitutivos de los textos escritos permiten mostrar cómo diversos códigos representacionales aportan a la construcción del significado textual, unos de modo más fundamental y otros más subsidiariamente.”.

1.2. La congruencia y la incongruencia: estudios experimentales con eye tracker

Las relaciones existentes entre los distintos sistemas que componen un texto escrito constituyen un eje fundamental en el procesamiento discursivo y son el foco central de esta investigación. Las rutas de lectura de los distintos sistemas semióticos de los textos escritos aportan información relevante acerca del modo en que los lectores integran o no la información textual. Por ejemplo, a nivel textual es posible argumentar que al modificar la congruencia entre los sistemas semióticos que componen un texto afecta la coherencia. En esta línea, el estudio de Albrecht y O’Brien (1993) indica que los lectores pueden reconocer cambios en la coherencia global de los textos, aun cuando las estructuras locales se mantengan intactas. Así, para Albrecht y O’Brien (1993), el reconocimiento de las inconsistencias en la coherencia global puede evidenciarse en dificultades en la comprensión y mayores tiempos de lectura de los textos.

Desde una perspectiva exclusivamente lingüística o verbal, Boland y Blodgett (2001) exploran cómo las narraciones con incongruencias, tanto léxicas como discursivas, tienen diferentes repercusiones en las medidas de registro de los movimientos oculares. En su estudio, Boland y Blodgett (2001) emplean palabras polisémicas (homógrafos) para producir cláusulas incongruentes. Los resultados sugieren que distintas medidas oculares están involucradas en diferentes momentos del procesamiento cognitivo de las oraciones. En un nivel sintáctico, se evidenció que los participantes fijaban un mayor número de veces la palabra polisémica que generaba la incongruencia. Mientras que, en un nivel discursivo, el estudio aportó evidencia en relación a las regresiones y a las segundas lecturas, las que fueron mayores en este tipo de narraciones. En la misma línea, pero unos años antes del estudio de Boland y Blodgett (2001), Vauras et al. (1992) reportaban datos similares en relación al número de regresiones. En ese estudio, Vauras et al. (1992) concluyeron que en textos incoherentes existe un mayor número de regresiones, al igual que un mayor número de relecturas o segundas lecturas.

La congruencia, explorada entre distintos sistemas semióticos, ha sido investigada en menor grado con el uso de técnicas de registro ocular. Entre estos estudios, destacamos lo reportado por Becker et al. (2007) y por Harris et al. (2008) en investigaciones de imágenes con escenas del mundo real (real-world scene), cuyos hallazgos revelan que, en general, la mirada de los participantes tiende a ser atraída por los objetos semánticamente incongruentes. Junto a ello, de modo específico, en el estudio de Becker et al. (2007) se concluye que los participantes ponen mayor atención a objetos anómalos de acuerdo a su conocimiento de mundo, como, por ejemplo, señales de tránsito para detenerse de color verde en vez de color rojo. En estos casos, los participantes en estudio miraban primero y por más tiempo a estos objetos extraños que a los considerados ‘normales’. Conclusiones similares alcanzaron la investigación de Underwood et al. (2008), en la cual se reporta que los objetos incongruentes en una imagen recibían la atención de los participantes en primer lugar y por mayor tiempo. Por su parte, Acartürk (2009) aborda la representación escalar entre el sistema gráfico y el sistema verbal, con el objetivo de medir el desempeño de un grupo de 52 participantes al enfrentar textos multisemióticos con diferentes grados de congruencia. En este experimento, Acartürk (2009) observó la relación entre la línea del gráfico y los adjetivos en el sistema verbal para describir esta acción. Para esto, manipuló la inclusión o no de estos adjetivos para determinar los tiempos de lectura en ambos sistemas. Si bien los resultados no arrojaron diferencias estadísticamente significativas en todos los casos, las conclusiones apuntan a que los adjetivos en el sistema verbal revelan un rol preponderante en la lectura de los distintos tipos de gráficos representados. De esta forma, el mecanismo de cohesión por el cual están relacionados distintos sistemas semióticos en un texto influencia la forma en que estos sistemas son leídos.

Otra investigación que destacamos es la desarrollada por Morrow et al. (2012), en la cual se explora la congruencia intermodal con el uso de eye tracker. En ella se manipula la información congruente entre el sistema verbal y el sistema gráfico en folletos de salud para adultos mayores, insertando dos imágenes junto a una explicación verbal de una enfermedad. Una de las imágenes tenía relación con lo descrito por el sistema verbal, ejemplificando a través de una ilustración el funcionamiento de la enfermedad; la otra imagen no guardaba ninguna relación con el sistema verbal y presentaba fotografías de personas sin relación alguna con las palabras. Los autores reportan que los lectores con mayor conocimiento de la enfermedad dieron cuenta de una mejor comprensión en los post-test, al mismo tiempo que dedicaron más tiempo en una segunda lectura de la imagen relevante que de la imagen no relevante.

En resumen, las investigaciones sobre la detección de la incongruencia revelan, en términos generales, que el lector demora más tiempo en construir una representación mental cuando existe una incongruencia o una incoherencia en los textos. Esta demora implicaría un mayor procesamiento cognitivo y, probablemente, un reconocimiento por parte del lector de la inconsistencia de la información textual y una consecuente reinterrogación del texto.

Como se puede apreciar, han sido diversos los focos en el estudio de la multisemiosis con empleo de medición momento a momento en tiempo real de la lectura. Los estudios disponibles combinan diferentes sistemas semióticos y se han explorado en relaciones intermodales de naturaleza heterogénea. El panorama aún es fragmentario y se requiere avanzar desde diversos planos, tanto teóricos como aplicados, con el fin de comprender de modo más profundo las variables implicadas en las dimensiones descriptivas y de procesamiento.

2. METODOLOGÍA

2.1. Objetivo

Tal como se adelantó en la Introducción, el objetivo de esta investigación es determinar si la congruencia/no congruencia entre los sistemas verbal y gráfico de segmentos de textos en español del género IPoM influye en las rutas de lectura de una muestra de estudiantes universitarios del área de economía. Nos interesa determinar si los lectores disciplinares logran identificar la incongruencia entre dos sistemas semióticos que componen un texto y el modo en que sus comportamientos de lectura reflejan su detección de la incoherencia. Para lograr este objetivo, se han introducido cambios en los textos originales a nivel de coherencia global. Se espera que los lectores identifiquen la incoherencia entre sistemas y ello se vea registrado en las mediciones del eye tracker.

Específicamente, postulamos que se registrará un aumento en el de tiempo de la primera y de la segunda lectura en los sistemas verbal y gráfico no congruente, en comparación con los congruente. Del mismo modo, se espera un incremento en el número de transiciones integrativas en la condición no congruente en comparación con la congruente. Por su parte, esperamos encontrar mayores tiempos de lectura en el sistema verbal que en el sistema gráfico, tanto en una primera como en una segunda lectura.

2.2. Diseño experimental

En el experimento se empleó un diseño de medidas repetidas balanceado o diseño intrasujeto simple (Kuehl 2001) con una variable experimental denominada ‘congruencia’ y dos condiciones: congruencia entres sistemas semióticos y no congruencia entre sistemas semióticos. Bajo este diseño, todos los participantes se enfrentan a todas las condiciones del estudio. Para el análisis estadístico, se usó la prueba no paramétrica Test de Friedmanm. Todos los análisis estadísticos se realizaron con el Programa R (R Development Core Team 2008). Con el fin de evitar alguna de las posibles debilidades identificadas en la literatura especializada para este tipo de diseño (Duchowski 2007; Holmqvist et al. 2011; Pagano 2011), se decidió organizar los textos del experimento con un modelo de aleatorización contrabalanceada. Al respecto, Duchowski (2007) propone como técnica de aleatorización utilizar el Cuadrado Latino. Ello con el fin de evitar el denominado ‘efecto del orden’ en la presentación de los diversos textos. A este efecto se le suele atribuir posibles incidencias en aprendizaje, reconocimiento o memoria al leer progresivamente los diferentes estímulos del experimento.

2.3. Definición de las áreas de interés

Las AOIs (del inglés Area Of Interest) fueron segmentadas manualmente empleando el programa Data Viewer. Ellas se definieron en función de los dos sistemas semióticos (gráfico y verbal) presentes en todos los textos. Las AOIs así segmentadas se definieron como las AOIs correspondientes a los sistemas semióticos verbal y gráfico. A continuación, en la Figura 1, se pueden observar las dos AOIs segmentadas para el estudio.

Figura 1 Ejemplo de las áreas de interés utilizadas en el estudio. 

Estas AOIs fueron delimitadas a partir de las preguntas de investigación y los objetivos específicos. Estas AOIs se emplean para contabilizar las ocurrencias de eventos oculares (variables dependientes).

2.4. Variables dependientes - Medidas del eye tracker

Tal como se indicó más arriba, las investigaciones en la comprensión de textos han usado ampliamente la metodología de seguimiento ocular para comprender los procesos de lectura a medida que se desarrollan durante la lectura momento a momento a (Rayner, 1998, 2009; Raney, Campbell & Bovee, 2014; Jarodzka, Holmqvist & Gruber, 2017). Este enfoque se basa en la hipótesis ojo-mente (Just & Carpenter, 1980), que asume que los lectores fijan con sus ojos palabras, segmentos de texto o imágenes mientras están siendo procesados. Para esta investigación, decidimos observar el registro de tres tipos de mediciones:

  1. Tiempo de la primera lectura (first pass)

  2. Tiempo de la segunda lectura (second pass)

  3. Número de transiciones de integración intersistema

El tiempo de la primera lectura equivale a la suma del tiempo de todas las fijaciones que por primera vez entran en un AOI hasta el momento que el ojo deja esa AOI particular para realizar una fijación en otro lugar del texto (Rayner & Sereno 1994; Rayner 1998; Hyönä et al. 2003). El tiempo de la segunda lectura o relectura, se obtiene al sumar el tiempo de todas las fijaciones que reingresan a un AOI determinada (Hyönä et al. 2002; Hyönä et al. 2003; Rayner 2009; Juhasz & Pollatsek 2011). Ambos datos se promediaron por el número de AOIs en el que fueron medidos por cada condición. Estas mediciones indican procesos cognitivos diferentes en la lectura. Mientras que la primera lectura da cuenta de procesos léxico-semánticos como procesos cognitivos de menor nivel (Duchowsky 2007; Mason et al. 2013; 2015), la segunda lectura evidencia procesos pragmáticos de reinterpretación y coherencia (Hyönä et al. 2003).

Las transiciones integrativas equivalen a la suma de todos los movimientos sacádicos que se desplazan de una AOI a otra, en el caso del presente estudio, los sistemas semióticos que componen el texto. Entonces, cada vez que la atención del participante se mueve desde un sistema a otro es contabilizado como una ocurrencia. Estas transiciones entre sistemas semióticos revelan las estrategias de integración del lector para construir una representación global del texto multisemiótico (Mason et al. 2013; 2015). Los registros fueron extraídos desde el programa Data Viewer.

2.5. Participantes

La muestra de participantes se constituyó de 16 estudiantes de pregrado de la carrera Ingeniería Comercial de una universidad chilena. Todos los estudiantes recibieron incentivo económico por su participación. Sus edades fluctúan entre los 20 y 24 años, con una media de 22,5 años. Todos los participantes tienen visión normal y no informaron enfermedades psiquiátricas o neurológicas que pudiesen interferir con los propósitos del experimento. Todos ellos firmaron un consentimiento informado aprobado por el Comité de Bioética de la institución universitaria y aprobado por el Fondo Nacional de Desarrollo Científico y Tecnológico (FONDECYT).

2.6. Equipo de registro de movimiento ocular

Los movimientos oculares fueron registrados mediante un equipo Eye Link II, desarrollado por la empresa canadiense SR-Research. Este sistema de seguimiento de movimientos oculares consta de tres cámaras integradas en un casco que se monta en la cabeza del participante. Además, se usó una mentonera en la que se apoya el participante para mantener una posición estable durante la lectura. Este procedimiento mejora la calidad de los registros oculares al evitar movimientos repentinos e involuntarios de la cabeza. El Eye Link II registra tanto movimientos monoculares como movimientos binoculares. En el experimento diseñado, se llevó a cabo un registro monocular a una frecuencia de muestreo de 500 Hz. Para la presentación de los textos se utilizó un monitor de 19 pulgadas con una resolución de 1024x768 pixeles y fue ubicado a una distancia de 70 cm desde el lector. El experimento se efectuó en un espacio con condiciones técnicas óptimas tanto de luminosidad como de aislación de ruido, tal como recomiendan Holmqvist et al. (2011) para evitar así la distracción de los participantes.

El experimento fue diseñado mediante el programa Experiment Builder y, posteriormente, los datos fueron exportados por medio del programa Data Viewer, ambos programas desarrollados por la empresa SR-Research.

2.7. Materiales

En la fase de registro de lectura se presentó ocho textos a cada estudiante, de los cuales cuatro eran textos críticos y cuatro distractores. Se tomó registro de los cuatro textos críticos para realizar el análisis, mientras que la función de los cuatro distractores fue evitar que los estudiantes notaran el objetivo del experimento y que esto influyera en su lectura.

Todos los textos que se presentaron estaban compuestos por dos sistemas semióticos: el sistema verbal y el sistema gráfico. Además, en cada sistema se ejecutaba el paso retórico Proyección, propio del género IPoM (Vásquez 2015; Parodi et al. 2015). Cada texto fue cuidadosamente equilibrado, tanto en el número y largo de palabras, como en la complejidad de los gráficos presentados. En el sistema verbal se equilibró la extensión de palabras, el número de letras y sílabas y las estructuras sintácticas para cada texto. Mientras que para el sistema gráfico se cuidó que todos los artefactos gráficos seleccionados estuvieran constituidos por una sola línea, además de que cumplieran el paso retórico Proyección. Todos los artefactos seleccionados corresponden al de tipo gráfico de diagrama ortogonal, según la clasificación de Bertin (1983). Los textos proyectan el comportamiento de indicadores económicos en el tiempo, por ejemplo, el PIB o el IPC. Tanto en el gráfico como en las palabras se explica la acción de este indicador. En el sistema verbal esto se realiza por medio de los verbos ‘bajará’ o ‘subirá’, mientras que en el sistema gráfico se establece por medio de líneas punteadas sobre los años futuros del eje x. La modificación de la variable experimental se realiza en este paso retórico con la intención de generar las dos condiciones del estudio:

  1. Congruencia entre Sistema Verbal y Sistema Gráfico. En dos textos la acción del indicador era congruente entre el sistema verbal y el sistema gráfico.

  2. No congruencia entre Sistema Verbal y Sistema Gráfico. En dos textos la acción de indicador no era congruente entre el sistema verbal y el sistema gráfico.

El orden de ambos sistemas se mantuvo constante en todos los textos, esto es, el gráfico a la izquierda y el sistema verbal a la derecha. Esta decisión se tomó luego de estudiar el factor orden entre los sistemas verbal y sistema gráfico y comprobar que no incide en la lectura de palabras y gráficos (Parodi y Julio 2016). Los textos fueron extraídos de la macromovida Proyección y Constatación de un corpus de textos pertenecientes al género IPoM (Parodi et al. 2015). En esta macromovida, Vásquez (2015) identificó el mayor número de gráficos presentes en los textos del corpus; complementariamente, esta movida retórica contribuye importantemente al establecimiento del macropropósito del género, el cual es proyectar la política monetaria del país. El género IPoM fue recolectado de los materiales de lectura en el área de economía en dos carreras universitarias chilenas (Parodi et al. 2015).

2.8. Procedimiento

Los registros se ejecutaron individualmente para cada lector y se aplicaron por dos entrevistadores en un ambiente de laboratorio (cada entrevista tomó aproximadamente 30 minutos); uno de los entrevistadores se preocupaba de dar la bienvenida y orientar a los participantes en cuanto a instrucciones, el proceso y los materiales, mientras que el otro entrevistador era el encargado de la instalación del eye tracker, uso de la mentonera, la calibración y la ejecución del experimento propiamente tal. De este modo, cada encargado podía focalizar sus tareas debidamente y atender a sus obligaciones con el tiempo requerido. En un comienzo, los participantes recibieron instrucciones detalladas acerca de los procedimientos y de los objetivos generales del experimento mediante un protocolo estandarizado que buscaba aportar información general de modo homogéneo a todos los participantes. En la tarea de lectura se les explicitó a los participantes que leerían textos compuesto por palabras y gráficos y que luego de la lectura deberían responder una prueba en la que se les preguntaría por los textos leídos. Como parte del inicio de la sesión experimental, se programó un ejercicio de prueba que permitía al participante familiarizarse con la metodología de investigación y decidir el momento para comenzar la ejecución del experimento mismo.

Para el experimento se utilizó un procedimiento de lectura auto administrada (Self-paced Reading) (Jegerski 2014) con tiempo indefinido para su ejecución. Ello implica que los participantes manejaban el tiempo de lectura de los textos, y solo cuando estimaban adecuado, procedían a avanzar hacia el siguiente texto. Al concluir la entrevista, se les explicó con detalle el objetivo de la investigación, se les agradeció su participación y se les pagó la suma previamente acordada.

3. RESULTADOS

En este apartado se presentarán los resultados de los análisis estadísticos. Se reportarán en orden de las variables dependientes del estudio: tiempo de la primera lectura, tiempo de la segunda lectura y número de transiciones de integración intersistema.

3.1. Resultados del tiempo de la primera lectura

A continuación, se presentan los datos descriptivos del tiempo de la primera lectura sobre las AOI Sistema Gráfico y Sistema Verbal en las condiciones congruente y no congruente.

Tabla 1 Resultados Descriptivos para el tiempo de la primera lectura en las AOIs Sistema Gráfico y Sistema Verbal entre condición congruente y no congruente. 

Debido a la no normalidad de todos los datos, se utilizó el test de Friedman, que permitió determinar una diferencia estadísticamente significativa entre condiciones (χ2 = 13.35, p<0.01). No obstante, para determinar entre qué condiciones se presentan dichas diferencias, fue necesario aplicar una prueba post hoc (Hothorn et al. 2008). En la Tabla 2 se muestran los resultados del contraste entre medidas repetidas.

Tabla 2 Comparaciones post hoc entre condiciones experimentales 

Tal como se aprecia en la Tabla 2, los valores para cada condición difieren (maxT=2.828, p<0.05). Estas diferencias están presentes entre las AOI verbal ‘congruente’ y AOI gráfica ‘congruente’ y también entre AOI verbal no congruente y AOI gráfica congruente. Sin embargo, no existen diferencias entre las condiciones congruente y no congruente, cuando se evalúa sólo la condición AOI verbal o bien la condición AOI gráfica. De esta forma, los resultados indican que no se identificaron diferencias estadísticamente significativas entre las condiciones congruentes y no congruente. Por otro lado, los datos aportan evidencia para constatar la diferencia estadística entre sistemas semióticos, en la que -en una primera lectura- el sistema verbal es más leído que el gráfico.

3.2. Resultados del tiempo de duración de la segunda lectura

En este segundo análisis se comparan los resultados de la segunda lectura entre la condición congruente y no congruente tanto para la AOI gráfica como la AOI verbal. A continuación, se presenta la Tabla 3 con los resultados descriptivos.

Tabla 3 Resultados Descriptivos para los tiempos de la segunda lectura en las AOIs Sistema Gráfico y Sistema Verbal entre condición congruente y no congruente. 

De acuerdo a la evidencia, nuevamente se opta por aplicar el contraste no paramétrico del test de Friedman con objeto de establecer si existen diferencias estadísticamente significativas entre las condiciones. Dado el resultado obtenido (χ2= 2.625, p=0.453), no se observan diferencias estadísticamente significativas. El test de simetría general tampoco fue significativo (maxT=1.414, p=0.4904), lo que corrobora el resultado anterior y hace innecesario el contraste post hoc.

3.3. Resultados de las transiciones integrativas

El tercer análisis busca determinar si existen diferencias entre las transiciones integrativas de las condiciones congruente y no congruente. El análisis descriptivo se presenta en la Tabla 4.

Tabla 4 Porcentaje de transiciones entre condiciones congruente y no congruente. 

El test de diferencia de proporciones para dos muestras, no permite identificar diferencias entre las condiciones congruencia o no congruencia (χ2=0.047, p=0.826, IC2.5%=-0.019; IC97.5%=0.015).

4. DISCUSIÓN

Los análisis permiten observar que no existen diferencias estadísticamente significativas en ninguna de las variables dependientes (primera lectura, segunda lectura y transiciones integrativas) entre los sistemas verbales congruente y no congruente y sistemas gráficos congruente y no congruente. Solo se observó, a partir de la primera lectura, diferencias estadísticamente significativas entre los sistemas verbal y gráfico.

De acuerdo a la bibliografía, es factible que no se detecten incongruencias intermodales en la primera lectura, pues en ella se construye una base textual que solo requiere coherencia local (van Dijk y Kintsch 1983; Rayner et al. 2001; Mason et al. 2013; 2015). La incongruencia en los textos en estudio se encontraba entre los dos sistemas semióticos y a nivel de coherencia global, por lo que sería necesaria una lectura del sistema adyacente, saliendo de la AOI primeramente leída, para reconocer que existen inconsistencias entre ambas. Esto podría no implicar necesariamente mayores tiempos de la primera lectura en la condición no congruente, ni tampoco en los textos congruentes.

Un supuesto de este estudio es que, al salir de una AOI, para observar la AOI contigua, se reconocería la incongruencia, obligando así al lector a volver a la AOI leída en primera instancia para corroborar la información. Esto elevaría los tiempos de la segunda lectura en las AOIs de los textos no congruentes y, al mismo tiempo, aumentaría las transiciones integrativas. Las investigaciones que abordan la relectura o segunda lectura sugieren que los lectores construyen el modelo de situación durante la segunda lectura del texto (Hyönä et al. 2003; Morrow et al. 2012; Nadal et al. 2016). Sin embargo, de acuerdo a los resultados obtenidos de la segunda lectura, la comparación de las diferentes AOIs en cada condición no revelaron diferencias estadísticamente significativas. Del mismo modo, al ser comparadas las condiciones por cada AOI, las transiciones integrativas tampoco arrojaron diferencias. Esto da cuenta de que los lectores no realizaron más movimientos sacádicos de un sistema semiótico a otro, ni aumentaron los tiempos de la segunda lectura en textos no congruentes como era esperado.

Entonces, la pregunta que emerge es: ¿notaron estos lectores la incongruencia entre sistemas?

Los datos reportados indican que, en una primera lectura, los participantes de este estudio se enfocan por más tiempo en el sistema verbal que en el sistema gráfico, es decir, su procesamiento psicolingüístico se revela con mayor intensidad en las palabras. Este hallazgo permite explicar la aparente no detección de incoherencias textuales intersistemas, ya que si se lee con mayor atención un único sistema semiótico (el verbal), no existe posibilidad de comparar o contrastar dicha información con la provista por el sistema gráfico. Esto resulta concordante con datos obtenidos por otras investigaciones para otras lenguas como el inglés y el alemán, así también para el turco y el español (Hegarty y Just 1993; Rayner et al. 2001; Acartürk et al. 2008a, 2008b; Holsanova et al. 2009; Schmidt-Weigand et al. 2010a, 2010b; Parodi y Julio 2016). Es probable, entonces, que dado que los lectores de la muestra disponen de conocimientos disciplinares especializados, como estudiantes de economía, se enfoquen mayormente en el sistema verbal, ya que pueden usar su conocimiento previo para crear el modelo de situación, sin poner demasiada atención a los gráficos que acompañan al sistema verbal (Hegarty y Just 1993). De esta manera, los lectores pasarían por alto la incongruencia entre ambos sistemas semióticos.

Estos resultados también pueden explicarse debido a una probable concepción textual logocentrista de los participantes del estudio, esto es, a una centralidad de la importancia que les otorgan a las palabras para asignar el sentido y veracidad de un texto. De acuerdo a esto, es posible que los participantes de la presente investigación no detectaran las incongruencias, dado que leen primero y con mayor exclusividad las palabras y, desde las palabras, construyen su representación mental del significado textual. Según Mayer (2015), se aplicaría el Efectos de la Redundancia, el cual sugiere que cuando se entrega la misma información en un texto, pero a través de diferentes sistemas semióticos, es probable que se produzcan efectos adversos. Es decir, los lectores de la muestra lograrían establecer la coherencia global del texto o creerían haberlo hecho, aunque no hayan leído todo el texto o no hayan integrado toda la información textual. Entonces, lo que los datos revelan es que los lectores acuden en menor grado al sistema gráfico y, dado que ponen menor atención a este, la incongruencia no se les revelaría. Del mismo modo, tampoco establecen una verificación de la información desde el sistema gráfico al sistema verbal. Al respecto, Parodi y Julio (2016) sugieren la existencia del Principio Logocentrista, el cual indica que, enfrentados a leer textos compuestos por el sistema verbal y gráfico, los lectores en virtud de sus creencias y escolarización pondrían en juego estrategias orientadas hacia el sistema verbal. En esta misma línea, pero con un énfasis diferente, Radford (2010) sugiere que los lectores desarrollarían una ‘domesticación’ de los movimientos oculares hacia un sistema preferido, que en este caso sería el verbal. Bajo esta premisa, aunque los lectores puedan potencialmente leer gráficos (Parodi y Julio 2015), su comportamiento tiende a ser guiado mayoritariamente por las palabras.

Ligado a lo anterior, Graesser et al. (2015) sostienen que los lectores que enfrentan textos con quiebres cohesivos, contradicciones, incongruencias, anomalías o incertidumbres, en relación con sus propósitos de lectura, alcanzan un estado de ‘desequilibrio cognitivo’. Este estado conduce al lector a la generación de múltiples inferencias y razonamientos en un intento por resolver la dificultad textual y reestablecer el equilibrio cognitivo. De acuerdo a nuestros hallazgos, los lectores de la muestra no alcanzarían tal estado de desequilibrio, dado que no llegaría a detectar las contradicciones entre la información textual. Entonces, al no registrarse mayores tiempos de lectura en los textos incongruentes, no se generaría tal desequilibrio.

También es factible que, dado que la relación intersemiótica entre el sistema verbal y el sistema gráfico era de sinonimia o reiteración, los lectores identificaran esta relación semántica y decidieran centrarse mayoritariamente en las palabras. Otras investigaciones que sí han reportado detección de incongruencias, han estudiado relaciones de complementariedad o de expansión (Morrow et al. 2012; Andrá et al. 2013; Mason et al. 2013).

5. CONCLUSIONES

Los datos aportados por esta investigación con el uso de la técnica de seguimiento y registro de los movimientos oculares (eye tracking) revelan, de modo general, la identificación de un tipo de procesamiento lector relativamente homogéneo entre los participantes de la investigación, el cual no permite identificar diferencias en el procesamiento de textos congruentes y no congruentes. En definitiva, los resultados de los análisis comparativos indican que este grupo de estudiantes universitarios del área de economía no muestra un comportamiento lector que permita sostener que reconocen las incongruencias entre los dos sistemas semióticos constitutivos de estos textos escritos. Esto podría explicarse debido a una predominancia de las rutas de lectura del sistema verbal en desmedro del sistema gráfico (Principio Logocentrista). En efecto, las AOIs verbales recibieron mayor atención que las AOIs gráficas, sin importar la condición (‘congruente’/’no congruente’) que leyeran los participantes de la muestra.

En este sentido, es posible concluir que existiría en los participantes de este estudio una concepción de texto y de lectura ‘orientada por las palabras’, la que revela incidencia en sus procesos de lectura de textos multisemióticos y conduciría -en este caso- a la no detección de la incongruencia de la información entre estos dos sistemas semióticos. Según los hallazgos reportados, estos lectores son ‘atrapados’ por las palabras y ello, probablemente, los lleva a no leer ambos sistemas y no detectar así la falta de coherencia en algunos de los textos presentados.

Junto a lo anterior, la construcción de la coherencia global de los textos podría, incluso en este caso, basarse solo en la información obtenida preferentemente desde un único sistema semiótico. Ello conlleva a la no identificación de incongruencias, hecho que se basa en la no distinción entre las medidas de la primera y segunda lecturas, así como tampoco de las regresiones entre los sistemas semióticos. Así, si los textos de naturaleza sinonímica o redundante entre dos sistemas semióticos podrían ser leídos desde un único sistema y no requerir necesariamente la mirada en el otro sistema, que eventualmente podría llegar a ser un detrimento para la lectura (Mayer 2015).

Uno de los propósitos de este estudio fue combinar dos aproximaciones distintas al campo de estudios de la multisemiosis, conformado por un diseño experimental desde la descripción de géneros discursivos en un corpus situado, como lo es el corpus PUCV- UCSC-2013 del discurso de la economía (Parodi et al. 2015) y el procesamiento en línea y tiempo real de registros de lectura por medio de un eye tracker.

Una forma superar las limitaciones de este tipo de investigaciones es diseñando un mayor número de estímulos para así fortalecer la robustez de los datos. Del mismo modo, es importante poder contar con un mayor número de participantes. Como parte de las proyecciones, queda abierta la exploración de relaciones semánticas intermodales más complejas que la sinonimia o reiteración, como son los diferentes tipos de complementariedad, y explorar otros segmentos textuales de otros géneros disciplinares multisemióticos.

La investigación de las lecturas con texto multisemióticos con eye tracker sin duda permite recolectar datos valiosos y objetivos de las distintas rutas de lectura en línea y momento a momento que siguen los participantes para la construcción de una representación del texto. Esto nos entrega, de manera indirecta, indicios de los procesos cognitivos que los participantes llevan a cabo mientras leen. Esta indagación de los diferentes procesos cognitivos llevados a cabo durante la lectura permite tener una perspectiva más cercana del fenómeno de la multisemiosis en textos escritos, lo que aporta datos y evidencias confiables que permiten fortalecer los estudios de la lectura en textos multisemióticos.

OBRAS CITADAS

Acartürk, Cenguiz. 2009. Multimodal comprehension of graph-text constellations: An information processing perspective. Tesis doctoral. Hamburgo: Universidad de Hamburgo. [ Links ]

Acartürk, Cenguiz et al. 2008a. “Learning from text and graphs: The role of annotations and sensory modality”. En Maes, Anne y Simon Ainsworth (Eds.),Proceedings of EARLI Special Interest Group Text and Graphics. Exploiting the Opportunities Learning with Textual, Graphical and Multimodal Representations. Tilburg, Holanda. 13-16. [ Links ]

________ . 2008b. “Multimodal comprehension of language and graphics: Graphs with and without annotations”.Journal of Eye Movement Research 1, 3: 1-15. [ Links ]

Acartürk, Cenguiz, Maite Taboada & Christopher Habel. 2013. “Cohesion in multimodal documents: Effects of cross-referencing”. Information Design 20, 2: 98-110. [ Links ]

Albrecht, Jason & Edward O’Brien. 1993. “Updating a mental model: Maintaining both local and global coherence”. Journal of Experimental Psychology: Learning, Memory, and Cognition 19, 5: 1061-1070. [ Links ]

Andrá, Chiara et al. 2013. “Reading mathematics representations: an eye-tracking study”. International Journal of Science and Mathematics Education 13, 2: 237-259. [ Links ]

Bateman, John. 2014. Text and image: A critical introduction to the visual/verbal divide. Londres: Routledge. [ Links ]

Bateman, John, Janina Wildfeuer, Tuomo Hiippala. 2017. Multimodality: Foundations, Research and analysis - A problem-oriented introduction. Berlin: Walter de Gruyter. [ Links ]

Becker, Mark W., Harold Pashler & Jeffrey Lubin. 2007. “Object- intrinsic oddities draw early saccades”. Journal of Experimental Psychology: Human Perception and Performance 33: 20-30. [ Links ]

Bertin, Jacques. 1983. Semiology of graphics: Diagrams networks maps. Madison, WI: University of Wisconsin Press. [ Links ]

Boeriis, Morten & Jana Holsanova. 2012. “Tracking visual segmentation: connecting semiotic and cognitive perspectives”. Visual Communication 11, 3: 259-281. [ Links ]

Boland, Julie & Allison Blodgett. 2001. “Understanding constraints on syntactic generation: Lexical bias and discourse congruency effects on eye movements”. Journal of Memory and Language 45: 391-411. [ Links ]

Dreyfus, Shoshana, Susan Hood & Maree Stenglin, eds. 2012. Semiotic margins: Meaning in multimodalites. Londres: Continuum. [ Links ]

Duchowski, Andrew. 2007. Eye tracking methodology: Theory and practice. Londres: Springer-Verlag. [ Links ]

Graesser, Arthur, Haiying Li & Shi Feng. 2015. “Constructing inferences in naturalistic reading contexts”. En O’Brien, Edward, Anne Cook y Robert Lorch, eds., Inferences during Reading. Cambridge: Cambridge University Press. 290-320. [ Links ]

Halliday, Michael. 1978. Language as Social Semiotic. Londres: Edward Arnold. [ Links ]

Harris, Christine, Robin Kaplan & Hal Pashler. 2008. “Alarming events in the corner of your eye: Do they trigger early saccades?” SSRN 2542346: https://ssrn.com/abstract=2542346Links ]

Hasan, Ruqaiya. 1985. “The texture of a text”. En Halliday, Michael & Ruqaiya Hasan, comps., Language, context, and text: Aspects of language in a social-semiotic perspective. Oxford: Oxford University Press. 70-96. [ Links ]

Hegarty, Mary & Marcel Adam Just. 1993. “Constructing mental models of machines from text and diagrams”.Journal of Memory and Language 32: 717-742. [ Links ]

Hiippala, Tuomo. 2016. The structure of multimodal documents: An empirical approach. Nueva York: Routledge. [ Links ]

Holsanova, Jana & Andreas Nord. 2010. “Multimodal design: Media structures, media principles and users meaning-making in printed and digital media”. En Bucher, Hans-Jürgen, Thomas Gloning y Katrin Lehnen (Eds), Neue medie - neue formate: Ausdifferenzierung und konvergenz in der medienkommunikation. Campus, Frankfurt/New York. 81-103. [ Links ]

Holsanova, Jana, Nils Holmberg & Kenneth Holmqvist. 2009. “Reading information graphics: the role of spatial contiguity and dual attentional guidance”. Applied Cognitive Psychology 23, 9: 1215-1226. [ Links ]

Hothorn, Torsten, Kurt Hornik, Mark A. van de Wiel & Achim Zeileis. 2008. “Implementing a class of permutation tests: The coin package”. Journal of Statistical Software 28, 8: 1-23. [ Links ]

Hyönä, Jukka, Robert F. Lorch & Johanna K. Kaakinen. 2002. “Individual differences in reading to summarize expository text: Evidence from eye fixation patterns”. Journal of Educational Psychology 94, 1: 44-55. doi:10.1037/0022-0663.94.1.44. [ Links ]

Hyönä, Jukka, Robert F. & Mike Rinck. 2003. “Eye movement measures to study global text processing”. En Hyönä, Jukka, Ralph Radach y Heiner Deubel, eds., The mind’s eye: Cognitive and applied aspects of eyemovement research. Amsterdam: Elsevier Science. 313-334. [ Links ]

Hyönä, Jukka, Ralph Radach & Heiner Deubel, eds. 2003. The mind's eye: Cognitive and applied aspects of eye movement research. Amsterdam: Elsevier. [ Links ]

Holmqvist, Kenneth., Marcus Nystrom, Richard Andersson, Richard Dewhurst, Halszka Jarodzka & Joost Van de Weijer. 2011. Eye Tracking - A comprehensive guide to methods and measures. Oxford: Oxford University Press . [ Links ]

Jarodzka, Halska., Kenneth Holmqvist & H. Gruber. 2017. “Eye tracking in Educational Science: Theoretical frameworks and research agendas”. Journal of Eye Movement Research 10, 1: 1-18. [ Links ]

Jegerski, Jill. 2014. “Self-Paced Reading”. En Jegerski, Jill, y Bill Van Patten, eds. Research methods in second language psycholinguistics. Nueva York: Routledge . [ Links ]

Jewitt, Carey , ed. 2016. The Routledge handbook of multimodal analysis. Nueva York: Routledge . [ Links ]

Juhasz, Barbara., & Alexander Pollatsek. 2011. “Lexical influences on eye movements in reading”. En Liversedge, Simon, Iain Gilchrist y Stefan Everling, eds., The Oxford Hand-book of Eye Movements. Oxford: Oxford University Press . 873-893. [ Links ]

Just, Marcel & Patricia A. Carpenter. 1980. “A theory of reading: From eye fixation to comprehension”. Psychological Review 87, 4: 329-354. [ Links ]

Kaltenbacher, Martín. 2007. “Perspectivas en el análisis de la multimodalidad: desde los inicios al estado del arte”. Revista Latinoamericana de Estudios del Discurso 7, 1: 31-57. [ Links ]

Kress, Gunther. 2010.Multimodality: A social semiotic approach to contemporary communication. Londres y Nueva York: Routledge. [ Links ]

Kress, Gunther & Theo van Leeuwen. 1996. Reading images: The grammar of visual design. Londres: Routledge. [ Links ]

________. 1990. Reading images. Geelong, Victoria: Deakin University Press. [ Links ]

Kuehl, Robert. 2001. Diseño de experimentos. Principios estadísticos para el diseño y análisis de investigaciones. México: Thomson Learning. [ Links ]

Lemke, Jay. 2005. “Multimedia genres and traversals”. Folia Lingüística, XXXIX 1-2: 45- 56. [ Links ]

Liu, Yu & Kay O’Halloran. 2009. “Intersemiotic texture: Analyzing cohesive devices between language and images”. Social Semiotics 19, 4: 367-388. [ Links ]

Martin, James. 2012. “Multimodal semiotics: Theoretical challenges”. En Dreyfus, Shoshana, Susan Hood y Maree Stenglin, eds., Semiotic margins: Meaning in multimodalites. Londres: Continuum . 243-270. [ Links ]

Mason, Lucia, Maria Caterina Tornatora & Patrik Pluchino. Maria Caterina Tornatora & Patrik Pluchino. 2015. “Integrative processing of verbal and graphical information during re-reading predicts learning from illustrated text: an eye-movement study”. Reading and Writing 28, 6: 851-872. [ Links ]

________. 2013. “Do fourth graders integrate text and picture in processing and learning from an illustrated science text? Evidence from eye- movement patterns”. Computers y Education 60, 1: 95-109. [ Links ]

Matthiessen, Christian M. I. M. 2015. “Register in the round: Registerial cartography”.Functional Linguistics 2, 1: 1-48. [ Links ]

________. 2009. “Multisemiotic and context-based register typology: Registerial variation in the complementarity of semiotic systems”. En Ventola, Eija y Arsenio Guijarro, eds.,The world told and the world shown. Basingstonke: Palgrave Mcmillan. 11-38. [ Links ]

Mayer, Richard, ed. 2015. The Cambridge handbook of multimedia learning. Nueva York: Cambridge University Press. [ Links ]

________. 2009.Multimedia learning. Nueva York: Cambridge University Press. [ Links ]

McMurtrie, Robert. 2017.The Semiotics of Movement in Space. New York: Routledge. [ Links ]

Morrow, Dan, Laura D’andrea, Elisabeth Stine-Morrow, Matthew Shake, Sven Bertel, Jessie Chin, Katie Kopren, Xuefei Gao, Thembi Conner-Garcia, James Graumlich & Michael Murray. 2012. “Comprehension of multimedia health information among older adults with chronic illness”. Visual Communication 11, 3: 347-362. [ Links ]

Nadal, Laura, Adriana Cruz, Inés Recio & Óscar Loureda. 2016. “El significado procedimental y las partículas discursivas del español: una aproximación experimental”. Revista Signos. Estudios de Lingüística 49, 1: 52-77. [ Links ]

O'Toole, Michael. 1994. The language of displayed art. Londres: Leicester University Press. [ Links ]

Pagano, Robert. 2011. Estadística para las ciencias del comportamiento. México: Cengage Learning. [ Links ]

Parodi, Giovanni. 2015. “Variation across university genres in seven disciplines: A corpus-based study on academic written Spanish”.International Journal of Corpus Linguistics20, 4: 469-499. [ Links ]

________. 2010. “Multisemiosis y lingüística de corpus: artefactos (multi)semióticos en los textos de seis disciplinas en el Corpus PUCV-2010”. Revista de Lingüística Teórica y Aplicada 48, 2: 33-70. [ Links ]

Parodi, Giovanni & Cristóbal Julio. 2016. “¿Dónde se posan los ojos al leer textos multisemióticos? Procesamiento de palabras y gráficos en un estudio experimental con Eye Tracking”. Revista Signos. Estudios de Lingüística 49, 1: 149-183. [ Links ]

________. 2015. Más allá de las palabras: “¿Puede comprenderse el género discursivo Informe de Política Monetaria desde un único sistema semiótico predominante?”. Revista ALPHA 41: 133-158. [ Links ]

Parodi, Giovanni, Cristóbal Julio & Inés Recio. 2018. “When words and graphs move the eyes: Multimodal causal relations and eye tracking techniques”. Journal of Eye Movement Research 11, 1: 2. [ Links ]

Parodi, Giovanni, Cristóbal Julio & Liliana Vásquez-Rocca. 2015. “Los géneros del Corpus PUCV-UCSC- 2013 del discurso académico de la economía: el caso del Informe de Política Monetaria”. Revista Latinoamericana de Estudios del Discurso 15(3): 179-200. [ Links ]

Parodi, Giovanni, ed. 2008. Géneros académicos y géneros profesionales: Accesos discursivos para saber y hacer. Valparaíso: Ediciones Universitarias de Valparaíso. [ Links ]

Parodi, Giovanni & Gina Burdiles, eds. 2015. Leer y escribir en contextos académicos y profesionales: géneros, corpus y métodos. Santiago de Chile: Ariel. [ Links ]

R Development Core Team . 2008. R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. ISBN 3-900051-07-0, URL http://www.R-project.org. [ Links ]

Ravelli, Louise. & Robert McMurtrie. 2016.Multimodality in the built environment: Spatial discourse analysis. New York: Routledge . [ Links ]

Radford, Luis. 2010. “The eye as a theoretician: Seeing structures in generalizing activities”.For the Learning of Mathematics 30, 2: 2-7. [ Links ]

Raney, Gary, Spencer Campbell & Joanna Bovee. 2014. “Using eye movements to evaluate the cognitive processes involved in text comprehension”. Journal of Visualized Experiments JoVE, 83. [ Links ]

Rayner, Keith. 2009. “Eye movements and attention in reading, scene perception, and visualsearch”. The Quarterly Journal of Experimental Psychology 62. [ Links ]

________. 1998. “Eye movements in reading and information processing: 20 years of research”. Psychological Bulletin 124, 3: 372-422. [ Links ]

Rayner, Keith, Caren Rotello, Andrew Stewart, Jessica Keir & Susan Duffy. 2001. “Integrating text and pictorial information: Eye movements when looking at print advertisements”. Journal of Experimental Psychology: Applied 7, 30: 219-26. [ Links ]

Rayner, Keith & Sara Sereno. 1994. “Eye movements in reading: Psycholinguistic studies”. En Gernsbacher, M., ed., Handbook of Psycholinguistics. Academic Press: New York. 57-82. [ Links ]

Royce, Terry. 2007. “Intersemiotic complementarity: A framework for multimodal dis- course analysis”. En Royce, Terry y Bowcher Wendy, eds., New directions in the analysis of multimodal discourse. Mahwah, NJ: Erlbaum. 63-109. [ Links ]

________. 1998. “Synergy on the page: Exploring inter-semiotic complementarity in page- based multimodal text”. JASFL Occasional Papers 1,1: 25-49. [ Links ]

Schmidt-Weigand, Florian et al. 2010a. “A closer look at the split attention in system- and self-paced instruction in multimedia learning”.Learning and Instruction 20: 100-110. [ Links ]

Schmidt-Weigand, Florian et al. 2010b. “Explaining the modality and contiguity effects: New insights from investigations students’ viewing behavior”.Applied Cognitive Psychology 24: 226-237. [ Links ]

Stockl, Hartmut. 2004. “In between modes”. En Ventola, Eija & Charles Cassily & Martin Kaltenbacher, eds., Perspectives on multimodality. Amsterdam: Benjamins. 9-30. [ Links ]

Underwood, Geoffrey, Emma Templeman, Laura Lamming & Tom Foulsham. 2008. “Is attention necessary for object identification? Evidence from eye movements during the inspection of real-world scenes”. Consciousness and Cognition 17: 159-170. [ Links ]

Vásquez-Rocca, Liliana & Giovanni Parodi. 2015. “Relaciones retóricas y multimodalidad en un género 'importado': El Informe de Política Monetaria del discurso académico de la Economía”. Calidoscópio 13, 3: 388-405. [ Links ]

________. 2015. Descripción de las relaciones intersemióticas desde una perspectiva retórica-funcional en el Informe de Política Monetaria (IPoM). Ponencia presentada en Primer Simposio Internacional de la Cátedra UNESCO. Lectura y Escritura - Sede Chile PUCV “Leer y escribir en nuevos contextos académicos y profesionales”. [ Links ]

van Dijk, Teun & Walter Kintsch. 1983. Strategies of discourse comprehension. Nueva York: Academic Press. [ Links ]

Vauras, Marja, Jukka Hyönä & Pekka Niemi. 1992. “Comprehending coherent and incoherent texts: evidence from eye movement patterns and recall performance”. Journal of Research in Reading 15: 39-54. [ Links ]

Esta investigación se enmarca en los proyectos de investigación CONICYT 20150058, FONDEQUIP 150119, Proyecto FONDECYT 1170623

Recibido: 31 de Agosto de 2017; Aprobado: 16 de Marzo de 2018

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons