SciELO - Scientific Electronic Library Online

 
vol.43 suppl.1El género de 'adaptación' de la película cómica oficialTeoría de la relevancia y análisis socio-retórico de géneros textuales: Análisis de respuestas en cartas de consulta directas e indirectas índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

Compartir


Revista signos

versión On-line ISSN 0718-0934

Rev. signos v.43  supl.1 Valparaíso  2010

http://dx.doi.org/10.4067/S0718-09342010000300011 

Revista Signos
2010 / 43
Número Especial Monográfico Nº 1
183-203

Narrativas multimídia de aprendizagem de língua inglesa

 

Narrativas multimedia de aprendizaje de la lengua inglesa

 

Multimedia narratives for the learning of the English language

 

Vera Menezes
Universidade Federal de Minas Gerais
Brasil

Dirección para correspondencia

The world told is different form the world shown.

Gunther Kress (2003: 1)


RESUMO

Este texto apresenta um estudo sobre narrativas multimídia de aprendizagem de língua inglesa, com foco principal nas representações visuais, tendo como suporte teórico a semiótica visual (Kress & van Leeuwen, 2006), a teoria multimodal da comunicação (Kress & van Leeuwen, 2001), a teoria da avaliatividade (Martin & White, 2005) e a teoria das mesclagens conceituais (Fauconnier & Turner, 2002). Foram selecionados Excertos e imagens de um corpus de 20 narrativas, produzidas por alunos do curso de Letras da UFMG, em 2005, com o objetivo de demonstrar que (a) as narrativas visuais expressam metafunções ideacionais, interpessoais e textuais, (b) as narrativas visuais metaforizavam as experiências vividas visualmente, (c) as imagens e sons funcionam como input para integrações conceituais. Este texto demonstra que as narrativas visuais não são meras ilustrações do texto escrito e que a associação texto e imagem revela importantes aspectos da cognição humana.

Palavras-Chave: Narrativa, multimodalidade, integração conceitual, metáfora, metonímia.


RESUMEN

Este texto presenta un estudio sobre narrativas multimedia de aprendizaje de la lengua inglesa, con principal foco en las representaciones visuales, siendo el soporte teórico la semiótica visual (Kress & van Leeuwen, 2006), la teoría multimodal de la comunicación (Kress & van Leeuwen, 2001), la teoría de la evaluatividad (Martin & White, 2005) y la teoría de las mezclas conceptuales (Fauconnier & Turner, 2002). Fueron seleccionados fragmentos e imágenes de un conjunto de 20 narrativas, producidas por alumnos del curso de Letras de la UFMG (Universidad Federal de Minas Gerais), en 2005, con objetivo de demostrar que: (1) las narrativas visuales expresan metafunciones de ideación, interpersonales y textuales; (2) las narrativas visuales metaforizan experiencias vividas visualmente y; (3) las imágenes y sonidos actúan como input para integraciones conceptuales. Este texto demuestra que las narrativas visuales no son simplemente ilustraciones del texto escrito y que la asociación entre texto e imagen revela importantes aspectos de la cognición humana.

Palabras Clave: Narrativa, multi-modalidad, integración conceptual, metáfora, metonimia.


ABSTRACT

This study of multimedia narratives for English language learning focuses on visual representations and is theoretically supported by Visual Semiotics (Kress & van Leeuwen, 2006), the Multimodal Communication theory (Kress & van Leeuwen, 2001), the Appraisal theory (Martin & White, 2005) and the theory of Conceptual Blending (Fauconnier & Turner, 2002). The corpus, from which excerpts and images were selected, comprises 20 narratives written by literature undergraduate students at UFMG in 2005. This study demonstrates that (1) visual narratives convey ideational, interpersonal and textual metafunctions; (2) visual narratives metaphorize visual experiences; (3) images and sounds work as input for conceptual blendings. This study reveals that visual narratives are not mere illustrations of the written text and that the association of image and text presents important aspects of human cognition.

Key Words: Narrative, multimodality; conceptual blending, metaphor, metonymy.


 

INTRODUÇÃO

Com o advento das tecnologias computadorizadas, novas formas de produção de texto emergem nas práticas sociais da linguagem, dentre elas, destaco as narrativas multimodais e multimídia. Kress e van Leeuwen (2001: 20) definem multimodalidade como "o uso de vários modos semióticos no design de um produto ou evento semiótico, em conjunto com o modo particular como esses modos são combinados"1. Para esses autores, os modos podem dizer a mesma coisa de forma diferente, podem ter um papel complementar ou terem uma ordenação hierárquica. Eles distinguem multimodalidade de multimidialidade e explicam que o rádio, por exemplo, é monomidiatico, pois só pode ser ouvido, mas é multimodal porque pode transmitir voz, música e outros sons. Já a interação face a face é multimodal (fala, gesto) e multimídia, pois se dirige à visão, à audição, ao tato, ao olfato e até mesmo ao paladar.

Neste artigo, apresento um estudo sobre narrativas que optei por chamar de narrativas multimídia, pois elas incluem texto, imagem e som, dirigindo-se tanto aos olhos quando aos ouvidos. São narrativas sobre aprendizagem de língua inglesa e têm sido coletadas em disciplinas on-line do curso de graduação em Letras da UFMG, desde 2005. No momento, contamos com um corpus de 57 narrativas de graduandos brasileiros. Os textos estão acessíveis na Internet, no endereço http://www.veramenezes.com/narmulti.htm. Nessa página há, ainda, um link para o corpus de Alice Chick, cujas narrativas foram escritas por aprendizes de inglês em Hong Kong e coletadas desde 2008.

Por se tratar de um gênero emergente, ainda não há estudos sobre esse gênero, essa nova forma de representar experiências de aprendizagem de uma língua estrangeira.

 

1. Narrativas multimídia de aprendizagem de inglês

Para este estudo, optei por utilizar as primeiras 20 narrativas que foram produzidas em 2005 no Brasil, tendo em vista que esses alunos não dispunham de modelos e foram os primeiros produtores desse gênero. Os narradores foram orientados a usar texto, imagem, hiperlinks, vídeo ou som para narrar como foi sua história de aprendizagem de inglês. Apesar de nenhuma instrução ter sido dada quanto à estrutura narrativa ou quanto ao conteúdo do texto, podemos perceber alguns padrões de forma e de conteúdo. A maioria das narrativas inclui um fundo colorido, fontes em formatos, tamanhos e cores diversas, imagens, e hiperlinks para arquivos sonoros. A Figura 1 reproduz um exemplo de uma narrativa multimídia prototípica. Vemos nesta Figura o trecho inicial que inclui elementos escritos, visuais e sonoros. O texto é inscrito sobre um fundo bege imitando a textura do linho.

Figura 1. Exemplo de uma narrativa multimídia.

A autora revela, logo no início de sua história, que o inglês entrou em sua vida por acidente quando a mesma foi ajudar a tia a cuidar de seu bebê nos Estados Unidos. O hiperlink na palavra baby aciona o som de choro de uma criança, representação metonímica de um bebê, e o hiperlink em there I was leva o leitor a uma página com fotos da narradora em São Francisco, nos Estados Unidos. Assim tanto I (eu) quanto therel (lá) encontram referentes catafóricos em outro texto, o fotográfico, por remissão hipertextual. There remete, também, a Estados Unidos na primeira linha, por anáfora, e, cataforicamente, a São Francisco que por sua vez é, metonimicamente, uma referência aos Estados Unidos. É interessante observar como um mesmo pronome relativo pode funcionar como duplo elemento coesivo −anafórico e catafórico− pois o texto se desdobra em várias camadas articuladas por um processo de recursividade hipertextual. O último referente −San Francisco− se faz representar em texto e em três diferentes imagens, conforme podemos ver na Figura 1.

As narrativas multimídia de aprendizagem de língua inglesa se caracterizam por ter um ator ou narrador que oferece ao leitor relatos de suas experiências de aprendizagem na escola e fora dela. O narrador, opcionalmente, se representa de forma icônica, seja por meio de fotos ou de desenhos ou gifs, representando um estudante no ambiente escolar ou em casa. Em nosso corpus, 5 narradores se representaram por meio de desenhos e 8 por meio de fotos. Desses sete, apenas um usou foto de outro estudante e outro usou hiperlink para uma página com fotos, reproduzida na Figura 1. Três narradores usaram fotos das cidades onde nasceram e 4 não usaram qualquer representação icônica. As narrativas seguem uma sequência cronológica, descrevendo a relação dos aprendizes com a língua inglesa, desde a infância até a universidade. Todas as narrativas são narradas na primeira pessoa. Houve um único caso de presença da terceira pessoa no título de uma narrativa (Ana's English learning Narrative), mas o texto foi escrito na primeira pessoa.

Quando o narrador usa sua representação icônica, ele, geralmente, o faz por meio de retratos de seu rosto. A imagem funciona como estabelecimento de contato com o leitor, no início da narrativa, através do olhar de onde parte um vetor imaginário em direção ao leitor, como é o caso das Figuras 2 e 3. Encontramos no corpus um único exemplo onde a foto do narrador foi inserida ao final do texto (ver Figura 4).

Figura 2. Narradora em close.

Figura 3. Narrador em close.

Figura 4. Retrato do narrador ao final da narrativa.

Os textos apresentam fechamentos em forma de reflexões sobre o processo de aprendizagem, despedidas (Figura 4), planos para o futuro ou intenções e algumas fecham com letras de música e links que oferecem ao leitor acesso a arquivo sonoro ou apenas acesso a uma página onde se pode ler a letra de uma música, como na Figura 5. O texto inclui hiperlinks nas palavras song, wonderful e no título da música −What a wonderful World− todos levando a uma página (http://www.eflclub.com/2songs/wonderfulworld/wonderfulworld2.htm) onde o leitor pode ouvir a música e, ao mesmo tempo, preencher lacunas em sua letra, exercitando assim sua compreensão oral. No caso dessa narrativa, a letra da música metaforiza o estado de espírito da narradora que afirma que o mundo é maravilhoso.

Figura 5. Fechamento com letra de música.

Das 20 narrativas, 4 apresentam fechamentos marcados metalinguísticamente pela expressão The End, como na Figura 6.

Figura 6. Fechamento metalinguístico.

As narrativas contam histórias de fracassos e sucessos dentro e fora da escola, descrevem situações marcantes na escola, a contribuição da família e de amigos, e experiências com a língua inglesa mediada por viagens, livros, revistas, bandas de rock, literatura e cinema.

As fotografias, desenhos, gifs, inclusive animados, inseridos ao longo do texto, se constituem em pequenas narrativas (cenas escolares, familiares, viagens, experiências culturais). Elas representam fontes de input (livros, discos, etc.) ou evocam emoções (medo, alegria, enfado).

Na próxima seção, apresentarei um breve estudo de alguns exemplos dessas narrativas visuais à luz da gramática visual (Kress & van Leeuwen, 2006) e da teoria da integração conceitual (Fauconnier & Turner, 2002).

 

2. A comunicação visual e a integração conceitual

Kress e van Leeuwen (2006), inspirados na semiótica social de Halliday (1994), entendem que o mundo é representado semioticamente e que a comunicação visual, assim como a fala e a escrita, se expressa através das três metafunções propostas por Halliday (1994): ideacional, interpessoal e textual.

A metafunção ideacional representa a forma como aspectos do mundo são experienciados pelos seres humanos, ou seja, representa o mundo interior do e exterior ao sujeito. No caso de nossas narrativas, esse mundo é representado por meio de textos escritos e visuais (fotografias, desenhos e gifs), em ordem cronológica, mostrando a experiência com o inglês desde a infância até a vida adulta. Os aprendizes adicionam mais informações sobre o que escrevem, inserindo hiperlinks que remetem o leitor a verbetes da wikipedia sobre um determinado tema, a páginas de instituições educacionais onde estudaram ou trabalham, a páginas institucionais de suas cidades natais, a páginas de locais de trabalho e de hotéis. Eles incluem, também, a páginas de bandas, páginas sobre filmes, seriados de televisão, livros, revistas, etc. Os hiperlinks levam o leitor também a representações icônicas, a recursos sonoros e a páginas onde se podem encontrar letras e áudio de músicas relevantes para as histórias que eles contam. Nas histórias de aprendizagem, não são apenas representadas as ações do narrador no mundo, mas também as emoções associadas a experiência de aprender ou de usar a língua estrangeira.

A metafunção interpessoal representa as relações sociais. Segundo Kress e van Leeuwen (2006: 42), "qualquer modo semiótico tem de ser capaz de projetar as relações entre o produtor de um signo (complexo) e o recebedor/reprodutor daquele signo". Como já dito anteriormente, alguns aprendizes se representam visualmente como se tivessem se dirigindo ao leitor através de seu olhar nos fotos em close de seus rostos. Diversos tipos de interação são representados visualmente, tais como, aluno e professor, narrador com um ou mais colegas, narrador com um parente ou amigo com quem aprende a língua, com falantes da língua, etc. Um tipo de interação inferida nas imagens visuais e que se repete em algumas narrativas é a interação entre aluno e professor. Geralmente, termos apenas um dos elementos do par, mas o leitor consegue reconstruir a cena com seu conhecimento de mundo. As Figuras 7 e 8 são exemplos dessas representações. Na Figura 7, é possível inferir que um aluno pede permissão ao professor para tomar o turno com o gesto de levantar a mão, o que demonstra o desequilíbrio nas relações de poder entre aluno e professor. Na Figura 8, inferimos que há interação entre uma professora e seus alunos mesmo que estes estejam ausentes da imagem.

Figura 7. Interação aluno/Professor.

Figura 8. Interação professora/alunos.

A metafunção textual está associada aos arranjos composicionais necessários para a produção de um texto internamente coerente e relevante no contexto em que se insere (Kress & van Leeuwen, 2006). Nossos narradores apresentam diferentes arranjos composicionais de forma a integrar texto, cor, fontes de diversos tipos e tamanhos, imagem, sons e hipertexto para representar sua história de aprendizagem e as emoções vividas.

Podemos exemplificar as três funções recorrendo a uma das imagens de nosso corpus, retirada da narrativa 15, acessível em http://www.veramenezes.com/multi15.htm.

Figura 9. Cena na Biblioteca.

A imagem na Figura 9 está integrada a um conjunto de outras cenas visuais e textuais como podemos ver na Figura 10.

A Figura 10 representa uma experiência no mundo escolar bem conhecida dos leitores, o uso de uma biblioteca, focando em um de seus aspectos que é o empréstimo de livros, representado na cena da interação com uma funcionária responsável por essa tarefa. O texto visual tem coerência interna, pois todos os elementos estão organizados de forma a reproduzir uma transação própria do contexto que representa e é também coerente quando associado ao texto verbal que descreve o esforço do narrador para aprender sozinho, após a recusa da colega em ajudá-lo.

Figura 10. Integração de cenas.

Essa integração de cenas nos remete à teoria da integração conceitual de Fauconnier e Turner (2002) que advoga que "a projeção de espaços é um componente importante da construção imaginativa de uma rede" (Fauconnier & Turner, 2002: 105). Eles entendem como espaços mentais "os elementos e relações que são ativados simultaneamente como uma única unidade integrada" (Fauconnier & Turner, 2002: 104). Assim, em um processo de recursividade, além da integração de várias cenas narrativas na narração principal, cada uma dessas cenas evoca e integra inúmeros espaços mentais, formando uma rede de significados. Paiva e Nascimento (2009: 533-534) explicam que para Fauconnier e Turner (2002):

"A integração de espaços mentais está subjacente à origem da linguagem e que constitui a base do pensamento e da agência humana, refletindo-se não apenas na linguagem cotidiana, mas também na arte, na religião e na ciência. Essa integração se dá em forma de redes que podem receber diversos tipos de input e até mesmo múltiplas integrações de espaços".

Para ilustrar a teoria da integração conceitual, recorro novamente à Figura 9. Segundo Fauconnier e Turner (2002: 104), a organização de um espaço mental se faz através de enquadres conceituais. Os autores exemplificam o conceito com o esquema ou enquadre da luta de boxe. O enquadre de uma luta de boxe, segundo os autores, incluem escalas (ex. a força de um soco, a quantia que os boxeadores ganham, etc.); estrutura de força dinâmica (ex. um punho que acerta uma mandíbula, um homem que cai sobre seus joelhos, etc.); e esquemas imagéticos (ex. o ring é quadrado, os boxeadores ficam em posições opostas, etc.) Eles acrescentam que existe uma forte interação entre escalas, força dinâmica e esquemas imagéticos e que elas estão disponíveis nas estrutura conceitual e cognição humanas.

Inspirando-me na exemplificação dos autores, apresentarei argumentação semelhante, porém utilizando a cena representada na Figura 9. Aquela imagem aciona nosso esquema (enquadre) de uma biblioteca e das ações que lá acontecem. Esse esquema inclui um espaço físico com estantes cheias de livros, arquivos impressos ou digitais sobre o acervo, placas com indicações de localização das obras, usuários cadastrados, documento de registro de usuário, bibliotecárias e atendentes, e normas de empréstimo. O enquadre envolve escalas: o tamanho da biblioteca, a quantidade de livros, quantos livros o usuário pode pegar emprestado, quantos funcionários trabalham na biblioteca, etc. Envolve também uma estrutura de força-dinâmica: o usuário seleciona livros na biblioteca, leva ao balcão de empréstimo, entrega a carteira, assina o cartão de empréstimo (ou digita uma senha) e, em alguns casos, passa por um balcão de conferência antes da saída. Existem esquemas-imagéticos: as estantes formam corredores, os funcionários ficam atrás de um balcão. Existe uma forte relação de reciprocidade entre escalas, força-dinâmica e esquemas imagéticos que podem organizar os espaços mentais em termos de esquemas genéricos como 'empréstimo de livros' ou de 'estudo de inglês'. Assim como existe uma inter-relação entre os espaços mentais, o mesmo pode ser dito das meta-funções. Acredito que isso pode ficar claro se voltarmos a um trecho da narrativa 15, integrando o texto à imagem reproduzidos na Figura 11.

Figura 11. Integração texto e imagem.

O texto multimodal representa uma cena do mundo desse narrador; seu esforço para aprender a língua inglesa (função ideacional). Sua narrativa (função textual) se organiza de foram coesa e coerente, incluindo elementos textuais, visuais e hiperlink (CENEX2), e tem por objetivo nos informar (função interpessoal) como isso ocorreu. O texto escrito3 impõe significado à imagem, fazendo com que a conjunção texto verbal e texto visual promova várias integrações conceituais: o que significa estudar feito louco, o que significa ser um aluno carente e sua contrafactualidade (aluno privilegiado), direitos de estudante carente, conceito de cursos particulares, conceito de uso de artefatos culturais para a aprendizagem de inglês (Internet, filmes, canções, livros), conceito de curso de graduação, de evasão, etc.

Em outro contexto, a imagem poderia produzir sentidos diferentes, como por exemplo, alguém devolvendo livros na biblioteca após o término de um trabalho escolar ou de um período letivo, ou alguém retirando livros para ler e se divertir durante as férias. Apesar de o texto escrito, de certa forma, impor sentido á imagem, é interessante observar que a imagem na Figura 11 não é uma mera ilustração do texto escrito. O texto não faz nenhuma referência à cena da biblioteca e isso nos leva a entender essa imagem como uma metáfora4 visual que integra o espaço mental projetado pelo enunciado 'estudar feito um louco'. A metáfora materializada na cena da biblioteca nos remete a um esquema genérico −estudar− que, por sua vez, é metaforizado como acúmulo de informações livrescas. A metáfora 'mais é melhor' está representada pela pilha pesada de livros, transportada em um carrinho. Pilhas de livros aparecem em outras narrativas sempre metaforizando o estudo intenso da língua. Nesse caso, há uma integração de duas metáforas –a da loucura e do 'mais é melhor' −fazendo emergir o sentido de excesso, de anormalidade.

Na Figura 12, temos outra metáfora interessante, a do silêncio representada por um gif animado, inserido na narrativa 11 (http://www.veramenezes.com/multi11.htm). Nesse gif o menino puxa um fecho éclair e essa ação corresponde à expressão 'passei fecho éclair na boca' que significa fiquei em silêncio, me policiei, me censurei. A imagem representa metaforicamente a dificuldade do narrador em se expressar verbalmente em inglês, exercendo uma auto-censura.

Figura 12. Metáfora do silêncio.

Na Figura 13, temos a lâmpada posicionada acima da cabeça como metáfora do conhecimento, da compreensão. A metáfora da luz, do iluminismo, associada à expressão facial acionam e integram os conceitos de conhecimento e de alegria pela aquisição desse conhecimento.

Figura 13. Metáfora do conhecimento.

Mas de onde vêm os signos que nossos narradores utilizam para construir suas narrativas de aprendizagem? Um conceito importante para entender essa questão é o conceito de procedência (provenance) de Kress e van Leeuwen (2001).

 

3. Procedência (provenance)

A palavra procedência/provenance significa o lugar de onde algo vem: sua origem, sua fonte. Segundo Kress e van Leeuwen (2001: 10):

"Nós constantemente 'importamos' signos de outros contextos (uma outra era, um outro grupo social, uma outra cultura) para o contexto no qual estamos agora construindo um novo signo, para dar sentido às ideias e valores que estão associados aquele outro contexto por aqueles que importam os signos".

Kress e van Leeuwen (2001: 23) usam o conceito de procedência para se referirem "á ideia de que os signos podem ser 'importados' de um contexto (outra área, grupo social, cultura) para outro com a finalidade de significar ideias e valores associados com aquele outro contexto". O conceito de procedência, segundo Kress e van Leeuwen (2001: 73), inclui três aspectos:

1. Na ausência de um modo semiótico, uma forma de produzir sentido é pela procedência.
2. Um signo que produz sentido por meio da procedência evoca um discurso completo, mas sem torná-lo explícito de forma que, subjetivamente, somente um complexo vago de ideias e valores é comunicado.
3. Cada caso de procedência é único e a comunicação por esse meio é assistemática, uma invenção do momento, ou parte de um catálogo.

A cena da biblioteca produz sentido por procedência, pois o garoto do desenho não é o narrador, a biblioteca não representa a biblioteca de sua faculdade e a pilha de livros não corresponde a nenhuma experiência vivida pelo aluno na UFMG, pois as normas das bibliotecas dessa instituição só permitem o empréstimo de cinco livros de cada vez.

Outro exemplo de procedência é encontrado nas imagens da sala de aula que são recorrentes no corpus de narrativas multimídia. Na ausência de outro modo semiótico, como, por exemplo, fotografias ou filmes das salas de aula que os narradores frequentaram ou frequentam, eles recorrem a fotografias e desenhos retirados da Internet de outros contextos, como podemos ver nas Figuras 14 e 15.

Figura 14. Sala de aula com professora.

Figura 15. Alunos em sala de aula.

As imagens dessas salas de aula evocam sentidos completos por meio da procedência. Todas elas retratam outro contexto, mas todas evocam um discurso completo, transmitindo um conjunto de ideias e valores. Em todas essas salas de aula, temos uma professora explicitada como na Figura 14 ou um(a) professor(a) implícito(a) como na Figura 15. Esses professores têm o comando das ações e os alunos dependem de suas decisões e autorizações para qualquer ação na sala de aula. Os narradores também representam a si mesmos e, além de suas próprias imagens, utilizando o mecanismo da 'procedência, projetam-se em fotografias de outros estudantes, que retiram da Internet, e em imagens diversas, incluindo gifs animados. A suposta semelhança não está no semblante dos atores representados nas fotografias, mas na representação de processos agentivos e mentais que discutiremos na próxima seção.

 

4. Processos agentivos nas narrativas visuais

Kress e van Leeuwen (2006) propõem um conjunto de categorias para a análise de narrativas visuais. Neste texto, limito-me aos processos agentivos: não projetivos e projetivos. Processos projetivos são aqueles que contêm processos mentais ou verbais e os demais são não-projetivos. Os processos agentivos não-projetivos incluem ações e reações. As ações podem ser transacionais (uni-direcionais ou bi-direcionais) e não-transacionais. Os processos agentivos projetivos se dividem em reações não-transacionais, processos mentais e processos verbais.

 

4.1. Processos agentivos não-projetivos

Nas narrativas, encontramos ações transacionais bidirecionais como na Figura 14, onde vemos os alunos atentos ao comando da professora que por sua vez também está voltada para eles. Podemos traçar uma linha ou vetor diagonal emanando da maioria dos alunos (atores) e os conectando à professora (o alvo), constituindo uma ação transacional unidirecional. Podemos ainda traçar uma linha em forma de seta de duas pontas conectando dois atores −a professora e um dos alunos− em uma ação transacional bidirecional. Na Figura 15, o aluno em destaque está em ação transacional com o leitor, pois de seu olhar emana um vetor em direção ao leitor. No entanto, o vetor que emana do olhar da menina ao fundo não aponta para outro participante, constituindo uma ação não-transacional com o leitor, mas, provavelmente, transacional com o(a) professor(a). Essas fotografias, retiradas de seu contexto original, passam a constituir um caso de procedência único, uma invenção do momento para veicular a percepção que o narrador tem da sala de aula.

 

4.2. Processos agentivos projetivos

Um exemplo de reação não transacional pode ser encontrado na primeira imagem da Figura 10, onde o narrador inclui um gif animado de um homem chorando para representar sua reação à resposta negativa da colega ao ser convidada a estudar com ele. Ainda na Figura 10, encontramos um exemplo de processo verbal na imagem da professora com a boca aberta apontado para uma série de termos técnicos sobre ensino e aprendizagem de língua.

Para indicar processos verbais e mentais, nossos narradores se utilizam de balões já convencionalizados no gênero história em quadrinho como mostram as Figuras 16 e 17. Nessas Figuras, os vários tipos de balão indicam que o narrador está pensando (Figura 16) e falando ou repetindo (Figura 17).

Figura 16. Pensamento.

Figura 17. Fala.

Na Figura 16, o leitor integra dois espaços conceituais. Um deles é acionado pelo enunciado em inglês −'Ser ou não ser, eis a questão'− em referência intertextual com a peça de Shakespeare, Hamlet, e o outro é acionado pela imagem pensativa da narradora, corroborando com a enunciação escrita a respeito de sua dúvida sobre o que ser na vida. Na Figura 16, o leitor, recorrendo ao seu conhecimento de mundo, integra os enunciados de conjugação do verbo to be a uma sala de aula de inglês como língua estrangeira. Isso, certamente, aconteceria mesmo sem acesso ao texto onde a narradora descreve como eram suas primeiras aulas, representadas metonimicamente pelos balões na Figura 17.

 

4.3. Processos afetivos

De especial interesse neste estudo é a representação dos processos afetivos que não são contemplados na teoria de Kress e van Leeuwen (2006). Como nossos narradores são afetados pelas experiências de aprendizagem? Como reagem a essas experiências? Como são representadas visualmente as emoções positivas (alegria, felicidade, prazer) e como são representadas as emoções negativas (medo, a frustração, enfado, etc.)? Para entender essas questões, recorro a Martin e White (2005: 45-46) que, inspirados em Halliday (1994), afirmam que as realizações dos afetos "compreendem modificações dos participantes e processos, processos comportamentais e afetivos, e adjuntos modalizadores". Eles dividem os afetos em qualidades, processos e comentários.

Aplicando a teoria às imagens, encontramos imagens e sons com a função de realização de atribuição de qualidade bem como de representação de processos. Um exemplo de atribuição de qualidade são as representações de amor pela língua como na Figura 18; de alegria na imagem de um narrador sorridente ou de alunos em cenas alegres, como na Figura 19; de enfadado, geralmente associado imagem de alunos, como na Figura 20; e de mau humor ou sisudez, geralmente, atribuída a professores, como na Figura 21. Na Figura 18, a narradora metaforiza seu amor pela língua se apropriando de um símbolo cultural que representa o amor entre duas pessoas. Ao fazer isso, personifica a língua, atribuindo-lhe características humanas.

Figura 18. Amor.
Figura 19. Alegria.
Figura 20. Enfado.
Figura 21. Sisudez.

Os processos afetivos podem ser mentais ou comportamentais, mas é interessante observar que na Figura 10, temos uma representação comportamental −o homem chorando− que, no entanto, é utilizado para representar um processo mental, o desapontamento. O choro, efeito do desapontamento, funciona como metonímia que nos leva à cena narrada no texto escrito, apesar de não haver nenhuma referência a choro no texto verbal. Poderíamos interpretar o choro como uma metonímia de efeito pela causa, ou ainda como metáfora de desapontamento. O que nos permite integrar essas cenas são os mecanismos de integração conceitual, pois vários elementos e relações são ativados ao mesmo tempo e integrados em uma única cena.

Assim, podemos entender que as imagens são usadas de forma metonímica e metafórica e não simplesmente como recursos para traduzir visualmente o que o texto escrito registra. Para reforçar esse argumento, apresento um último exemplo com a Figura 22, onde uma narradora descreve sua reação ao sentir uma grande dificuldade para se comunicar em inglês quando viajou por alguns países da Europa. A inserção da imagem do quadro O Grito5 metaforiza seu pavor e sua angústia em decorrência da falta de comunicação. Esse processo afetivo é hiperbolizado pelo grito de terror acionado pelo hiperlink agregado à expressão escrita do grito "AAAhhhhhhhh!!!!!"

Figura 22. O grito.

Os recursos visuais das Figuras 10 e 22 produzem sentido pelo mecanismo da procedência, pois são tomados de outros contextos para produzir sentido em novo contexto. É possível afirmar, também, que as representações afetivas nas imagens ativam integrações conceituações que produzem efeito de sentido por meio de processos metafóricos. O choro metaforiza o desapontamento e a frustração. O grito em forma de imagem e som metaforiza o medo, a angústia, o desespero, a impotência e a insegurança.

As imagens, assim como o texto escrito, funcionam também como comentários modalizadores, como adjuntos. Exemplos desse efeito modalizador são encontrados nas fontes utilizadas como nos Excertos (1) e (2):

(1) I met very nice people from all over the world and most important: I HAD TO SPEAK!!! Anyway, I passed difficult moments in the beginning, but I got improving each day.

O texto do Excerto (1) foi escrito em azul e a expressão "I had to speak" em tom de rosa. Ao utilizar letras maiúsculas em outra cor para a proposição "I had to speak", diferenciando-a do restante do texto, a narradora modaliza a proposição, enfatizando-a, como se, no discurso oral, estivesse falando em um tom mais alto ou gritando. O mesmo acontece com a expressão "Oh my God", utilizada por outra narradora para mostrar sua alegria ao ser promovida de auxiliar de professora a professora. Além de usar letras maiúsculas, a narradora se valeu de um recurso do processador word chamado WordArt. Esse recurso permite a produção de formatos, cores e efeitos de sombreamento diversos.

(2) … I started working as her assistant. I would help her organize the paper work, receive phone calls, be responsible for her tiny library and its material. After some time working there, Nancy could notice my enthusiasm and commitment to my fist job and gave me a promotion: give extra classes for the students in need which they used to call CTI classes.

I could not believe again!!! I was going to teach!!! But how come? I was still a student and only 15. Anyway, I accepted the challenge and did the best I could.

Todos esses exemplos ilustram como os aspectos gráficos e as imagens contribuem para que nossos narradores materializem as experiências de aprendizagem vividas, incluindo as emoções associadas a esses eventos.

 

CONCLUSÃO

As narrativas multimídia ao fazerem uso de recursos semióticos diversos (imagem, texto, som, formatos e cores diferentes de fontes e de plano de fundo), frequentemente, por meio do recurso de significação por procedência, materializam, metafórica e metonimicamente, os processos de integração conceitual e expressam a percepção subjetiva dos narradores sobre seus processos de aprendizagem.

A escrita multimídia integra as metafunções ideacionais, interpessoais e textuais, apelando não apenas para o olhar, mas também para nossa a audição, construindo uma rede de sentidos fruto de integrações conceituais complexas. Essa nova forma de narrar aciona esquemas mentais que, em conjunto com a nova enunciação, projetam integrações conceituais complexas.

A análise desse gênero emergente apresenta evidências de que as imagens e sons não são meras ilustrações do texto escrito, assim como o texto escrito não é mera descrição das imagens ou dos sons. Essas várias formas de linguagem, em conjunto, formam um todo complexo de cuja interação emergem sentidos que estruturam narrativamente a experiência e influenciam o nosso olhar para o que é narrado.

Ao concluir este texto, não posso deixar de mencionar o papel das tecnologias digitais. Se a produção de textos multimídia era privilégio de profissionais especializados, agora, cada vez mais, passa a fazer parte, de forma mais intensa, das práticas sociais da linguagem de toda a sociedade. Esse processo enriquece a produção de sentido e amplia as formas de expressão. Se a interação humana é essencialmente multimodal, é natural que nos apropriemos dos recursos tecnológicos para materializarmos as representações de nossas experiências.

 

NOTAS

1 Essa e as demais traduções são de minha responsabilidade.

2 O hiperlink nos leva à página do Centro de Extensão da Faculdade de Letras da UFMG, disponível no link http://www.letras.ufmg.br/CENEX/

3 No entanto, eu decidi enfrentar o desafio de começar a estudar feito um louco para alcançar os outros alunos que tinham tido a oportunidade de começar seus estudos em escolas privadas desde sua tenra infância. Eu usei meus direitos de aluno carente e me matriculei no curso de inglês do CENEX2. Ao mesmo tempo, eu usei a Internet, filmes, canções, livros, e tudo mais que eu pude imaginar para melhorar minhas habilidades na língua inglesa. Surpreendentemente, fui capaz de continuar com meu curso de graduação, enquanto alguns de meus colegas –mesmo alguns que tinham estudado em cursos particulares– há muito já haviam desistido. (Minha tradução do trecho escrito).

4 Estou utilizando metáfora dentro da perspectiva cognitiva, entendida como uma forma de se ver, entender, experienciar uma coisa em termos de outra (Lakoff & Johnson, 1980).

5 Segundo a wikipedia, "O Grito (no original Skrik) é uma pintura do norueguês Edvard Munch, datada de 1893. A obra representa uma Figura andrógina num momento de profunda angústia e desespero existencial. O pano de fundo é a doca de Oslofjord (em Oslo) ao pôr-do-Sol".

 

REFERÊNCIAS BIBLIOGRÁFICAS

Fauconnier, G. & Turner, M. (2002). The way we think: Conceptual blending and the mind's hidden complexities. New York: Basic Books.        [ Links ]

Halliday, M. (1994). An introduction to functional grammar. London: Edward Arnold.        [ Links ]

Kress, G. (2003). Literacy in the new media age. New York: Routledge.        [ Links ]

Kress, G. & van Leeuwen, T. (2001). Multimodal discourse. London: Arnold.        [ Links ]

Kress, G. & van Leeuwen,T. (2006). Reading images: The grammar of the visual design. London: Routledge.         [ Links ]

Lakoff, G. & Johnson, M. (1980). Metaphors we live by. Chicago: The University of Chicago Press.        [ Links ]

Martin, J. & White, P. (2005). The language of evaluation: Appraisal in English. London: Palgrave/Macmillan.        [ Links ]

Paiva, V. & Nascimento, M. (2009). Hipertexto e complexidade. Linguagem em (Dis)curso, 9(3), 519-547.        [ Links ]

 


Correspondencia: Vera Menezes (vlmop@veramenezes.com). Programa de Pós-Graduação em Estudos Lingüísticos, Universidade Federal de Minas Gerais. Av. Antônio Carlos, 662, Pampulha, 30720-29, Belo Horizonte, Minas Gerais, Brasil.

Recibido: 20-XI-2009

Aceptado: 24-V-2010