Text-image relations in digital discourse
DOI:
https://doi.org/10.14672/2.2020.1702Abstract
Many digital genres characteristically combine different semiotic modes in order to fulfil a common communicative goal, thus shaping coherent multimodal texts. This article contributes to research on multimodal cohesion by means of an adaptation of discourse relations taxonomies, which allows us to study the interactions between verbal and visual modes. The proposal is exemplified through the analysis of digital texts, with a special emphasis on memes, since the high level of intermodal integration in this genre can test the strength of the analysis.
Downloads
References
Asher, Nicholas; Lascarides, Alex (2003), Logics of conversation, Cambridge, Cambridge University Press.
Bañón Hernández, Antonio (2010), “Comunicación destructiva y agresividad verbal en la Red”, Discurso & Sociedad, 4/4: 649-73.
Barthes, Roland (1977), Image-music-text, Glasgow, Fontana.
Bateman, John (2008), Multimodality and Genre, London, Macmillan.
Bateman, John (2014), Text and image: A critical introduction to the visual/verbal divide, London, Routledge.
Bateman, John; Delin, Judy; Henschel Renate (2007), “Mapping the multimodal genres of traditional and electronic newspapers”, New directions in the analysis of multimodal discourse, eds. Terry Royce; Wendy Bowcher. London, Lawrence Erlbaum: 147-72.
Bateman, John; Wildfeuer, Janina; Hiippala, Tuomo (2017), Multimodality, Berlin, De Gruyter Mouton.
Benamara, Farah; Taboada, Maite (2015), “Mapping different rhetorical relation annotations: A proposal”, Proceedings of the Fourth Joint Conference on Lexical and Computational Semantics, eds. Martha Palmer; Gemma Boleda; Paolo Rosso. Denver, Association for Computational Linguistics: 147-52.
Bott, Oliver; Solstad, Torgrim (2014), “From verbs to discourse: A novel account of implicit causality”, Psycholinguistic approaches to meaning and understanding across languages, eds. Barbara Hemforth; Barbara Mertins; Catherine Fabricius-Hansen. New York, Springer: 213-51.
Briz Gómez, Antonio (2014), “Hablar electrónicamente por escrito”, Chimera: Romance Corpora and Linguistic Studies, 1: 77-89.
Calvi, Maria Vittoria; Mapelli, Giovanna, eds. (2011), La lengua del turismo: Géneros discursivos y terminología, Bern, Peter Lang.
Cantamutto, Lucía; Vela Delfa, Cristina (2019), “Emojis frecuentes en las interacciones por WhatsApp”, Círculo de Lingüistica Aplicada a la Comunicación, 77: 171-87.
Carlson, Lynn; Marcu, Daniel (2001), Discourse Tagging Manual, ISI Tech Report ISI-TR-545.
Cestero Mancera, Ana María (2017), “La comunicación no verbal”, Manual del profesor de ELE, eds. Ana María Cestero Mancera; Inmaculada Penadés Martínez. Alcalá de Henares, Servicio de Publicaciones de la Universidad de Alcalá de Henares: 1051-122.
Cestero Mancera, Ana María (2020), “La comunicación no verbal”, Guía práctica de pragmática del español, eds. María Elena Placencia; Xose Padilla García. London, Routledge: 206-16.
Cohn, Neil (2013), “Beyond word balloons and thought bubbles: The integration of text and image”, Semiotica, 197: 35-63.
Cortés Rodríguez, Luis; Hidalgo Downing, Raquel (2015), “Indicadores de cambio temático en el discurso parlamentario”, Revista Signos, 48/89: 279-306.
Da Cunha, Iria; Torres-Moreno, Juan Manuel; Sierra, Gerardo (2011), “On the development of the RST Spanish Treebank”, Proceedings of the 5th Linguistic Annotation Workshop, eds. Nancy Ide; Adam Meyers; Sameer Pradhan; Katrin Tomanek. Portland, LAW: 1-10.
Das, Debopam; Taboada, Maite (2018), “Signalling of coherence relations in discourse”, Discourse Processes, 55/8: 743-70.
Ducrot, Oswald (1984), El decir y lo dicho, Barcelona, Paidós.
Duque, Eladio (2014), “Signaling Causal Coherence Relations”, Discourse Studies, 16/1: 25-46.
Duque, Eladio (2016), Las Relaciones de Discurso, Madrid, Arco/Libros.
Duque, Eladio (2020), “Neuter pronoun ello and discourse verbs in Spanish”, Journal of Pragmatics, 155: 273-85.
Escandell Montiel, Daniel (2014), Escrituras para el siglo XXI: literatura y blogosfera, Madrid/Frankfurt, Iberoamericana/Vervuert.
Forceville, Charles; Urios-Aparisi, Eduardo, eds. (2009), Multimodal metaphor, Berlin, Walter de Gruyter.
Fuentes Rodríguez, Catalina (2016), “La gramática discursiva: niveles, unidades y planos de análisis”, Cuadernos AISPI, 2: 15-36.
Gallardo-Paúls, Beatriz; Enguix Oliver, Salvador (2016), Pseudopolítica: el discurso político en las redes sociales, Valencia, Universitat de València.
Gallardo-Paúls, Beatriz; Enguix Oliver, Salvador; Oleaque Moreno, Joan (2018): “Estilos de gestión de los perfiles políticos en Twitter: imagen y texto en las cuentas de los partidos en la campaña del 26J”, Revista de Investigación Lingüística, 21: 15-51.
Garrido Medina, Joaquín (2008), “Imagen y palabra en la construcción de discurso del texto publicitario”, Español Actual, 86: 81-103.
Garrido Medina, Joaquín (2014), “Unidades intermedias en la construcción del discurso”, Estudios de Lingüística del Español, 35: 94-111.
Garrido Medina, Joaquín (2017), “Segmentación del discurso e interacción”, Círculo de Lingüística Aplicada a la Comunicación, 71: 36-62.
Garrido Medina, Joaquín (2019), “Estructura del discurso”, Manual de lingüística española, ed. Emilio Ridruejo. Berlin, Walter de Gruyter: 353-78.
Garrido Medina, Joaquín; Rodríguez Ramalle, Teresa (2015), “Constituyentes y relaciones en la oración y en el discurso”, Círculo de Lingüística Aplicada a la Comunicación, 62: 199-225.
Girón Alconchel, José Luis (2016), “La segmentación lingüística del discurso en la prosa de la segunda mitad del siglo XVII”, En la estela del Quijote, eds. Marta Fernández- Alcaide; Elena Leal Abad; Álvaro Octavio de Toledo y Huerta. Frankfurt, Peter Lang: 215-32.
Girón Alconchel, José Luis (2018), “La creación de gramática y de texto: del enunciado a la unidad discursiva en el Quijote”, Procesos de textualización y gramaticalización en la historia del español, eds. José Luis Girón Alconchel; Francisco Javier Herrero Ruiz de Loizaga; Daniel Sáez Rivera. Madrid/Frankfurt, Iberoamericana/Vervuert: 311-44.
Grande Alija, Francisco (2017), “Coordinación de enunciados de distinta modalidad”, Círculo de Lingüística Aplicada a la Comunicación, 71: 115-40.
Gutiérrez-Ordóñez, Salvador (2018), “Sobre la sintaxis de enunciados en el período”, Círculo de Lingüística Aplicada a la Comunicación, 75: 3-18.
Helfrich, Uta (2018), “I Need Spain: New Ways of Representing the Tourist Experience”, Strategies of Adaptation in Tourist Communication, ed. Gudrun Held. Leiden, Brill: 73-94.
Helfrich, Uta; Mancera Rueda, Ana (2016), “No nos vamos, nos echan: Multimodal Framing of Spanish Youth Unemployment and Labour Migration in Social Media”, Public and Political Discourses of Migration, eds. Amanda Haynes; Martin Power; Eoin Devereux; Aileen Dillane; James Carr. London, Rowman: 207-23.
Helfrich, Uta; Pano Alamán, Ana eds. (2018), “La atenuación lingüística en los discursos digitales”. Círculo de Lingüística Aplicada a la Comunicación, 73: 3-124.
Hiippala, Tuomo (2017), “The Multimodality of Digital Longform Journalism”, Digital Journalism, 5/4: 420-42.
Hoek, Jek; Zufferey, Sandrine; Evers-Vermeul, Jacqueline; Sanders, Ted (2018), “The linguistic marking of coherence relations”, Pragmatics and Cognition, 25/2: 276-309.
Ibáñez, Romualdo; Moncada, Fernando; Cárcamo, Benjamín (2019), “Coherence Relations in Primary School Textbooks”, Discourse Processes, 56/8: 764-85.
Iruskieta, Mikel; Da Cunha, Iria; Taboada, Maite (2015), “A qualitative comparison method for rhetorical structures: identifying different discourse structures in multilingual corpora”, Language resources and evaluation, 49/2: 263-309.
Jewitt, Carey (2013), “Multimodal methods for researching digital technologies”, SAGE Handbook of Digital Technology research, eds. Sara Price; Carey Jewitt; Barry Brown. Los Ángeles, Sage: 250-65.
Jewitt, Carey (2016), “An Introduction to Multimodality”, The Routledge Handbook of Multimodal Analysis, ed. Carey Jewitt. London, Routledge, 15-30.
Kehler, Andrew (2002), Coherence, Reference, and the Theory of Grammar, Stanford, CSLI Publications.
Kress, Gunther; Van Leeuwen, Theo (2001), Multimodal discourse, London, Edward Arnold.
Liu, Yiu; O’Halloran, Kay L. (2009), “Intersemiotic texture: Analyzing cohesive devices between language and images”, Social Semiotics, 19/4: 367-88.
López Rabadán, Pablo; López-Meri, Amparo; Doménech Fabregat, Hugo (2016): “La imagen política en Twitter. Usos y estrategias de los partidos políticos españoles”, Index.comunicación, 6: 165-95.
Louwerse, Max (2001) “An analytic and cognitive parametrization of coherence relations”, Cognitive Linguistics, 12/3: 291-316.
Mancera Rueda, Ana (2011), ¿Cómo se “habla” en los cibermedios? El español coloquial en el periodismo digital, Bern, Peter Lang.
Mancera Rueda, Ana, (2020), “Estudio exploratorio de las estrategias de encuadre discursivo en memes humorísticos publicados en Twitter durante las elecciones generales de noviembre de 2019 celebradas en España”, Dígitos: Revista de
Comunicación Digital, 6: 197-217.
Mancera Rueda, Ana; Pano Alamán, Ana (2013a), El español coloquial en las redes sociales, Madrid, Arco/Libros.
Mancera Rueda, Ana; Pano Alamán, Ana (2013b), El discurso político en Twitter, Barcelona, Anthropos Editorial.
Marsh, Emily; White, Marilyn (2003), “A taxonomy of relationships between images and text”, Journal of Documentation, 59: 647-72.
Martinec, Radan; Salway, Andrew (2005), “A system for image–text relations in new (and old) media”, Visual communication, 4/3: 337-71.
Martínez-Caro, Elena (2014), “El párrafo como unidad discursiva”, Estudios de Lingüística del Español, 35: 189-213.
Meza, Paulina; Da Cunha, Iria (2019), “Comunicación del conocimiento propio y relaciones discursivas en el género tesis”, Sintagma, 31: 103-30.
Molina, Marco, Vásquez-Rocca, Liliana; Parodi, Giovanni (2018), “Relación palabra-grafico en un género profesional de la economía”, Círculo de Lingüística Aplicada a la Comunicación, 76: 153-79.
Nikolajeva, Maria; Scott, Carole (2001), How Picturebooks Work, London, Routledge.
O’Halloran, Kay, ed. (2004), Multimodal discourse analysis: Systemic functional perspectives, London, Continuum.
Padilla García, Xose (2020), “Humor y comunicación multimodal”, Guía práctica de pragmática del español, eds. María Elena Placencia; Xose Padilla García. London,
Routledge: 149-63.
Pano Alamán, Ana (2008), Dialogar en la Red: la lengua española en chats, e-mails, foros y blogs, Bern, Peter Lang.
Parodi, Giovanni; Burdiles, Gina (2016), “Encapsulación y tipos de coherencia referencial y relacional”, Onomázein, 33: 107-29.
Parodi, Giovanni; Julio, Cristóbal (2017), “No solo existen palabras en los textos escritos: algunas teorías y modelos de comprensión de textos multimodales o multisemióticos”, Investigaciones Sobre Lectura, 8: 27-48.
Polanco Martínez, Fernando; Yúfera Gómez, Irene (2015), “Aspectos de integración multimodal en la prensa digital de tema jurídico y tema científico”, Círculo de Lingüística Aplicada a la Comunicación, 64: 32-57.
Pons Bordería, Salvador ed. (2014), Discourse Segmentation in Romance Languages, Amsterdam, John Benjamins.
Rodríguez-Rosique, Susana; Provencio Garrigós, Herminia (2012), “Gigantes contra molinos: Una explicación pragmática de la ironía y el humor en publicidad”, Revista de investigación lingüística, 15: 251-67.
Royce, Terry (2007), “Intersemiotic complementarity”, New directions in the analysis of multimodal discourse, eds. Terry Royce; Wendy Bowcher. London, Lawrence Erlbaum: 63-109.
Sampietro, Agnese (2020), “Emoticonos y emojis: su relación con la cortesía en la comunicación digital”, Guía práctica de pragmática del español, eds. María Elena Placencia; Xose Padilla García. London, Routledge: 136-46.
Sanders, Ted; Spooren, Wilbert; Noordman, Leo (1992), “Toward a taxonomy of coherence relations”, Discourse Processes, 15/1: 1-35.
Sanders, Ted; Spooren, Wilbert (2009), “The cognition of discourse coherence”, Discourse, of course, ed. Jan Renkema. Amsterdam, John Benjamins: 197-212.
Sanders, Ted; Demberg, Vera; Hoek, Jet; Scholman, Merel; Asr, Fatemeh; Zufferey, Sandrine; Evers-Vermeul, Jacquerine (2018), “Unifying dimensions in discourse relations. How various annotation frameworks are related”, Corpus Linguistics and Linguistic Theory, 14: 1-71.
Santana Covarrubias, Andrea; Spooren, Wilbert; Nieuwenhuijsen, Diane; Sanders, Ted (2018), “Subjectivity in Spanish Discourse: Explicit and Implicit Causal Relations in Different Contexts”, Dialogue and Discourse, 9/1: 163-91.
Schriver, Karen (1997), Dynamics in document design, New York, John Wiley.
Scott, Kate (2015), “The pragmatics of hashtags: Inference and conversational style on Twitter”, Journal of Pragmatics, 81: 8-20.
Taboada, Maite (2004), Building coherence and cohesion: task-oriented dialogue in English and Spanish, Philadelphia, John Benjamin.
Taboada, Maite, (2019), “The space of coherence relations and their signalling in discourse”, Language, Context and Text, 1/2: 205-33.
Taboada, Maite; Mann, William (2006), “Rhetorical structure theory: Looking back and moving ahead”, Discourse studies, 8/3: 423-59.
Taboada, Maite; Habel, Christopher (2013), “Rhetorical relations in multimodal documents”, Discourse Studies, 15/1: 65-89.
Taboada, Maite (2019), “Semiosis entre palabras e imágenes en Twitter”, Galáxia, 42: 40-56.
Taboada, Maite; Parodi, Giovanni (2015), “Relaciones retóricas y multimodalidad en el género Informe de Política Monetaria del discurso académico de la Economía”, Calidoscópio, 13/3: 388-405.
Tordera Yllescas, Juan Carlos (2019), “Las relaciones de interdependencia y la anáfora de sentido”, La construcción del discurso en español y catalán, eds. Ferrán Robles i Sabater; Pau Bertomeu-Pi. Hamburg, Buske: 133-42.
Vera-Luján, Agustín (2012), “El párrafo como unidad discursiva”, EULA, 26: 343-58.
Vigara Tauste, Ana María; Hernández Toribio, María Isabel (2011), “Ciber(des) cortesía en los foros de opinión de la prensa escrita”, EULA, 25: 353-79.
Webber, Bonnie; Prasad, Rashmi; Lee, Alan; Joshi, Aravind,(2019), The Penn Discourse Treebank 3.0 Annotation Manual, Philadelphia, University of Pennsylvania.
Wilson, Deirdre (2006), “The pragmatics of verbal irony: Echo or pretence?”, Lingua, 116/10: 1722-43.
Yus Ramos, Francisco (2011), Cyberpragmatics. Internet-mediated communication in context, Amsterdam, John Benjamins.
Yus Ramos, Francisco, (2019), “Multimodality in Memes: A Cyberpragmatic Approach”, Analyzing Digital Discourse, eds. Patricia Bou-Franch; Pilar Garcés-Conejos Blitvich. London, Palgrave Macmillan: 105-31.
Downloads
Published
Issue
Section
License
Copyright (c) 2020 Eladio Duque Gómez
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
La revista está publicada bajo la licencia Creative Commons CC-BY.
