Perspectivas en el análisis de la multimodalidad: desde los inicios al estado del arte

Martín Kaltenbacher

Resumen


Este artículo proporciona una amplia visión histórica desde los inicios del análisis multimodal hasta los candentes temas actuales y las perspectivas futuras en el estudio de la multimodalidad. A diferencia de otras publicaciones, se considera que el comienzo histórico de las investigaciones sobre multimodalidad fue el Tratado sobre Laoconte de Lessing (1766), de modo que lo que actualmente se da es el resurgimiento de un debate que ya había tenido lugar, parcialmente, entre los clasicistas alemanes. Un tema que se discute fervientemente en la actualidad es cómo los modos se relacionan con otros modos en forma de sub-modos y dentro de los diferentes medios. El potencial de significación de un modo cambia de acuerdo con la preponderancia del modo dentro del constructo semiótico así como también a través de la pérdida o adquisición del significado meta-funcional en el desarrollo tecnológico de los medios masivos. Un ejemplo de esto es la tipografía. Se presentan nuevos temas y tendencias en el campo actual de la investigación de la multimodalidad y los últimos descubrimientos en una gama de estudios en áreas de investigación aplicada, por ejemplo se presentan y discuten trabajos sobre traducción en hospitales, diseño de hipertextos, diseño de museos, subtitulado de películas y traducción de tiras cómicas. Para terminar, se esbozan las futuras perspectivas sobre cómo llevar la investigación de la multimodalidad a una base más empírica, por ejemplo a través del análisis del corpus multimodal.


Palabras clave


multimodalidad. semiótica. tipografía. síntesis y automatismo del habla; medicina; hipertexto; aprendizaje; traducción; análisis de corpus.

Texto completo:

PDF

Referencias


ALIAS, S. (2004). ‘‘A semiotic study of Singapore’s Orchard and Marriott Hotel’’,en K. O’Halloran (Ed.), Multimodal discourse analysis: Systemic functionalperspectives, pp. 55-79. Londres: Continuum.

BALDRY, A. (Ed.) (2000a). Multimodality and multimediality in the distant learningage. Compopasso: Palladino Editore.

(1)

BALDRY, A. (2000b). ‘‘English in a visual society: Comparative mediality’’. en A.Baldry (Ed.), Multimodality and multimediality in the distant learning age,pp. 41-89. Campopasso: Palladino Editore.

BALDRY, A. (2004). ‘Phase and transition, type and instance: Patterns in mediatexts as seen through a multimodal concordancer’, en K. O’Halloran (Ed.),Multimodal discourse analysis: Systemic functional perspectives, pp. 83-108.Londres: Continuum.

BALDRY, A. & Thibault, P. (2004). Multimodal transcription and text analysis.Londres: Equinox Publishing.

BATEMAN, J., DELIN, J. & HENSCHEL, R. (en prensa). ‘‘Multimodality andempiricism: Preparing for a corpus-based approach to the study ofmultimodal meaning-making’’, en E. Ventola, C. Charles, & M.Kaltenbacher (Eds.), Perspectives on multimodality, pp. 65-88. Amsterdam& Philadelphia: John Benjamins.

BESKOW, J. (2003). Talking heads - Models and applications for multimodal speechsysthesis. Tesis doctoral no publicada. Department of Speech, Music andHearing, KTH, Stockholm. http://www.speech.kth.se/~berkow/thesis.

BÜHRIG, K. (en prensa). ‘On the «multimodality» of interpreting in medicalbriefings for informed consent: using diagrams to impart knowledge’ enE. Ventola, C. Charles, & M. Kaltenbacher (Eds.), Perspectives onmultimodality, pp. 227-214. Amesterdam & Philadelphia: John Benjamins.

CLARK, R.C. & MAYER, R. (2003). E-learning and the science of instruction. Provenguidelines for consumers and designers of multimedia learning. San Francisco,CA: Jossey-Bass/Pfeiffer.

COLBY, J. (2002). ‘‘Multimodality: The new wave of mobile interaction’’, enSpeech Technology Magazine, November/December 2002. http://www.speechtechmag.com.

DAVIS, G. & MASON, P. (2004). ‘‘Trying on voices: Using questions to establishauthority, identity, and recipient design in electronic discourse’’, en P. Levine& R. Scollon (Eds.), Discourse & technology. Multimodal discourse analysis,pp. 47-58. Georgetown, Washington, D.C.: Georgetown University Press.

DE BEAUGRANDE, R.A. & DRESLER W.U. (1981). Einführung in die Textlinguistik.Tübingen: Niemeyer.

DE JONG, M. & VAN DER GEEST, T. (2000). ‘‘Characterizing web heuristics’’, enTechnical Communications 3, 311-324.

DE SAINT-GEORGES, I. (2004). ‘‘Materiality in discourse: The influence of spaceand layout in meaning making’’, en P. Levine & R. Scollon (Eds.), Discourse& technology. Multimodal discourse analysis, pp. 71-87. Georgetown,Washington, D.C.: Georgetown University Press.

ECO,U. (1980). Il nome della rosa. Milano: Bompiani.ECO, U. (1983). The name of the rose. New York: Harcourt.Echkrammer, E.M. (en prensa). ‘‘Drawing on theories of inter-semiotic layeringto analyse multimodality in medical self-counselling texts and hypertexts’’,

Martin Kaltenbacher: Perspectivas en el análisis de la multimodalidad: desde los inicios al estado del arteen E. Ventola, C. Charles, & M. Kaltenbacher (Eds.), Perspectives onMultimodality, pp. 211-226. Amsterdam & Philadelphia: John Benjamins.

EVERTS, E. (2004). ‘Modalities of turn-taking in blind/sighted interaction: betterto be seen and not heard?’, en P. Levine & R. Scollon (Eds.), Discourse &technology. Multimodal discourse analysis, pp.128-145. Georgetown,Washington, D.C.: Georgetown University Press

.FARKAS, D. & J. FARKAS (2000). ‘‘Guidelines for designing web navigation’’, enTechnical Communication, 3, 341-358.

FILLIETTAZ, K. (2004). ‘‘The multimodal negotiation of service encounters’’, enP. Levine & R. Scollon (Eds.), Discourse & technology. Multimodal discourseanalysis, pp. 88-100. Georgetown, Washington, D.C.: GoergetownUniversity Press.

GOETHE, J. W. (1798/1998). ‘‘Über Laokoon’’, en F. Apel (Ed.), Goethe - ÄsthetischeSchriften 1771 - 1805, pp. 489-500. Frankfurt a. Main: Deutscher KlassikerVerlag

.HALLIDAY, M.A.K. (1961). ‘‘Categories of the theory of grammar’’, en Word, 17,3, 242-292.

HALLIDAY, M.A.K. (1975). Language as social semiotic: towards a generalsociolinguistic theory. Columbia: Hornbeam Press.

HALLIDAY, M.A.K. (1978). Language as social semiotic: The social interpretation oflanguage and meaning. London: Arnold.

HALLIDAY, M.A.K. & HASAN, R. (1976). Cohesion in English. London: Longman.

HODGE, R. & KRESS, G. (1988). Social semiotics. Cambridge: Polity Press.

HOFINGER, A., & VENTOLA, E. (en prensa). ‘‘Multimodality in operation: Languageand Picture in a Museum’’, en E. Ventola, C. Charles, & M. Kaltenbacher(Eds.), Perspectives on multimodality, pp. 193-2210. Amsterdam &Philadelphia: John Benjamins.

IEDEMA, R. (2003). ‘‘Multimodality, resemiotization: Extending the analysis ofdiscourse as multi-semiotic practice’’, en Visual Communication, 2, (1): 29-57.

JAKOVI-MIRWALD, C. (1997). Buchmalerei; ihre Terminologie in der Kunstgeschichte.Berlin: Reimer.

JEWITT, C. (2004). ‘‘Multimodality and new communication technologies’’, enP. Levine & R. Scollon (Eds.), Discrouse & technology. Multimodal discourseanalysis, pp. 184-195. Georgetown, Washington, D.C.: GeorgetownUniversity Press.

JOHNSTON, A. (2004). ‘‘Files, forms, and fonts: Mediational means and identitynegotiation in immigration interviews’’, en P. Levine & R. Scollon (Eds.),Discourse & technology. Multimodal discourse nalysis, pp. 116-127.Georgetown, Washington, D.C.: Georgetown University Press.

JONES, R. (2004). ‘‘The problem of context in computer-mediatedcommunication’’, en P. Levine & R. Scollon (Eds.), Discourse & technology.Multimodal discourse analysis, pp.20-23. Georgetown, Washington, D.C.:Georgetown University Press. 547 (1)

KAINDL, K. (en prensa). ‘‘Multimodality in the translation of humour in comics’’,en E. Ventola, C. Charles, & M. Kaltenbacher (Eds.), Perspectives onmultimodality, pp. 173-192. Amsterdam & Philadelphia: John Benjamins.

KALTENBACHER, M. 2003. ‘‘Language learning via CD-Rom - Old wine in newbottles’’ en D. Newby (Ed.), Mediating between theory and practice in thecontext of different learning cultures and languages, pp. 171-175. Strasbourg:Council of Europe Publishing.

KALTENBACHER, M. (en prensa). ‘‘Multimodality in language teaching CD-ROMs’’,en E. Ventola, C. Charles, & M. Kaltenbacher (Eds.), Perspectives onmultimodality, pp. 119-136. Amsterdam & Philadelphia: John Benjamins.

KENDON, A. (1990). Conducting interaction: Patterns of behavior in focussedencounters. Cambridge: Cambridge University Press.

KOK, A. (2004). ‘‘Multisemiotic mediation in hypertext’’, en K. O’Halloran (Ed),Multimodal discourse analysis: Systemic functional perspectives, pp. 131-159.London: Continuum.

KRESS, G., JEWITT, C., OGBORN, J. & TSATSARELIS, C. (2001). Multimodal teachingand learning. The rhetorics of the science classroom. London and New York:Continuum.

KRESS, G. & VAN LEEUWEN, T. (1990). Reading images. Geelong: DeakingUniversity Press.

KRESS, G. & VAN LEEUWEN, T. (1996). Reading images: The grammar of visualdesign. London: Routledge.

KRESS, G. & VAN LEEUWEN, T. (2001). Multimodal discourse. The modes andmedia of contemporary communication. London: Arnold.

KRESS, G. & VAN LEEUWEN, T. (2002). ‘‘Colour as a semiotic mode: Notes for agrammar of colour’’, en Visual Communication, 1, 3, pp. 343-368.LEE, J. (ED.) (1997). Intelligence and multimodality in multimedia interfaces:Research and applications. Menlo Park, CA: AAAI Press.

LEMKE, J. (2002). ‘‘Travels in hypermodality’’, en Visual Communication, 1 (3),pp. 299-325.LESSING. G.E. (1766/1990). ‘‘Laokoon: Oder über die Grenzan der Melerei undPoesie’’, en W. Barner (Ed,.), Gotthold Ephraim Lessing - Weke und Briefe,5/2, pp. 11-321. Frankfurt a. Main: Deutscher Klassiker Verlag.

LEVINE, P. & SCOLLON, R. (Eds.) (2004). Discourse & technology. Multimodaldiscourse analysis. Georgetown, Washington, D.C.: Georgetown UniversityPress.LIM, V.F. (en prensa). ‘‘Problematising ‘semiotic resource’’’, en E. Ventola, C.Charles, & M. Kaltenbacher (Eds.), Perspectives on multimodality, pp. 51-63. Amsterdam & Philadelphia: John Benjamins.

LUTZ, B. (1998). ‘‘Hypertext: das Medium und der Autor. Ein Erfhrungsbericht’’,en B. Ketteman, M. Stegu, & H. Stöckl (Eds.), Mediendiskurse. Verbal-Workshop Graz 1996, pp. 151-162. Frankfurt am Main: Peter Lang Verlag.

MAZAL, O. (1985). Das BUch der Initialen. Wein: Edition Tusch.

Martin Kaltenbacher: Perspectivas en el análisis de la multimodalidad: desde los inicios al estado del arte.

MCNEILL, D. (1992). Hand and mind. What gestures reveal about thought. Chicago:University of Chicago Press.

MCNEILL, D. (Ed.) (2001). Language and gesture. Cambridge: CambridgeUniversity Press.

MUNTIGL, P. (en prensa). ‘‘Modelling multiple semiotic systems’’, en E. Ventola,C. Charles, & M. Kaltenbacher (Eds.), Perspectives on multimodality, pp.31-59. Amsterdam & Philadelphia: John Benjamins.

MURRAY, G. & COSTANZO, T. (1999) ‘‘Usability and the web: An overview’’, enNetwork Notes 61. Information Technology Services. National Library ofCanada. http://www.collectionscanada.ca/9/1/pl-260-e.htm

lNIJHOLT, A. (2003). ‘‘Multimodality and ambient intelligence’’, en W.F.J.Verhaegh, E.H.L. Aarts & J. Korst (Eds.), Algorithms and ambientintelligence. Dordrecht et al.: Kluwer Academic Publishers. (Disponibleen: http//doc.utwente.nl/fid/1144).

O’HALLORAN, K. (2004a). ‘‘Visual semiosis in film’’, en K. O’Halloran (Eds.),Multimodal discourse analysis: Systemic functional perspectives, pp. 109-130.London: Continuum.

O’HALLORAN, K. (Ed.) (2004b). Multimodal discourse analysis: Systemic functionalperspectives. London: Coninuum.

O’TOOLE, M. (1994). ‘‘Opera Ludentes. The Sydney Opera House at work andplay’’, en K. O’Halloran (Ed.l), Multimodal discourse analysis: Systemicfunctional perspectives, pp. 11-27. London: Continuum.

PANG, A. (2004). ‘‘Making history in ‘From Colony to Nation’’: A multimodalanalysis of a museum exhibition in Singapore’, en K. O’Halloran (Ed.),Multimodal discourse analysis: Systemic functional perspectives, pp. 28-54.London: Continuum.

RAISAMO, R. (1999). Multimodal human-computer interaction: a constructive andempirical study. Tesis doctoral no publicada. Department of ComputerScience, University of Tampere. http://acta.uta.fi/pdf/951-44-4701-6.pdfRHEINDORF, M. (en prensa). ‘‘The multimple modes of dirty dancing: a culturalstudies approach to multimodal discourse analysis’’, en E. Ventola, C.Charles, & M. Kaltenbacher (Eds.). Amsterdam & Philadelphia: JohnBenjamins.

SAJOR, M. (2002). Multimodality: The coming revolution. Wireless Future Magazine,September/Octber 2002. http://www.wirelessfuturemagazine.com.

SCHILLER, F. (1793-1962). ‘‘Über das Pathetische’’, en B. von Wiese (Ed.), SchillersWerke, 20 - Philosophische Schriften, 1. Teil, pp. 196-221. Weimar: Böhlau.

SCOLLON, R. & LEVINE, P. (2004). ‘‘Multimodal discourse analysis as theconfluence of discourse and technology’’, en P. Levine & R. Scollon (Eds.),Discourse & technology. multimodal discourse analysis, pp. 1-6. Georgetown,Washington, D.C.: Georgetown University Press.

STÖCKL, H. (1998). ‘‘Bild-Text-Verknüpfung’’, en B. Kettemann, M. Stegu &H. Stöckl (Eds.), Mediendiskurse. Vergal-Workshop Graz 1996, pp. 73-92.Frankfurt am Main; Peter Lang Verlag. 567 (1)

STÖCKL, H. (en prensa). ‘‘In between modes: Language and image in printedmedia’’, en E. Ventola, C. Charles, & M. Kaltenbacher (Eds.), Perspectiveson multimodality, pp. 9-30. Amsterdam & Philadelphia: John Benjamins.

TAYLOR, C. (2000). ‘‘Text analysis and translation: An ineractive, self-accesscomputer application incorporating a functional approach’’, en A. Baldry(Ed.), Multimodality and multimediality in the distant learning age, pp. 295-309. Compopasso: Palladino Editore.

TAYLOR, C. (en prensa). ‘‘Multimodal text analysis and subtitling’’, en E. Ventola,C. Charles, & M. Kaltenbacher (Eds.), Perspectives on multimodality, pp.153-172. Amsterdam & Philadelphia: John Benjamins.

THIBAULT, P. (2000). ‘‘The multimodal transcription of a television advertisement:Theory and practice’’, en A. Baldry (Ed.), Multimodality and multimedialityin the distant learning age, pp. 311-385. Campopasso: Palladino Editore.

USABILITY.GOV (2004). Methods for designing usable web-sites. Collecting, writingand revising content. US Department of Health and Human Services (Ed.).http://www.usability.gov/methods

VAN DER GEEST, T. (2001). Web site design in communication design. Amsterdam:Benjamins.

VAN DER GEEST, T. & SPYRIDAKIS, J. (2000). ‘‘Developing heuristics for webcommunication’’, en Technical Communication 3, pp. 301-310.

VAN LEEUWEN, T. (1999). Speech, music, sound. London: Macmillan.

VAN LEEUWEN, T. (en prensa). Introducing social semiotics. An introductory textbook.London: Routledge.VENTOLA, E. & KALTENBACHER, M. (2003). ‘‘Lexicogrammar and languageteaching materials - A social semiotic and discourse perspective’’, en J.E.Joyce (Ed.), Grammar in the language classroom, pp. 158-201. Singapore:SEAMEO Regional Language Centre.

VENTOLA, E., CHARLES, C. & KALTENBACHER, M. (Eds.). (en prensa). Perspectiveson multimodality. Amsterdam: Benjamins.

VERGILIUS, P. M. (1988). ‘‘Aenis’’, en J. Götte (Ed.), München & Zürich: ArtemisVerlag.

WILLIAMS, T. (2000). ‘‘Guidelines for designing and evaluation the display ofinformation on the web’’ en Technical Communication, 3, pp. 383-396.

WINCKELMANN, J.J. (1755-1969). Gedanken über die Nachahmung der griechischenWerke in der Malerei und Bildhauerkunst. Stuttgart: Reclam.




DOI: http://dx.doi.org/10.35956/v.7.n1.2007.p.31-57



Copyright (c) 2016 Martín Kaltenbacher

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Revista Latinoamericana de Estudios del Discurso 
Una publicación de la Asociación Latinoamericana de Estudios del Discurso (ALED)
 
Revista Latino-Americana de Estudos do Discurso
Uma publicação da Associação Latino-Americana de Estudos do Discurso (ALED)
 
revista.raled@gmail.com  
 
e-ISSN2447-9543

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.