Probleme multimodaler Transkodierung in Sprachlehr-CD-Roms und wie man sie l sen kann

1. Probleme multimodaler Transkodierung in Sprachlehr-CD-Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at

2. 1. Multimodalität: Text als Bild Modus = semiotischer Kanal, über den ein Inhalt transportiert wird Multimodalität = multi- / inter-semiotische Informationsdarstellung Bilder und Textverständnis Bilder als Lernhilfe

3. 1. Vokabellernen einst

4. und jetzt

5. 1. Lunch

6. 1. Liver

7. 1. Poultry

8. 1. Inhalt Einleitung Das Medium Sprachlehr-CD-Rom Warum Bilder ???(psycholinguistische Grundlagen) Typische multimodale Repräsentationsformen Rekodierungen Enkodierungen Schlussfolgerungen

9. 2. Das Medium Sprachlehr-CD-Rom

10. 2. Das Medium Sprachlehr-CD Text (gesprochen, geschrieben, monologisch, dialogisch, narrative, …) Bildmaterial (Fotos, Zeichnungen, Kartoons, skizzen, Graphiken) Ton (Musik, Stimme, Geräusche) Audio und Video Sequenzen Interaktive Übungen in allen 4 skills Eigene Sprachaufnahmen

11. 2. Produktentwicklung erste Produkte (1990er Jahre) Wer zuerst kommt, malt zuerst! keine moderne Spracherwerbstheorie veraltete Didaktik (pattern drills) keine Einbindung der Semiotik, Linguistik, Didaktik viel Informatik

12. 2. Neuere Produkte Schulsoftware: Friends / You & Me didaktisch stark verbessert(methodisch, kommunikativ) nach wie vor wenig Verbesserungen in Semiotik (Design, Kohäsion, Multimodalität)

13. 3. Warum Bilder? Psychologische Grundlagen

14. 3. Warum Bilder??? Psychologische Grundlagen Al-Seghayer (2001) Verknüpfen mehrerer Modi ? statt einem Reize viele Reiz Stimulation mehrerer Hirnareale spezifischere und breiter gestreute kognitive Verarbeitung referentielle Verknüpfung von vielen mentalen Repräsentationen

15. 3. Lernertypen Multimodale Lernmaterialen auditive Lerner visuelle Lerner abstrakt verbale Lerner kommunikative Lerner motorische (haptische) Lerner

16. 3. explizites und implizites Lernen kontroversielle Debatte sowohl explizite als auch implizite Lernstrategien (Wood 2001) verschiedene Repräsentationsartenverschiedene Kontexte

17. 4. Multimodale Kombinationen Rekodierungen Enkodierungen

18. 4. Typische multimodale Kombinationen: Rekodierungen / Enkodierungen 1. Rekodierungen (explizit) 1. Wörter + Bilder (Fotos / Icons) 2. Wortfelder + Icons (picture dictionaries) 2. Enkodierungen (implizit) 1. Phrasen / Sätze + Cartoons 2. Dialoge + Foto-stories 3. Wortfelder + Film

19. 4.1.1. Rekodierung: Wort als Bild Holiday Language Trainer – Englisch; Grosser CD-ROM Sprachtrainer Englisch. Tandem Verlag Multimedia Line (1995)

20. 4.1.1. Discourse initiating unit (Halliday) Restaurant

21. 4.1.1. Rindfleisch – Beef

22. 4.1.1. Schweinefleisch – Pork

23. 4.1.1. Lammfleisch – Lamb

24. 4.1.1. Probleme 1. Expertenwissen 2. Semantische Relationen: Hyponymie Hyperonym: FleischMesonym: Lammfleisch (Fleisch + Lamm)Hyponym: Lammkotelette  (Fleisch + Lamm + Kotelette) Anzahl distinktiver Merkmale

25. 4.1.1. Lammfleisch – Lamb

26. 4.1.1. Ikonisierung Zuordnung eindeutiger Denotationen Icons vs. Fotos Hyperonym: Icons = möglichst allgemein  (wenig distinktive Merkmale) Mesonym: Kombination von Icons  Hyponym: Foto = möglichst genau (viele distinktive Merkmale)

27. 4.1.1. The New You & Me 4Unit 4 – You are what you eat,

28. 4.1.1. Lammkotelettes –  Lamb chops

29. 4.1.1. Hund

30. 4.1.1. Schäfer

31. 4.1.1. Denotation / Konnotation Ein Bild sagt mehr als 1000 Worte Barthes (1977) "all images are polysemous", "a 'floating chain' of signifieds"

32. 4.1.1. Schäfer

33. 4.1.1. Abendessen / dinner

34. 4.1.1. Kulturspezifische Unterschiede Abendessen – Dinner keine kulturelle Übereinstimmung A/D: großes oder kleines Mahl am Abend UK: großes Mahl am Abend außer sonntags

35. 4.1.1. Konnotation  "eine Mixtur von Konzepten" van Leeuwen (2005: 38) "connotation … mixture of concepts""culturally shared associations which cling to the represented people, places, things" Abendessen / dinnerbildliche Darstellung der identischen Assoziationen ? Erzeugen äquivalente begriffliche  Denotation

36. 4.1.1. Abendessen / dinner

37. 4.1.1. Ikonisierung

38. 4.1.2. Rekodierung:  Wortfelder als Icons Picture dictionaries The New You & ME 1Unit 15: breakfast explizites Lernen: Vokabeltraining

44. Friends 1, Unit 5  Picture Dictionary – Going shopping (sic)Übung – Favourite foods Vocabulary test

49. 4.2.1. Enkodierung: Phrasen/Sätze als Cartoons Phrasen / Sätze als Cartoons neues in bereits bekannte Schemas integrieren (Wood 2001) Informationsfluss: Given – New(Halliday; Kress & van Leeuwen)

50. 4.2.1. Discourse initiating unit (Halliday) Restaurant

51. 4.2.1. Could we have a table in the non-smoking area?

52. 4.2.1. Could we have a table in the smoking area?

53. 4.2.1. Visualisierbarkeit ? Kontext (Given) gut visualisierbar neue Information: oft schwer visualisierbarnon-smoking area vs. non-smoking areaDo you have any low fat dishes?Do you have any low cholesterol dishes?

54. 4.2.1. I'd like … I'd like something to eat. I'd like some soup. I'd like fish. I'd like white wine. Do you have any low fat dishes?

56. 4.2.1. Have you got fish?  I'll take the fish? I'd like to have fish.

57. 4.2.1. Have you got spring rolls?  I'll take the spring rolls? I'd like to have spring rolls.

58. 4.2.1. Do you take credit cards?

59. 4.2.1. Vektoren  (Kress & van Leeuwen 1996) Vektoren = Verben dynamische Bewegung 2 Vektoren ? dynamisches Verb take the credit card Blicke: 2 Vektoren  biete an: do you take will haben: I will take

60. 4.2.1. Do you take credit cards?

61. 4.2.2. Enkodierung:  Dialoge als Photo-stories implizites Lernen Lernen im Kontext fortgeschritten eingebettet in Schema (Schank & Abelson 1977) strikte generische StrukturLanguage of service encounters (Hasan 1985; Ventola 1987)

62. 4.2.2. Service encounters Digital Publishing (1999): English: Kommunikationstrainer 3+.The market – buying gorceries

63. 4.2.2. Sale request I'd like one garlic bulb, two lemons and three green peppers, please.

64. 4.2.2. Sale compliance  Anything else?

65. 4.2.2. Sale request Yes, and some grapes please, about three bunches.

66. 4.2.3. Enkodierung:  Dialoge als Film implizites Lernen Verstärken expliziter gelehrter Inhalte andere Repräsentationsformen anderer Kontext andere Lernertypen

67. 4.2.3. The New You & Me 1 (2004)

68. 4.2.3. Probleme zentrale Darstellung / Sichtbarmachung der neuen Inhalte Visualisierung der Begriffe durch verschiedene Referenten

69. 5. Schlussfolgerungen Visualisierungen Didaktik

70. 5. Visualisierungen nicht jeder Text lässt sich visualisieren übergeordnete Begriffe (Hyperonyme): ikonisieren untergeordnete Begriffe (Hyponyme): fotografieren komplexe (konnotationsbeladene) Inhalte: wesentliche distinktive Merkmale möglichst kulturneutral dinner ? Uhrzeit

71. 5. Visualisierungen Abstrakte Inhaltegrundsätzlich nicht rekodierbar anything else manchmal erschließbar aus Kontex (Given) strikter generischer Struktur

72. 5. Didaktik Begriffe mehrfach präsentieren unterschiedliche Visualisierungen: Icons, Fotos, Zeichnungen, Film verschiedene Kontexte: Dictionary, Frühstück, Supermarkt neue Begriffe in bestehende Schemas und Kontexte integrieren explizites und implizites Lernen verbinden

73. Danke!

74. References Al-Seghayer, Khalid (2001): The Effect of Multimedia Annotation Modes on L2 Vocabulary Acquisition: a Comparative Study. In: Language Learning & Technology 5 (1), 202-232. Baldry, Anthony & Thibault, Paul (2006): Multimodal Transcription and Text Analysis. London: Equinox. Barthes, Roland (1977): Rhetoric of the Image. In: Heath, S. (ed.): Roland Barthes: Image, Music, Text. London: Fontana Press, 32-51. Halliday, Michael A. K. (1994): An Introduction to Functional Grammar. London: Arnold. Hasan, Ruqaiya. (1985): The structure of a text. In Halliday, M.A.K./Hasan, R. (eds): Language, Context, and Text: Aspects of Language in a Social-Semiotic Perspective. Victoria: Deakin University, 52-69. Kaltenbacher, Martin (2003): Language learning via CD-Rom – old wine in new bottles. In: Newby, D. (ed.): Mediating between Theory and Practice in the Context of Different Learning Cultures and Languages. Strasbourg: Council of Europe Publishing, 171-175. Kaltenbacher, Martin (2004): Multimodality in language teaching CD-Roms. In: Ventola, E./Charles, C./Kaltenbacher, M. (eds.): Perspectives on Multimodality. Amsterdam: John Benjamins, 119-136. Kress, Gunther/van Leeuwen, Theo (2006): Reading Images. The Grammar of Visual Design. London/New York: Routledge. Van Leeuwen, Theo (2005): Introducing Social Semiotics. London: Routledge. Ventola, Eija (1987): The Structure of Social Interaction: A Systemic Approach to the Semiotics of Service Encounters. London: Pinter Publishers. Wood, Julie (2001): Can Software Support Children's Vocabulary Development? In: Language Learning & Technology 5 (1), 166-201.

75. CD-Roms Desktop Systems Ltd., Kiev, Ukraine (1995): Holiday Language Trainer – Englisch; Grosser CD-ROM Sprachtrainer Englisch. Königswinter: Tandem Verlag Multimedia Line. Digital Publishing (1999): English: Kommunikationstrainer 3+. München: Digital Publishing. Gerngroß, Günter et al. (1998): The New You & Me 1 – CD-Rom. München: Langenscheidt-Longman.