Multimodal discource

1. Multimodal discource Seminar i MSD-gruppa 2. sept. 2008

2. Multimodalitetsteori • Avdekker systemer for meningsskaping innen ulike modaliteter • bildets semiotikk • arkitekturens semiotikk • musikkens semiotikk • kroppsspråkets semiotikk • etc. • Avdekker mønstre for samspill mellom modalitetene i praktisk bruk

3. En modalitet kan ha ulike lag av mening – både konvensjonelt og sensorisk betinget • Tale • ord (konvensjon) • tone (konvensjon/sansning) • stemmekvalitet (sansopplevelse) • trygg og rolig eller høy og nervøs? • Noen lag skaper semantisk,rasjonell mening, andre skaper estetisk, emosjonell mening • De sansemessige meningslagene kan vanskelig oversettes til andre modaliteter!

4. Har alle modaliteter en grammatikk? • Modalitetenes grammatikk er utviklet i ulik grad • Alle modaliteter har konvensjoner for FRAMING • nærhet-avstand • likhet-kontrast • Framing skaper koherens gjennom fragmentering og integrasjon (definerer deler og helheter, atskillelse og sammenheng)

5. Fire dimensjoner ved (moderne) meningsskapende prosesser(tenk: kampanje for klimakvoter) • Diskurs – forstått som ”kunnskapsregime” • Hva vil jeg si? • Design – forstått som planleggingen av en kommunikasjonshandling • Hvordan vi jeg si det? • Produksjon – formulering og materiell realisering • Hvordan skal jeg lage teksten? • Distribusjon – bringe innholdet helt fram til mottaker • Hvordan få mottakeren til å motta min tekst og mitt budskap – og respondere?

6. NB! • Alle dimensjonene legger premisser for hva slags innhold som kan formidles. • I dag er produksjons- og distribusjonsdimensjonene blitt svært viktige faktorer i meningsskapingen (jf. MacLuhans ”The medium is the message”)

7. Atskilte eller integrerte prosesser? • I noen kommunikasjonspraksiser glir alle dimensjonene i ett – i andre er de tydelig atskilt (jf. samtale vs reklamefilm. Hva med hårfrisyre?)

8. Design • Oppdage og velge ut tilgjengelige modaliteter • Bestemme en funksjonell spesialisering for modalitetene • Organisere hver modalitet og sammensetningen av dem til en koherent helhet

9. Hva er tilgjengelige modaliteter i en klasseromssituasjon? Kan være tale skrift kropp-i-rom (?) Programvare (?) gester bilder objekter Klær (?) Oppdage og velge ut modaliteter

10. Lærerforberedelse som design • Hvilke modaliteter inkluderes i designen og hvilke aktiveres først i produksjonen? • I designen: skrift, planlagt tale, objekter • Først i produksjonen: kroppsbevegelser, gester, realisert tale

11. Fra intuisjon til design (fra ubevisst til bevisst bruk av modaliteter) • Grensen mellom design og produksjon vil variere ihht sjanger og situasjon • For at en modalitet skal kunne inkluderes i en design, må den være konvensjonalisert (ha en ”grammatikk”). • I hvilke domener inngår kroppsspråket i designen? • I teateret, i medietreningskurs for politikere, i opplæring av dobbeltagenter…

12. Hva betyr det at en modalitet konvensjonaliseres? • Gjennom langvarig bruk i en kultur blir uttrykkskraften utviklet og allment kjent. • Det utvikles en terminologi som beskriver brukens lovmessigheter. • Jo svakere modalitet, jo mer kontekstavhengig er dens lovmessigheter. • farge-som–modalitet: konvensjonene avhenger av konteksten (mote, politikk, kjærlighet, typografi..)

13. Funksjonell spesialisering • Ulike modaliteter har ulike semiotiske egenskaper. Hva skal tale, skrift og bilde brukes til? Avgjøres i designen. Foregrounding • handler om hva som til enhver tid er i forgrunnen og i bakgrunnen. • Eksempel: Musikkens rolle i skrekkfilmer. Vekselvis i forgrunn og i bakgrunn

14. Designeren står mellom to krav • Krav om å forholde seg til normer og konvensjoner • Krav om å finne på noe nytt, være kreativ • Det styrende momentet vil alltid være designens målsetting, intensjonen • Iblant vil designens intensjon føre til at veletablerte normer blir brutt.

15. Design og produksjon – glidende overgang? • Produksjon handler i denne konteksten om KOMMUNIKATIV anvendelse av medier, av materielle ressurser. • Man mener noe med MÅTEN man bruker mediet på. • ..eller mottakeren knytter mening til MÅTEN mediet blir brukt på

16. Meningsskaping i produksjonsleddet • ”Provenance” = meningsoverføring fra et gjenkjennelig opphav. (Imitasjon av en dialekt, en kjendis etc. Kle seg i Hawaii-skjorte. Anlegge rockabilly-sveis) • Erfaringsbasert mening = meningsskaping basert på egne erfaringer med uttrykket (f.eks: høy stemme = sint).

17. Eksempler på meningsskaping knyttet til produksjonen • stemmebruk, dialekt, kroppsspråk, klær – i dagligliv vs på scenen. Hva er forskjellen? • du etterlikner Mark Knopfler når du spiller gitar ved leirbålet • du skriver med pen og ryddig håndskrift i brevet til tante • Du bearbeider bildet kraftig og synlig i Photoshop

18. Stemmen som meningsbærer • Mangler (delvis) en grammatikk for stemmebruk. En svak modalitet. • Men bærer mening gjennom imitasjon (jf.standup) og egenerfaring. • Hva gjør Madonnas stemmebruk flertydig? (og hva uttrykker flertydigheten?

19. Når produksjon og distribusjon nærmer seg sammensmelting.. • Fokus på medierte diskurser • Fokus på teknologier for opptak/lagring (recording), redigering (editing) og utsending (transmitting) • Tilføres det ny mening i disse prosessene?

20. Masseproduksjonen fører til tap.. • av tilstedeværelse, kroppslighet • av multimodal rikdom. Innebærer en semiotisk reduksjon • av kontekst • av et spesifikt tidspunkt og sted • Opplevelsen av en unik hendelse • Mister dermed referanser for opprinnelig/spesifikk mening

21. …men også til gevinster • gir mulighet for rekontekstualisering • konserten kontekstualiseres i filmen av intervjuer, klipp fra riggingen etc. • Både konserten, fenomenet og filmen kontekstualiseres på nettet av anmeldelser, omtaler etc • Individuell rekontekstualisering av den enkelte kinogjenger. Ny situasjonskontekst • Åpner for kunstnerisk behandling gjennom redigering, klipping etc • Ofte en fascinasjonseffekt ved remediering til nye medier

22. Historiske distribusjonsrevolusjoner • Teknologier for opptak, kopiering og distribusjon har ført til en rekke revolusjoner: • Tale til skrift: skrive-/trykketeknologi • Maleri til foto: fotokameraet • Konsert til plate: opptaksteknologi • Drama til film: filmkameraet • Fører til økt tilgjengelighet og nye kunst-, tekst- og bevissthetsformer

23. Distribusjon som språk • Medier brukes til ”mediering”: opptak og distribusjon av innhold • Men kan også brukes til transformasjon av tekster og til å frembringe nye sjangre • Tre faser i utviklingen av et nytt medium • distribusjon av gamle sjangre • medietilpasning av gamle sjangre • nye mediespesifikke sjangre • I siste fase vil ofte produksjon og distribusjon smelte sammen • Foto: dokumentasjon vs kunst • Film: minimalisme vs konstruktivisme • ”usynlig” kamerabruk • eller utnytte filmens virkelighetsreduksjon kunstnerisk?

24. Transformasjon som budskap • Mixing og remixing av musikk: ny sjanger (innhold, form, funksjon)? • Dance-musikk inviterer ikke til lytting men til deltakelse • Hvordan kan bearbeiding av filmklipp tilføre ny mening til selve opptaket? • Hurtig klipping, bilde-i-bilde: ”moderne urbanitet” • i svart/hvitt, med riper og dårlig lyd: ”gamle dager”