Reading Images. The Grammar of Visual Design

1. Reading Images. The Grammar of Visual Design MSD oktober 2008, GK

2. Introduction: the grammar of visual design • Visuell grammatikk (og ikke visuelle ”leksemer”) • grammatikk som ressurser for representasjon og kommunikasjon • ”grammar goes beoynd formal rules of correctness. It is a means of representing patterns of experience (…) It enables human beings to build a mental picture of reality, to make sens of their experience of what goes on around them and inside them” (Halliday 1985:2) • ”Like linguistic structures, visual structures point to particular interpretations of experience and forms of social interaction” (K &vL, p. 2)

3. ”But even when we can express what seem to be the same meanings in either image-form or writing or speech, they will be realized differently (…) And this will affect meaning” (p.2) • Kan vi si at ”samme mening” blir realisert i bilder og i skrift? Hva innebærer ”det samme”?

4. Visuell grammatikk • ”We believe that visual communication is coming to be less and less the domain of specialists, and more and more crucial in the domains of public communications. Inevitably this will lead to new, and more rules, and to more formal, normative teaching. Not being ’visually literate’ will begin to attract social sanctions” (p.3) • …. ja! eller njaa?

5. En visuell grammatikk for ”vestlig” kultur • ”it [K&vL’s visual grammar] describes a social resource of a particular group, its explicit and implicit knowledge about this resource, and its uses in the practices of that group (p.3).” • Skriftretning:”Consequently different values and meanings are attached to such key dimensions of visual space” (p. 4).

6. En sosialsemiotisk teori om representasjon • Tre semiotiske skoler de følger i fotspora til: • Pragskolen (1930-40tallet -) • Pariserskolen (1960-70tallet) • Halliday-skolen i Australia

7. Sosialsemiotikkens tegnforståelser

8. ”…in social semiotics the sign is not the pre-existing conjunction of a signifier and a signified, a ready-made sign to be recognized, chosen and used as it is, in the way that signs are usually thought to be ’available for use’ in semiology. • Rather we focus on the process of sign-making, in which the signifier (the form) and the signified (the meaning) are relatively independent of each other until they are brought together by the sign-maker in a newly made sign” (p. 8)

9. ”(…) we see signs as motivated – not as arbitrary – conjunctions of signifiers (forms) and signified (meanings) (p.8) • “In our view signs are never arbitrary, and ’motivation’ should be formulated in relation to the sign-maker and the context in which the sign is produced, an not in isolation from the act of producing analogies and classifications” (p. 8)

10. “This then, is our position vis-à-vis ‘European’ semiology: where de Saussure had (been assumed to have) said that the relation of signifier and signified in the sign is arbitrary and conventional, we would say that the relation is always motivated and conventional. Where he had seemingly placed semiotic weight and power with the social, we wish to assert the effects of the transformative role of individual agents, yet also the constant presence of the social: in the historical shaping of the resources, in the individual agent’s social history, in the recognition of present conventions, in the effect of the environment in which representation and communication happens. Yet it is the transformative action of individuals, along the contours of social givens, which constantly reshapes the resources, and makes possible the self-making of social subjects” (12f, mi utheving)

11. Anvendelsesområder • teoretisk, men også deskriptivt og praktisk • ”We seek to develop a descriptive framework that can be used as a tool for visual analysis” (14) • Analyse av visuell kommunikasjon som kritisk disiplin • ”we see images of whatever kind as entirely within th realm of the realizations and instantions of ideology, as means – always – for the articulation of ideological positions” (p. 14) • ”We see our book as a contribution to a broadened critical discourse analysis” (14)

12. En grunnleggende antakelse: De tre metafunksjonene • Ideasjonell funksjon – representere verden rundt oss og i oss • Mellompersonlig funksjon – kommunikasjon, utøve sosiale samhandlinger og relasjoner • Tekstuell funksjon – skape en koherent tekstverden, organisere diskursens flyt ”We believe that visual design, like all semiotic modes, fulfils three major functions” (15).

13. Visuelle uttrykk i skolen • Trad.: fra det ekspressive til det tekniske • I dag: Læremateriell for barn bruker i stor grad bilder for å representere fagstoff. Men i elevtekster har skrift forblitt den forventa og dominerende modaliteten. • Sier at motstanden mot det visuelle som en fullverdig representasjonsmåte ikke handler om en motstand mot det visuelle i seg sjøl, men om det visuelle som potensiell trussel mot den nåværende dominansen til verbal litterasitet blant elitegrupper.

14. Om verbal og visuell meningsskaping • Deres syn er at språk og visuell kommunikasjon begge kan anvendes for å realisere de ”samme” fundamentale meiningssystemene som konstiturerer våre kulturer, men de gjør det på sine spesifikke og forskjellige måter, uavhengig av hverandre (19) • ’Subjektiv’ og ’objektiv’ mening: • ”Vi tror det finnes en bildegrammatikk” vs. ”Det finnes en bildegrammatikk” • perspektiv • ”Mental process clauses and nominalization are unique to language. Perspective is unique to images. But the kinds of meanings expressed are from the same broad domain in each case; and the forms, different as they are, were developed in the same period, in response to the same cultural changes” (19)

15. Et skriftshistorisk paradoks(?) • ”in a literature culture the visual means of communication are rational expressions of cultural meanings, amenable to rational accounts and analysis. The problem which we face is that literate cultures have systematically suppressed means of analysis of the visual forms of representation, so that there is not, at the moment, an established theoretical framework within which visual forms of representation ca be discussed” (23) • Men samtidig: Er det ikke skriftkulturen en forutsetning for en slikt teoretisk rammeverk?

16. Ser i dag ei forandring fra ”ukoda” naturalistiske representasjoner til mer stilistiske, abstrakte og åpenbart ”koda” bilder • ”The world of ’one image, many different verbal texts’ (’commentaries’) imposes a new mode of control over meaning, and turns the image, formerly a record of nature or a playground for children and artists, into a more powerful, but also more rigorously controlled and codified public language, while it gives language, formerly closely policed in many social institutions, a more private and less controlled, but also less powerful, status” (27) • I forbindelse med naturvitenskapelige representasjoner reiser de spørsmålet: ”is the move from the verbal to the visual a loss or a gain?”(31)

17. Oppsummerer kap. 1 slik (33f): • Visuell kommunikasjon er alltid koda. Den framstår som transparent bare fordi vi allerede kan koden, i det minste implisitt. • Samfunn vil typisk utvikle eksplisitte måter å snakke om de mest verdsatte semiotiske ressursene, og de som spiller den viktigste rollen i å kontrollere de fellesforståelsene som kreves for å fungere som samfunn. Verbalspråk, særlig skrift, har fram til nå hatt denne rollen, men dette (hevder de) er i ferd med å endres til fordel for mer flerfoldige (især visuelle) representasjonsmåter.

18. Representasjon Kap.2-3: Ideasjonelle meininger

19. Kap. 2: Narrative representasjoner: å designe sosial handling To hovedtyper: • Narrative strukturer: • Nærvær av vektorer. • Repr. deltakere som å gjøre noe for/mot noen • Konseptuelle strukturer: • fravær av vektorer. • Repr. deltakere som klasser og strukturer, i form av deres generaliserte og mer eller mindre stabile natur

20. Narrative prosesser (oppsummering s. 74-75) • Handlingsprosesser • vektorer • Reaksjonsprosesser • blikkvektorer • Tale-/tankeprosesser • snakke-/tenkebobler • Konverteringsprosesser • sykliske; deltakere er Målobjekt ift noen, Aktør ift andre • Geometrisk symbolisme • Omstendigheter • kan utelates uten at hovedproposisjonen tapes • bl.a. setting

21. Kap.3: Konseptuelle representasjoner: Å designe sosiale konstruksjoner • Klassifiserende prosesser: type av • taksonomier, flytskjema, nettverk • komposisjonell symmetri

22. Analytiske prosesser: Bærer + Attributt • ”As a whole, the analytical process is the usual, the ’unmarked’, and therefore also the most elementary option in the visual system of representation – a visual ’this is’ (91) • Noen typer analytiske prosesser: • Temporale (tidslinjer) • er hele Bæreren representeres som tilstede, eller bare deler? (exhaustive vs. inclusive) • topografiske (relasjoner i fysisk rom) og topologiske (logiske rel.)

23. Symbolske prosesser • ”what a participant means or is” (105) • Symbolske Attributter har en eller flere av disse karakteristikaene: • fremtredende (forgrunn, str.,lysretning, detalj etc.) • pekes ut på en måte som ikke kan tolkes som noe annet enn ’utpeking av symbolsk attributt’ • er på et eller anna vis ’out of place’ • er konvensjonelt assosiert med symbolsk verdi

24. Interaksjon Kap. 4 og 5 Mellompersonlige meininger

25. Visuelle handlinger og blikk • direkte blikk rett på seeren: et krav: • ”demands that the viewer enters into some kind of imaginary relation with him or her” (118) • indirekte dvs. ikke-direkte blikk: et tilbud • ” it (bildet) ’offers’ the represented participants to the viewer as items of information, objects of contemplation, impersonally, as though they were specimen in a display case” (119)

26. Utøving av sosiale relasjoner • bildeutsnitt – sosial distanse • perspektiv – det subjektive bildet • horisontal vinkel – involveringsgrad • vertikal vinkel – makt • narrativisering – hvem er det som ser scenen på denne måten? • objektive bilder

27. Modalitet: virkelighetsforpliktelseÅ designe modeller av virkeligheten • ”truth is a construct of semiosis, and as such the truth of a particular social group arises from the values and beliefs of that group” (154-155) • Modalitet angår ml.pers. mening mer enn ideasjonell: • ”it produces shared truths aligning readers or listeners with some statements and distancing themselves from others” (155) • Noen visuelle modalitetsmarkører: • Farge (metning, differensiering, modulering), • kontekstualisering – grad av bakgrunn • abstraksjonsgrad/detalj

28. Det moderne fargefotografi fungerer som en slags standard for visuell modalitet • ”visual modality rests on culturally and historically determined standards of what is real and what is not, and not on the objective correspondance of the visual image to a reality defined in some ways independently of it” (163)

29. Kodingsorienteringer ”Coding orientations are sets of abstract principles which inform the way in which texts are coded by specific social groups, or within specific institutional contexts” (165). • Technological c p: Effektivitet som blueprint som dominerende prinsipp • Sensory c.p.: brukes i kontekst hvor ’the pleasure principle ’ dominerer (f x i kunst, annonser, kokebøker) • Abstract c. p.: brukes av sosiokulturelle eliter; kunst, akademia, vitenskap. Jo mindre partikulært, jo høgere modalitetsgrad • Naturalistic c.p.: mest dominerende for nå. ”It is the one coding orientation all members of the cultureshare when they are being addressed as ’members of our culture’ (165f)

30. Komposisjon kap. 6 Tekstuell meining

31. Komposisjon relaterer representasjons- og interaksjonsmeiningene til bildet til hverandre gjennom tre inter-relaterte systemer (s.177): • Informasjonsverdi • høgre/venstre – Given/New • topp/bunn – Ideal/Real • sentrum/margin • Framtredenhet (salience) • Innramming (framing)

32. Kap. 7: Materialitet og mening • Diskuterer blant annet penselstrøk samt farge som semiotisk modalitet Kap. 8: Tredimensjonale visuelle objekter