Audiovisualitetens möjligheter: Att bryta konventioner

Examensarbete Kandidatnivå Audiovisualitetens möjligheter

Att bryta konventioner

Författare: Amanda Ekenlöw Handledare: Carl Hällströmer

Seminarieexaminator: Johan Eriksson Formell kursexaminator: Thomas Florén Ämne/huvudområde: Audiovisuell produktion Kurskod: GLP2FZ

Poäng:15 hp Termin: HT2019 Examinationsdatum:

Vid Högskolan Dalarna finns möjlighet att publicera examensarbetet i fulltext i DiVA. Publiceringen sker Open Access, vilket innebär att arbetet blir fritt tillgängligt att läsa och ladda ned på nätet. Därmed ökar spridningen och synligheten av examensarbetet.

Open Access är på väg att bli norm för att sprida vetenskaplig information på nätet. Högskolan Dalarna rekom- menderar såväl forskare som studenter att publicera sina arbeten Open Access.

Jag/vi medger publicering i fulltext (öppet tillgänglig på nätet, Open Access):

Ja ☒ Nej ☐

Högskolan Dalarna – SE-791 88 Falun – Tel 023-77 80 00

Abstract

This interdisciplinary study aims to understand the audiovisual framework in relation to our perceptions of the senses and how it affects the audiovisual genre that focuses on the senses sound and image and its interplay. The background of the essay and previous research includes how we as humans perceive our world and then create it based on our perception of the world. A compilation of studies on the sensory impressions for hearing-audio and seeing- visual is presented to approach the state of research, but is also based on the conventions of art, including social norms and the educational process of institutions. The question at hand focuses on the possibilities of audiovisuality, both as an art and production form, and on how the audiovisual genre is best described, what frameworks affect our thinking about digital art and to what extent this is possible to change. Further to the figure theory as a theoretical basis and in-depth interviews as a method. Finally, the essay presents a result that shows that the audiovisual genre has many possibilities that largely include the technology of the future;

limitation is found in the convention and the human view as well as actual sensory boundaries. Discussion and own reflections that land in statements about how an artist, producer or audiovisual creator can go about being innovative in a world where creativity meets modern technology. The research concludes that the relation and communication between sound and image of audiovisual production is not the actuality, rather that the

relation is experienced in between the emotional and the technical. Sound and image are only design.

Keywords

Audiovisuell, Digital, Objekt, Konventioner, Konst, Sinnesuppfattningar, Skapande,

Innehållsförteckning

Innehållsförteckning ... 3

1. Inledning ... 4

1.1 Syfte ... 6

1.2 Frågeställnig ... 6

1.3 Avgränsning ... 6

2. Bakgrund och Tidigare forskning ... 7

2.1 Metodologiska överväganden ... 7

2.2 Audiovisuell produktion ... 8

2.3 Perception ... 9

2.3.1 Förhållningssätten mellan teknologi och naturen ... 9

2.3.2 Sensorisk substitution ... 11

2.3.3 Sinnesuppfattnngar och dess respons för externa intryck ... 13

2.4 Tolkning ... 15

2.4.1 Kreativitetens relaterbarhet ... 15

2.4.2 Bildens språk ... 17

2.4.3 Platons estetik ... 19

2.4.4 Visualisering av ljud ... 21

3. Teori ... 23

3.1 Konvention ... 23

3.2 Förhållandet mellan natur och teknologi ... 25

3.3 Principer om gestaltning... 26

3.4 Liminalitet ... 29

4. Metod ... 31

4.1 Etiska överväganden ... 33

5. Resultat och analys ... 35

5.1 Audiovisualitetens möjligheter och begränsningar ... 32

5.2 Att bryta ramar ... 40

5.3 Summering av resultat ... 42

6.

Diskussion ... 45

6.1 Slutord ... 47

Källförteckning ... 49

Tryckta källor ... 49

Elektroniska källor ... 51

Artiklar ... 51

Rapporter ... 52 Streamad media ... 52 Bilagor ... 54

4

1. Inledning

Som audiovisuell student kan jag inte räkna hur många gånger jag har ställts inför frågan vad är audiovisuell produktion och vad kan man bli med det? Även nu efter tre års studier i ämnet har jag svårt att ge ett enkelt svar. Jag har under min tid som student stött på många

funderingar kring ämnet som jag själv inte kan förklara. Ämnet är komplicerat nog att närmast undgå beskrivning. Denna uppsats är ett försök att måla upp en samlande bild.

För att förstå vad det audiovisuella är som produktion måste man först förstå hur det fungerar.

I grund och botten består audiovisuella verk av två komponenter: ljud och bild. Bilden rör sig oftast som en sekvens, ett tidsförlopp. Det digitala bildmaterialet skapas i ett eller flera designerprogram där objektet med hjälp av lager och effekter, i denna kontext, skapas från grunden. Objektet är, för att förenkla det hela egentligen bara en form, och det betyder i praktiken att det finns gränser för vad som är möjligt att skapa. Att skapa digitala ljud fungerar i struktur och metod på liknande vis. Det som gör ämnet komplicerat är den genast uppkommande frågan om det nödvändigtvis finns ett samband dem emellan.

Inledningsvis till den andra frågan: Vad kan man bli med denna kunskap?

Det som definierar audiovisualitet är egentligen hur det används och ett användande får influenser av väldigt många aspekter - alltifrån tekniska ramar, biologiska, filosofiska, till sociala strukturer, konventioner och system. Likaså spelar individens handlingsmöjlighet och vilja en stor roll. I jämförelse med film, som även det är en audiovisuell produktionsform, finns vissa betydande skillnader gentemot audivisuell konst. Filmen är för det första en bildsekvens som på ett eller annat sätt förmedlar någon typ av berättande. Dessa behöver inte vara kronologiskt framställda, men förmedlas alltid i en serie från en punkt till en annan. De är med andra ord tidslinjebundna. Ett audiovisuellt verk kan vara det, men behöver inte vara det. Det är vidare inte själva inspelningen eller produktionen som är filmens syfte och den förväntas inte ta samma ansvar för synkroniseringen mellan ljud och bild som ett audiovisuellt verk. Man kan alltså säga att filmen är audiovisuell, och har sina givna ramar som den

existerar inom, men opererar inom ett annat fält än den audiovisuella konsten. Jag vill ta reda på vad audiovisualitet berättar och inom vilka gränser en audiovisuell konstnär eller

producent måste verka inom för att det ska identifieras som audiovisuellt.

5 Från min egen erfarenhet som audiovisuell konstnär kan jag dra slutsatsen att en vanlig

brytpunkt brukar landa vid huruvida det audiovisuella objektet upplevs synkroniserat eller inte. Ofta nämns bastrumman, den så kallade kicken, som en viktig faktor då den är tydlig och sätter rytmen. Men hur konventionen ser ut är svårt att tydligt säga och en intressant fundering är huruvida synkronisering med bilden skulle kunna ske på första, andra eller tredje slaget.

Det kan verka självklart att bilden ska presenteras samtidigt som ljudet, ur ett fysiskt verkligt objekts perspektiv, men eftersom objektet skapas i ett digitalt program och inte ur den fysiska verkligheten är det relevant undersöka hur detta kommit att bli samt vilka förväntningar som finns på det audiovisuella objektet och var de kommer ifrån. Jag undersöker även vad den audiovisuella konsten är till för och om man på något vis kan utnyttja de möjligheter som finns i ett skapande som i någon mån frigjorts från den fysiska verkligheten. Detta betyder också en ansats måste göras att förstå hur människor anammar både innehållet och själva mediet i sig självt. Min förhoppning är att på så vis göra det tydligare att förstå vad man kan bli karriärmässigt inom ämnet.

Undersökningen är tvärvetenskaplig och för att lättare förstå hur detta är relevant består uppsatsen av de nödvändiga beståndsdelar som krävs för att få ett övergripande svar på mina frågor. Dessa innefattar neurovetenskap och den visuella perceptionen, biologiska och psykologiska faktorer, filosofiska överväganden, estetik, form och konventioner. Dessa beståndsdelar presenteras i form av både bakgrund och tidigare forskning och teori, som sedan knyts samman i presentationen av resultat och analys. En grundläggande förståelse för alla dessa beståndsdelar ger oss att fältet är synnerligen brett och att ett framställande av dessa är nödvändig för att överhuvudtaget kunna närma oss frågan om att göra det möjligt att göra audiovisualtitetens ”genre” begriplig. En sådan ansats måste innehålla en bred skildring och endast utifrån detta kan ett försök göras att konkretisera det konstnärliga och audioivisuella ramverket.

Jag tar också genom uppsatsens gång upp relationer till audiovisuell produktion som

utbildning. Utbildningen bedrivs i Falun av högskolan Dalarna och många av dem jag valt för semistrukturerade djupintervjuer med är examinerade studenter eller nuvarande studenter på audiovisuell produktion, de examinerade studenterna jobbar alla på något sätt inom fältet.

Hänsynen till denna relation och perspektiv är relevant för att ge insikt om audiovisualitet

möjligheter inom institutioner och dess sociala fält och praxis. Detta inte minst eftersom

6 skolor har sina egna konventioner och ramar.

1.1 Syfte

Denna uppsats syfte är att närmare förstå inom vilka gränser något anses vara ett audiovisuellt (AV) verk, att bryta ner alla faktorer som har en roll i hur vi definierar audiovisualitet och vad som är möjligt att göra inom genren, vad som är poängen, nyttan och förklaringen till att ljud och bild ofta förväntas vara synkroniserade när de framställs och om interaktionen mellan ljud och bild inom audiovisuell produktion kan sägas vara en kommunikation av intern art.

Undersökningen fördjupar sig i vad som skapar kommunikationen mellan komponenterna, och vad som kan bryta det som för dem samman. Med andra ord: undersökningen letar efter problematiken kring varför ämnet är svårdefinierat och söker samtidigt efter en lösning. Syftet är att finna ett lättare sätt att begripa ämnet genom att bryta isär det, analysera delarna och sedan sätta ihop det igen.

1.2 Frågeställning

Ur ett audiovisuellt perspektiv:

Vilka ramar påverkar vårt tänkande kring digital konst och kan det förändras i förhållande till världen?

Vilka är möjligheterna inom audiovisuell produktion och på vilka sätt begränsas dessa?

1. 3 Teoretisk avgränsning

Området som denna uppsats behandlar är av naturliga skäl väldigt brett och täcker därför många forskningsfält. Det är en närmast omöjlig uppgift att i en kandidatuppsats ge alla delar den uppmärksamhet de förtjänar. Detta gör en serie avgränsningar nödvändiga. Bedömningen är att om man fortfarande vill behålla ansatsen av en helhetssyn måste undersökningen

genomföras på ett tvärvetenskapligt sätt och för att kunna göra det måste de mest väsentliga dragen redogöras för – det är omöjligt att gå på djupet. Således fattar uppsatsen sig relativt kort om flera discipliner i en ambition att sy ihop dessa i syfte att skapa en holistisk förståelse.

När det kommer till neurovetenskap har en särskild bedömning gjorts, som innebär att

uppsatsen inte tar upp alltför komplicerade termer utan snarast fokuserar på två, nämligen

synapser och sinnesuppfattningar.

7

2. Bakgrund och tidigare forskning

Detta kapitel behandlar de olika forskningsfält som tangerar den audiovisuella

skapandeprocessen. Hur den har kommit att bli, det sätt vi utför den och varför. Det är viktigt att förstå dessa aspekter för att kunna skapa sig just det samlande perspektiv som uppsatsen eftersträvar. Därför kommer detta avsnitt delas upp i flera kategorier med olika perspektiv för att åskådliggöra information från olika håll. De perspektiv som presenteras är alltifrån

biologiska, tekniska och psykologiska och inte minst det audiovisuella. Det sistnämnda är den centrala anknytningspunkten och rör sig inom konst – produktions – och konventionernas domäner, vilket upprepade gånger belyses.

2.1 Metodologiska överväganden

För att på ett lättare sätt påvisa vikten av hur de olika perspektiven samverkar anammar uppsatsen ett så kallat dialektiskt synsätt. I denna kontext innebär det att studien behandlar relationerna mellan de innefattande perspektiven. Det finns många sätt att beskriva

dialektiken, där det i vardagligt språk förstås som relationen mellan tes – antites och syntes. I en dialektisk kunskapsproduktionsprocess betonas dock snarare den så kallade.

”uppstigandets metod

” – som innebär att olika element återfinns inom ramen för en konkret totalitet (helhet). Dessa element abstraheras – lösgörs från sitt sammanhang och studeras, för att därefter sättas samman i en tankekonkret totalitet. Det innebär ett studerande av ämnets identifierade delar, i syfte att förstå dessas relationer i en helhet. Syftet är att förstå ett fenomens väsen snarare än det objektivt givna. Den tankekonkreta totaliteten innebär en förståelse på ett intellektuellt plan, där delarnas funktioner blir något utöver summan av empirin. Ambitionen med uppsatsen är inte att förklara innebörden av dialektiken, utan att använda sig av den. För ytterligare fördjupning refereras till Joachim Israels bok Språkets dialektik och dialektikens språk

.

1 Joachim Israel, Språkets dialektik och dialektikens språk, (Arlöv: Esselte Studium Ab, 1980). s 80-88.

2 Ibid

8

2.2 Audiovisuell produktion

Den fond mot vilken uppsatsen vilar är relationen till en specifik utbildning på Högskolan Dalarna, nämligen kandidatprogrammet för Audiovisuell produktion. Denna ges som en treårig heltidsutbildning.

På Högskolan Dalarnas hemsida presenteras programmet som ett resultat av tekniska

framsteg, som gjort det möjligt att bryta med den tydliga arbetsdelning mellan ljud och rörlig bild som traditionellt finns inom exempelvis film och tv-produktion. Man skriver att ”tack vare nya tekniska verktyg är ljud-/musik- och bildskapande integrerade, därav begreppet audiovisuell produktion”

. En stor vikt läggs vid det egna skapandet, som genom terminernas gång ska bli ”konstnärligt bättre”

och ”kommunikationsmässigt effektivare”

. Programmets mångdisciplinära och experimenterande drag ämnar göra det möjligt för studenten att öka sin förståelse om förhållandet mellan just ljud och (rörlig) bild. Ur Audiovisell produktions utbildningsplan för Kandidatutbildningen står att läsa:

Under programmets första termin studeras grundläggande historiska utgångspunkter för samtida audiovisuella produktioner tillsammans med de vanligaste produktionsverktygen. Terminen

innehåller två kurser: den första lägger teoretiska grunder medan den andra sätter gestaltande uttryck i centrum. Andra terminen vidareutvecklar studentens produktionsförmågor i riktning mot berättande och gestaltning utifrån estetiska och etiska perspektiv. Terminen innehåller också en introduktion till vetenskapligt skrivande. Under tredje terminen fördjupar sig studenten i olika audiovisuella

uttrycksformer genom produktion av, och reflektion kring, utställningar i offentlig miljö samt performance på scen. Programmets fjärde termin behandlar audiovisuell produktion från olika arbetsmarknadsrelaterade perspektiv med kurser i medie- och kommunikationsvetenskap, entreprenörskap och projekthantering. Under femte terminen studeras vetenskapliga teorier och metoder och studenten skriver ett självständigt examensarbete inom huvudområdet. Sista terminen är uppdelad i två kurser: ett eget projektarbete och arbetsplatsförlagd undervisning där tekniska, estetiska, vetenskapliga och arbetsmarknadsrelaterade perspektiv fördjupas ytterligare.⁶

3 Högskolan Dalarna, Utbildningsprogram KAVPG: Audiovisuell produktion – Kandidatprogram, 2014, https://www.du.se/sv/Utbildning/Program/audiovisuell-produktion---kandidatprogram/, (Hämtad den:

2020-12-16).

4 Ibid.

5 Ibid.

6 Högskolan dalarna, Utbildningsplan: Audiovisuell produktion – kandidatprogram, 2014,

https://www.du.se/sv/Utbildning/Program/utbildningsplan/?code=KAVPG&fbclid=IwAR3tBNVMAf9tgGo 34dM0AAG_1g0svwDTMCu13vgEQzG6grAIYzKQeRrK-nY, (Hämtad den: 2020-12-16).

9 Denna uppsats fäster stor vikt vid relationen mellan dels det gestaltande och det berättande, dels frågan om det konstnärliga och kommunikationsmässigt effektivare. Det centrala blir således att undersöka på vilket sätt dessa relationer, präglar definierandet av ämnet/genren som sådan.

2.3 Perception

2.3.1 Förhållningssätten mellan teknologi och naturen

En viktig distinktion att redan från början nämna när det kommer till relationen mellan teknologi och natur är att det vi vet, det vi definierar som verkligt härrör från vår perception av vår omvärld. Detta betyder att det vi avbildar alltid kommer från ett mänskligt synsätt.

Även i de fall vi försöker avbilda något utifrån en annan arts synsätt utgår vi ifrån vårt sätt att se på artens sätt att se – och det blir följaktligen det vi avbildar

.

Ursprungligen var vi människor biologiskt sett snarlika vattendjur och små reptiler, som gjorde att vi utvecklade ett behov till ett rektangulärt synfält. Detta för att kunna identifiera hot. Dessa djur betraktade världen från marknivå med ögon på var sida om huvudet och hade därför ett brett periferi-seende och ett smalare horisontellt. Oaktat andra konsekvenser så har ögats utveckling lett till hur vi som människor designar våra former i användarsyfte. Om man observerar hur strukturer är formade ute i samhället märks det tydligt att den dominerande formen är rektangulär. Detta genljuder i sin tur i hur vi satt upp premisserna för den

teknologiska mediala världen, där det förväntas att en film eller bild skapas och upplevs i ett rektangulärt format. Ur detta skapas en begränsning för vad som är möjligt för det digitala objektet och som producent eller konstnär måste man alltid ha i åtanke hur verket ska visas upp. Det gyllene snittet är ett annat exempel på hur vi människor gärna vill se på saker, det vill säga att i ett foto ska det fokuserade innehållet av bilden vara centrerat, utifrån ett rutnät som är skapat som en slags lathund för att lätt förstå var ett objekt i fokus ska placeras

.

Att undersöka ords betydelser kan vara givande för att förstå bredare sammanhang. Till

7 T.D.J , Chappell, ”The Philosophy of the Environment” University of Edinburgh Press (2017), s. 44.

8 Gary B. Meisner, The Golden Ratio: The Divine Beauty of Mathematics. (New York: Race Point Publishing, 2018), s. 12.

10 exempel berättar Hagdahl att elektronisk betydde ny, och det verkliga ansågs vara direkt förnimbart i naturen

. Christina Kubisch ställer sig frågan i boken Kolliderade världar om hur naturen och samtida teknologi förhåller sig till varandra, hur de påverkar varandra och om vår uppfattning av naturen. Hon skriver om sitt arbete med digital konst och intresseras mycket av påhittade ljud som hon i hennes installationer placerar på naturliga objekt. Detta skapar, enligt henne en fascinerade förvirring hos åskådare. ”Om mitt arbete måste sammanfattas i

kategorier skulle jag inte tveka att kalla allt för digital konst (min kurs.). Jag försöker dock skapa en relation mellan digital och icke-digital verklighet, för att skapa förvirring och komma fram till nya definitioner”

Trots att vår moderna värld i stor utsträckning består av teknologi finns det generellt sett få diskussioner om vad det digitala objektet är. Gestalt-teorin ger några svar gällande

perceptionens och kognitionens vilja att strukturera omvärlden i objekt, men det är ovanligt att diskutera kring hur det formats utifrån vår perception och våra sinnen. Exempelvis

reagerar vi och behandlar digitala objekt på samma sätt som vi reagerar i den fysiska världen.

Inom en egen undersökning kring VR upptäckte jag att de flesta reagerade på samma sätt i VR-världen som om de befann sig i den fysiska världen

. Många agerade varsamt runt kanter, stup eller i mörka omgivningar. Vår uppfattningsförmåga är helt enkelt avgörande för hur vi beter oss i vår omgivning. Om jag lyssnar uppmärksamt på något ger jag det en helt annorlunda visuell medvetenhet

. I boken Kolliderade världar beskrivs verket maskare, som här får exemplifiera hur vårt fokus och hur vår upplevelse av ett mode, ett verk eller en produktion uppfattas beroende på hur det framförs:

Det verk som tydligast anknyter till detta är förmodligen Maskare – det är också det verk som varit mitt mest digitala. Tio datamöss av olika årsmodell ligger på ett runt bord. Sladdarna är kopplade till verkliga möss från ett naturvetenskapligt institut, nedsänkta i etylalkohol. Under bordet sitter tio dolda högtalare. I högtalarna hörs ett tippande ljud, ett skrapande, gnagande och rivande ...

Inspelningarna gjordes med en kontaktmikrofon som fästes vid personens datormus … De tio

9 Peter Hagdahl & Anne Joki-Jakobbsson, Kolliderande världar: Konst och Nya Media. (Stockholm:

Gidlunds Förlag, Kungliga Konsthögskolan, 2005), s. 72-74.

10 Hagdahl & Joki-Jakobsson (2005), s s 76.

11 Högskolan Dalarna, Virtual reality experiment, (Falun: biblioteket Campus), 2019

12 Hagdahl & Joki-Jakobsson (2005), s 72-74.

11

inspelade ljudstrukturerna formar musbordets akustiska målarduk och nästan ingen har betvivlat att ljuden härrör från djuren¹³.

Utifrån ett audiovisuellt perspektiv väcker detta frågan om vilken roll metoden i framförandet spelar. I verket Maskare används en förståelse för hur mottagare medvetet eller omedvetet använder den biologiska perceptionen av vad ljud och bild kommer ifrån, samt relationen dem emellan. Här blir det relevant att ha i åtanke vilken reaktion som uppstår och hur den gynnas av vår naturliga perception. Denna påverkar både åskådare och skapare. Det mänskliga biologiska perspektivet styr vår naturliga respons. Varifrån ljudet kommer är bara en av frågorna som söker svar. När vi sedan avbildar detta digitalt eller manipulerar sinnesintrycken av ljud och bild, genom att framföra det på ett sätt som inte liknar typiska naturfenomen kan det tyda på att vår naturliga perception uppfattar konsten annorlunda.

2.3.2 Sensorisk substitution

”En förändring av egenskaperna hos ett sinnesintryck till stimuli av ett annat sinnesintryck

”

Människans hjärna uppfattar endast det som är möjligt för våra sinnen att uppfatta. Vi ser exempelvis inte allt som en hök ser, vi hör inte allt en björn hör och vi kan inte lukta allt som en hund kan lukta. Det hade varit intressant att se vilken sorts konst en hund hade konstruerat om vi leker med tanken att en hund förstod det vi förstår. Att arbeta inom audiovisuell

produktion begränsas till samarbetet mellan sinnena hörsel – audio och syn – visuell. Enligt Jakob von Uexkull och Thomas A. Seboek fungerar vi inom något som kallas Umvelt (miljö och omgivning). Konkret handlar det om de biologiska fundament som ligger i själva epicentret för studiet av både kommunikation hos människa och djur. Detta betyder att det finns gränser för vad våra mänskliga sinnen kan uppfatta och det har lagt ett ramverk för hur vi opererar inom digital konst. Hjärnan ser eller hör egentligen inte någonting alls, den omvandlar data utifrån våra förutsatta redskap såsom ögon och öron.

13 Hagdahl & Joki-Jakobsson (2005), s 76-77

14 Semantic Scholar, Sensory Substitution, https://www.semanticscholar.org/paper/Tactile-sensory- substitution-studies.-Bach-y-Rita/8f2e1b6f57b1d5f299daed783641903fa904ee3d [hämtad 2019-12- 17].

12 Hjärnan har dock förmågan att anpassa sig och göra ny nytta av data som vi uppfattar genom nya sätt att ta in dessa data. Detta kallas ”sensory substitution”

. Ett exempel är Neil

Harbinsson som upplevde att som färgblind är det otroligt svårt att navigera sig fram i ett tunnelbanesystem eftersom de olika linjerna är färgkodade. Därför lät han operera in ett chip i bakhuvudet, sammanlänkat med en antennlik kamera som sträckte sig över huvudet fram till pannan. Kameran läser av färger och omvandlar färgers motsvarighet i hertz till toner.

Harbinson kunde därför höra färgerna, vilket är ett praktexempel på hur hjärnan inte är begränsad till våra kroppsliga redskap, utan att den kan anpassas med hjälp av teknologi och nya redskap

. Om man leker med tanken att Neil Harbinson vore en audiovisuell skapare, så hade han i princip jobbat med audio + audio, vilket förmodligen inte kan klassas som

audiovisuellt. Yvette Hatwell, Arlette Streri och Edouard Gentaz menar att detta framtvingar en diskussion om en distinktion kring vad vi menar med kognition. De skriver:

On a functional level, these devices put into question the classical conception of perception and cognition based on parallel processing of passively received information. In that conceptional framework, the cognitive system in only a computational system which receives input information which is then processed in order to produce representations of objects and events; reasoning on the basis of these representations then, in certain cases, leads to decisions concerning subsequent adaptive actions. It is well known that this conception of cognition is based on the computer metaphor, and carries the implication that computers could, in principle, be substituted for any other cognitive system. As a corollary, it is generally considered that the cognitive system is immersed in a world which contains information¹⁷

Neil Harbinson definieras allmänt som cyborg-konstnär. Han skapar bildkonst i fyrkantiga strukturer som han sedan läser av med sin kamera – och som blir till ljud, ett audiovisuellt sätt att framföra konst som färgblind. Neil Harbinson är i alla avseenden någon som utmanar just den allmänna distinktionen om kognition.

15 Can we create new senses for humans?, D. Eagleman, (TEDtalk, 2015), (tillgänglig via TED) [Video]https://www.ted.com/talks/david_eagleman_can_we_create_new_senses_for_humans?awesm

=on.ted.com_8Yrb&language=sv hämtad 2019-08-20.

16 I listen to color, N. Harbisson, (TEDtalk, 2012) [Video]

https://www.ted.com/talks/neil_harbisson_i_listen_to_color hämtad 2019-08-21

17 Yvette Hatwell & Arlette Streri & Edouard Gentaz, Touching for Knowing: Cognitive psychology of haptic manual perception. (Amsterdam/Philadelphia: John Benjamins Publishing, 2003).

13

Figur 1. Harbinson, N. “Baby” by Justin Bieber

2.3.3 Sinnesuppfattningar och dess respons för externa intryck

Ett försök att förstå hur kommunikation, representation och interaktion ter sig i sinnena kan benämnas korsmodalitet. Kort sagt att försöka förstå uppfattandet mellan två eller flera

sinnesintryck, hur perceptionen verkar och interagerar mellan sinnesuppfattningarna. Exempel på detta i teorin är synestesi eller sensorisk substitution.

En sinnesuppfattning kan bli undertryckt av en annan, om likartade sinnesuppfattningar sker på samma gång. Exempelvis: om du är ute i regnet så hörs bilen som åker förbi mer än regnet. Det som händer är att sinnets uppfattning av bilen dominerar över andra hörselintryck i det samspel som råder mellan hur informationen tas upp och bearbetas. Regnet bildar en fond och bilen som kontrast ges större utrymme – oavsett om amplituden skulle vara lägre.

Nyttan med att ha flera sinnesintryck som interagerar med varandra är att på ett bredare plan få en klarare uppfattning om vår omgivning. När vi hör en bil komma behöver vi kanske inte alltid titta, men vi vet att det är en bil därför att vi har sett en bil och hört hur den låter sedan innan. Våra sinnen som representerar ljud och bild har alltså tidigare samarbetat i synk och gett oss en uppfattning om hur specifika fysiska objekt beter sig

.

Gemma A. Calvert skriver i Crossmodal Processing in the Human Brain: Insights from Functional Neuroimaging Studies om studier som har påvisat att reaktionsförmågan är

18 Kenneth R Boff & Lloyd Kaufman & James P Thomas, Handbook of Perception and Human Performance, Vol. 1: Sensory Processes and Perception (New York: Wiley-Interscience, 1986)

14 snabbare om flera sinnen samarbetar. När ljud och bild-impulserna förekommer från samma spatiala område förbättras cellernas substantiella hastighet över förväntan

. Å andra sidan, om man stimulerar sinnena för ljud och hörselintryck som inte relaterar till varandra och som sker asynkront, kan detta ge negativa effekter. En vetenskaplig undersökning som gjordes med MRI-scanner ger stöd till detta påstående. Man lät försökspersoner lyssna och titta på munrörelser samtidigt som man studerade dessas hjärnaktivitet och kom till tydliga resultat.

Det skedde nämligen en så kallad superadditiv responsförbättring i de fall när läpp- och munrörelserna var i överensstämmelse med varandra, synkade till ljudet, till skillnad från de asynkrona exemplen. När personerna blev utsatta för självständiga ljud eller visuella rörelser (som munrörelser) ledde detta till en korsmodal hämning, som man skulle kunna tolka som depression, eftersom de följer de elektrofysiologiska hämningar som sker under en

depression. Multisensoriska samordningar har en funktionell roll i hur vi - människor och djur - uppfattar information och lokaliserar den, och synkron har en avgörande roll i hur

sinnesintrycken sinsemellan binder sig samman

. Däremot är det inte nödvändigt att ljudet är just det som av naturen härrör från objektet, det viktiga är den rumsliga närheten:

Although synchrony is one important determinant of crossmodal integration in multisensory collicular cells, it is a seemingly less critical influence than spatial coherence … when two or more sensory inputs are in close temporal proximity, albeit in slightly disparate spatial locations, they are generally perceived as emanating from a common event. //…//. This crossmodal illusion is consistent with the synthesis of the auditory and visual coordinate information in multisensory cells … the highest task-related activity during audio-visual synchrony detection was identified in the insula, suggesting a particular role for this region in mediating temporally defined crossmodal interactions.

Indeed, significant superadditive enhancement and response depression was also detected in the insula in the current study which involved presentation of synchronous and asynchronous audio- visual inputs²¹.

De korsmodala kopplingarna kan inte underskattas, vilket i praktiken påskiner att relationen ljud och bild har flera dimensioner, inte enbart den temporala utan också den rumsliga.

19 Gemma A. Calvert, ‘’Crossmodal Processing in the Human Brain: Insights from Functional Neuroimaging Studies’’, Singapore: Nanyang Technological University (2001)

20 Calvert 2001

21 Calvert 2001

15

2.4 Tolkning

2.4.1 Kreativitetens relaterbarhet

En av psykoanalytikern Sigmund Freuds teorier är den om sublimering, vilket innebär en transformering och kompensering av ett begär med något annat, ofta den raka motsatsen till det ursprungliga begäret. Exempelvis kan en person ha sadistiska begär men eftersom detta strider mot det flesta sociala konventioner och normer, omvandlar personen detta till att hjälpa andra och gör istället en gest av godhet. Konst är en form av sublimering då en konstnär eller en skapande person försöker få utlopp för sin kreativitet, och då kreativitet enligt Freud är en form av flykt och försvarsmekanism

har det en sublimeringsaspekt. Sigmund Freuds dotter Anna Freud - som än idag är fundamental inom psykologi går in på djupet av ämnet och anser att det mesta vi gör i stort sett är försvarsmekanismer, en kompensation.

Som barn är vi konstant lekande och ofta genomförs lekandet som en slags förberedelse för vuxenvärlden. Anna Freud anser att en person som önskar och fantiserar är en olycklig person alltmedan en lycklig person därför är nöjd med tillvaron som den är och tänker inte mycket i abstrakta banor såsom exempelvis dagdrömmar. Vuxna leker alltså också, fantasin utvecklas till dagdrömmar och önskningar. Istället för att leka och fantisera i vår fysiska värld,

omvandlar vi detta till konst och kreativitet. I detta perspektiv kan man se en förklaring till varför konstnärer och kreativa människor ofta är deprimerade, även om det såklart finns teorier som både stärker och falsifierar detta påstående. Jacques Lacan namngav fenomenet sinthome, ett franskt begrepp som sammanfattar fenomenen för vad som är verkligt, vad som är overkligt och vad som är symboliskt

. Gällande fenomenet fantasi går det att knyta an detta, i ett beskrivande av hur Anna Freud menar att kreativt skapande blir symboliskt.

Anna Freud teoretiserade även om vi människors stora behov av att relatera till varandra, och att det vi relaterar till består av våra förväntningar av oss själva. Vi relaterar till det vi vill vara, vilket gör relaterandet till en slags imitation. En person som inte relaterar till en annan - exempelvis en karaktär i en film – anser ofta att denne besitter fel karaktärsdrag, knutet till olikheterna i hur individerna i fråga vill vara och se sig själva. Det kan i förlängningen bli en slags spegling av, och en motor till klasskillnader, habitus och kulturellt kapital. I Pierre

22 Volney P. Gay, Freud on Sublimation: Reconsiderations. (New York: SUNY Press, 1992).

23 Parveen Adams, Art Sublimation or Symptom. (London, New York: Karnak, 2003).

16 Bordieus terminologi skulle man kunna säga att relaterbarheten går att spåra i vad som anses fint respektive fult. Detta upprätthåller sig sedan av sig självt genom praxis, doxa och

diskurs

. Reflexivitet och ifrågasättande av dessa ramar är förvisso möjlig, men krävande. Ett resonemang som rör sig inom ämnet konst, vilket denna uppsats gör, öppnar upp för en

bredare diskussion än enbart abstrakta termer, det vill säga kreativitet som någonting mer än endast betraktad inom ramen för den enskilde konstutövaren. Konst som är orelaterbar i fel sammanhang anses mindre värd eller mindre konstnärligt, vilket kan illustreras genom lyftandet av begreppsparen fin och ful-kultur

. Det är därför viktigt att som en skapande person vara medveten om i vilka sammanhang konsten skapas, i både tid och i rum. Eftersom innovativt och kreativt skapande är en form av uppfinning, är det viktigt att veta när ens verk kommer att behövas och uppskattas av omvärlden, när andra kan ha nytta utav den. Speciellt gäller detta för kreativa verk med syfte att vara funktionella i en viss situation, en produkt, eller en produktion. Gunther Kress utrycker detta genom att bryta ned begreppet design, som en serie av val baserat på form och innehåll, känsla och koncept:

Production has semiotic (form-as-content), conceptual (content-as-concepts) and affective (semios- as-expressive, always reflecting interests and personal ‘investment’) features; all three always at the same time … Design rests on the possibility of choice – ’this could have been chosen rather than that’. That permits the description of style as the effect of a series of choices made in the design of a message. Choice is always circumscribed by power in different ways, financial, social, cultural power, and so style is the politics of choice. Styles are subject to social evaluations and these lead to social ranking expressed as aesthetic judgements²⁶.

Skådespelaren Joseph Gordon-Levitt lyfter i en föreläsning vikten av att kunna samarbeta och inspireras av andra skådespelare i en filmproduktion. Han menar att i den moderna världen prioriterar vi allt för mycket hur resultatet och produkten av det vi gör - inom kreativa

sammanhang - ska generera bekräftelse och uppmärksamhet. Detta gör att man som konstnär

24 Jostein Gripsrud, Mediekultur och mediesamhälle, (Göteborg: Daidalos, 2011), s 95-140.

25 Kerry Freedman, Teaching Visual Culture: Curriculum, Aesthetics, and the Social Life of Art. (Illinois, University: Teachers College Press, 2003).

26 Gunther Kress, Multimodality: A Social Semiotic Approach to Contemporary Communication.

(London: Routledge, 2009), s. 27-28.

17 förlorar syftet med kreativiteten som istället resulterar i en tävling

. Att konkurrera

sinsemellan kreativa individer är en vanlig sport och lek, just det som Anna Freud menar utspelar sig på ett mer sofistikerat sätt i vuxenvärlden. Detta skapar en konflikt inom

konstvärlden. Vad anses som okej att göra respektive inte okej, vad är fint respektive fult?

. En sublimering skapas ur konventionerna och förväntningarna av individen, vilket formar hur vi skapar och vad vi väljer att inte skapa.

2.4.2 Bildens språk

Gunther Kress, professor i lingvistik, semiotik och utbildningsvetenskap, ägnade stor del av sin verksamma tid till teorierna om multimodalitet och socialsemiotik. Detta är relevant för att förstå vad bilder och tecken säger oss, eller snarare hur vårt uppfattande kommunicerar med hjälp av tecken. Semiotik handlar om resurser för att skapa mening och är studien och läran om tecken och vad de signalerar, och socialsemiotiken är läran om kommunikation,

interaktion och representation som inte endast tar hänsyn till språk i tal och text. Vi associerar saker och ting ur tolkningar av omvärlden, och för att kunna förmedla tolkningar till varandra växte språket fram på ett strukturerat sätt som gör kombinationer av ord och meningar

funktionella. Detta skapar i sin tur en kommunikation av väsentliga innebörder. Väsentliga i meningen att människan - inte nödvändigtvis medvetet - skapat och utvecklat det till ett praktiskt verktyg för att kunna uttrycka tankar och känslor på ett universellt plan

Nästan alla språk och all form av kommunikation går att översätta, men få innebörder som ett språk besitter går att till fullo översätta till ett annat. Till exempel har vi inom svenskan ett unikt sätt att prata om saker och ting, det kan vara hur vi är sarkastiska i ord, hur vi uttrycker känslor ur ord, ordens användande helt enkelt, vilket har formats av den svenska kulturen och normen som formats under generationer och blivit till det som identifieras som Svenska

. Det går att översätta svenskan för att göra de orden begripliga, men att översätta och förstå innebörden av den svenska kommunikationen är omöjligt såvida du inte upplevt språket.

27 How craving attention makes you less creative, J. Gordon-Levitt (TEDtalk, 2019), (tillgänglig via TED) [Video] https://www.youtube.com/watch?v=3VTsIju1dLI hämtad 2019-08-25

28 E. Vaillant, George, Ego Mechanisms of Defense: A Guide for Clinicans and Researchers. (Cambridge, Harvard: American Psychiatric Pub, 1992).

29 Gunther Kress, Multimodality: A Social Semiotic Approach to Contemporary Communication.

(London: Routledge, 2009).

30 Victor, Burgin, Thinking Photography. (London: Macmillian, 1982).

18 Språket är en tolkning av verkligheten för att kunna förstå och navigera betydelser - hitta vägen för mening - det vi anser viktigt att förstå innebörder av. Ord som exempelvis under och över är ingenting som existerar i den fysiska världen, många ord i språket är högst

abstrakta. Socialsemiotiken är läran om en slags kommunikation, utan att vara ett verbalt eller nedskrivet språk. Och precis så som socialsemiotik och språk är läran om betydelser och tolkningar av vår värld så är digital media också det. Digital media är på samma sätt inte en sann representation av världen, däremot skapt utifrån hur vi uppfattar världen och valt konstruera och använda den som redskap. Digital media är således det vi skapar av vårt uppfattande med dom teknologier och verktyg som vi har tillhanda. Enligt Kress har

bildmedia en högre modalitet, alltså betydelsepotential, än text. Ett fotografi av en hand skulle kunna antas uppfattas som mer realistisk än en ritad bild av en hand och i sin tur som att man får en sann uppfattning av att se någonting för vad det är och döma utifrån det. Det intressanta är dock hur det har visats sig vara lättare att identifiera handen om den är ritad istället för fotograferad

. Detta påvisar vikten av perceptionella koder i hur man konstruerar

verkligheten. Enligt Umberto Eco blir den ritade bilden ikonisk signifierad och får företräde framför dess betydelse, i det här fallet det verkliga fotografiet. Det betyder att en ritad bild överträffar ett fotografi som signalement. Av detta formas en konventionell steg för steg – process ju mer mottagaren blir bekant med det. Till slut blir den ikoniska representationen mer sann än vad vi av erfarenhet uppfattat verkligt, och vi börjar se på saker ur ett ikoniskt konventionellt perspektiv

. Detta ikoniskt konventionella perspektiv kan sättas in ett bredare sammanhang, nämligen relationen mellan text och bild. Kress beskriver hur texten sett genom konventionen blivit primär, alltför primär, och lyfter därför bildens betydelse:

Writing and image and color lend themselves to doing different kinds of semiotic work; each has its distinct potentials for meaning – and, in this case, image may just have the “edge over writing”. And that, in a nutshell – and, in a way, as simple as that – is the argument or taking ‘multimodality’ as the normal state of human communication … level of media and the dissemination of messages – most markedly in the shift from the book and the page to the screen; at the level of semiotic production in the shift from the older technologies of print to digital, electronic means; and, in representation as

31 T.A Ryan & C.B, Schwartz, ‘‘Speed of Perception as a Function of Mode of Representation’’, American Journal of Psychology 69:1 (1956), s. 66-69.

32 Eco, Umberto, A Theory of Semiotics. (Bloomington, IN: Indiana University Press/London:

Macmillan, 1976).

19

well as others. The effects are felt everywhere, in theory no less than in the practicalities of day-to- day living … there is no meaning without framing.³³

Avbildande medieformat, exempelvis dokumentärfilm, ses i vardagligt tal som den mest realistiska formen av multimodalt berättande eftersom den reflekterar verkligheten. Detta är dock ingen sanning, särskilt om man beaktar dokumentärfilmens kreativa drag, såsom ”a creative treatment of actuality”

, liksom att all form av representation består i en serie val som utesluter det ena men inte det andra. John Griersons tidiga definition av just

dokumentärfilmen som icke-realism äger än idag vikt, som Susan Kerrigan och Phillip Mcintyre utvecklar i The creative treatment of actuality. Däremot betraktas det allmänt som något realistiskt, trots att det egentligen inte är det, det reproducerar inte det fysiska objektet utan i allt väsentligt ”it abstracts from, and mediates, the actual”

. Förutom i de fallen där något är reproducerat från digitala källor där det inte nödvändigtvis finns något egentligt ursprung. Kress argumenterar att det som skapar en realistisk representation reflekterar en estetisk kod, vilket över tid blir neutraliserat. Konventionerna blir sedda som neutralt. I texter - vilket är en form av språk - ligger fokuset på innehållet och på så vis hur det definieras som sant, till skillnad från i digital bildmedia då det fokuseras på formen och stilen av

produktionen. Detta resulterar i att den realistiska trovärdigheten talar för sig själv då den dominerande och vetenskapliga diskursen framhävt mediet och koderna på ett förment transparant och neutralt sätt.

2.4.3 Platons estetik

Enligt de gamla grekerna och Platon definieras estetik utifrån huruvida ett verk – matematiskt sett – är harmoniskt, proportionerligt och enhetligt. Platon satte sig i opposition till konst, då han tyckte att det var onödigt eftersom konst är en representation – en flykt – som utspelar sig i kreativitet, när han istället tyckte det var viktigare att sträva efter sanning

. Estetik ska

33 Kress 2009, s. 1, s. 6.

34 Susan Kerrigan & Phillip McIntyre. “The creative treatment of actuality: Rationalizing and reconceptualizing the notion of creativity for documentary practice”. Journal of media Practice 11:2 (2010), s. 111.

35 Burgin 1982, s. 39-83.

36 Monroe C. Beardsley, Aesthetics from Classical Greece to the Present. (Tuscaloosa: University of Alabama Press, 1975).

20 enligt dess definition vara fint, vilket innefattar symmetri, mening och beslutsamhet ”Perhaps the most critically important aesthetic principle emerging from Hellenic antiquity is that beauty consists in the imaginative or sensuous expression of unity in variety; the one in the many”

, men vad ordet fint betyder är begränsat av språket. När ett verk beskrivs verbalt används ofta ord som beskriver korrektheten och huruvida verket är rätt utfört: det här penseldraget är så precist. Detta kan härledas till att ord som fint konkret egentligen inte beskriver någonting alls, det är ett högst abstrakt adjektiv, vilket Platon valt beskriva som en manipulering av koncept. Det kan tyckas lämpligt att använda abstrakta ordförråd för

abstrakta fenomen, här handlar det mycket om i vilket rum sammanhanget gäller. En person som har svårt för att tänka bildligt är förmodligen i större behov av ett konkret beskrivande, denna person ersätter gissningsvis det intellektuella utförandet bakom ett verk och är då mer intresserad av nyttan av produkten.

En konsekvens av detta är systematiken som formats i hur skolor och miljöer väljer att prioritera ämnesområden. Det visuella tänkandet främjas inte hos eleverna eller studenterna.

Redan i tidig ålder prioriteras huruvida du har ritat innanför formen – med rätt färg – istället för att låta fantasin flöda. Matematik och logiskt tänkande är grunden för att ett samhälle ska fungera utifrån de grunder vi skapat, vilket kan härledas ända tillbaka till just de gamla grekerna. En förkärlek för den praktiska nyttan, eller återgivningen, vilket kan få stora konsekvenser. Om man sätter det i relation med teknikens utveckling under de förlupna seklen kan man se stor effekt på hur vi organiserar vårt samhälle. Kress skriver om driften att låta teknologin styra institutionerna och att detta knappast kan vara önskvärt:

The pace of technological change cannot possibly be mirrored by social institutions, even though that seems intended in calls to accommodate to every innovation as a means of furthering efficiencies: the creaseless restructurings of organizations are one such symptom, in the requirement of individuals constantly to adapt. The more urgent question is to reflect what the relation between technological institutional, social and human pace should be. Society cannot hope to mimic the pace inherent in every technological innovation nor should it attempt to do so. In a healthy sociality, social, human aims and purposes must take precedence.³⁸

De grekiska filosoferna skapade en distinktion mellan sensorisk perception och förnuft, de

37 C. Beardsley 1975

38 Kress 2009

21 menade att de båda var i behov av varandra men olika varandra principiellt

. Den moderna skolan tar parti för vad som Platon anser vara onödigt, fantasi verkar vara som Anna Freud skriver, en lek. Ett estetiskt verk ska reproducera idén av dess uppkomst och vetskapen av

”smak”, vilket värderas ur moral som uppstår utifrån individens sociala fält. Bourdieu menar att utbildningar reproducerar den kulturen som institutioner befinner sig inom

. Skolor har en betydande roll i hur en artist formas, en skola är oftast lagd åt ett håll som förespråkar hög- kultur, fin-kultur. Som lärare formar man eleverna till att uppskatta och tänka kring konst och dess kultur på ett sätt som har uppstått från generationer av sociala kulturella fält i historien.

2.4.4 Visualisering av ljud

Ett eko är ett fenomen som sker när ljudet studsar och färdas vidare över ett långt avstånd vilket resulterar i ett upprepat ljud eller ett ljud som hörs före eller efter vibrationen som utlöst ljudet. Vanliga vardagliga yttringar av detta är exempelvis att man kan höra ett objekt innan man ser det, som en bil, eller blixten innan man hör den. Detta sker konstant i den fysiska världen eftersom världen är en enda stor yta med flera olika små eller stora ytor. Hur ljud yttrar sig och studsar beror på hur ytan är formad och vad ljudet har för frekvens. Exempelvis tränger basljud - som har en låg frekvens - bättre igenom ytor medan en hög frekvens studsar från yta till yta. Detta förklarar varför man kan höra grannens dunk och varför varningsalarm har ett ljud med hög frekvens, för att kunna färdas ett långt avstånd och nå så många som möjligt. När man installerar ljud måste man ha i åtanke var och hur ljudet ska installeras, i och med att ljudet just är beroende av ytan. Om man ska rigga för en spelning utomhus, måste man ha i åtanke att ljudet förmodligen kommer att rymma i och med att det finns få ytor att studsa mot. Om du däremot installerar ett surroundljud till tv:n i vardagsrummet måste du tänka på att ljudet inte ska studsa för mycket och att ljudet ska träffa i mitten mot soffan

.

39 Rudolf Arnheim, Visual Thinking. (Berkeley: University of California Press, 1997).

40 Derek Robbins, Bourdieu and Culture. (London: SAGE, 1992), s. 49.

41 Tapio Takala & James Hahn, ” Sound Rendering” Vol. 2. (1992), s.1-10.

22 I en föreläsning 2006 på en konferens kallad ”International Sound Healing Conference” i Santa Fe föreläste John Stuart Reid om ljudvågor. Reid är en akustiskingenjör, vetenskapsman och uppfinnare. Han menar på att ljudvågor inte alls är vågor, utan istället visualiserade han dem snarare som en kärna som slukar ljudet som sedan utsöndras i en större utsträckning

formad som en cirkel, nästan som en virvelvind roterandes inåtvänt istället för som en spiral.

Detta påverkar hur vi hittills ser på ljud och hur vi gestaltar det. Ljud är ofta visuellt gestaltat som en vågform, vilket lett till att det är så vi associerar ljud.

Om ett ljud skulle visualiseras som en

inåtvirvlande cirkel, skulle det kanske vara svårt för åskådare att förstå kopplingen mellan ljudet och bilden. Ljud är ofta visuellt gestaltat genom oscillatorer som transformerar ljudets hertz till vågformer. Den avgörande frågan kring gestaltandet av ljud är därför huruvida man vill uttrycka någonting och dela med sig av det med omgivningen eller om man vill lära och utvecklas.

42 The Shape of Sound, J. Stuart Reid (soundhealingsource, 2007), (tillgänglig via youtube) [Video]

https://www.youtube.com/watch?v=GlkIxpuF43o hämtad 2019-09-10.

Figur 2. John Stuart Reid ”Sound bubble and wave model”

23

3. Teori

3.1 Konvention

För att förstå hur det moderna konstnärliga mönstret av hur vi tolkar och utövar konst är det dialektiska perspektivet i denna uppsats behjälpligt. Det är ett lämpligt sätt att nå innebörden av kommunikation och psykologin bakom språket. Den ordlösa kommunikation som präglar konsten är svårbedömd och det är inte lätt att steg för steg förklara hur konstens konventioner uppkommit, varför det är lämpligt att angripa det från ett relationellt perspektiv.

Lev S. Vygotskij, en sovjetisk pedagog, psykolog och filosof var väldigt etablerad i ämnet.

Som inkörsport till teorin kommer jag att referera från boken Psykologi och dialektik, som är en antologi i urval av Lars-Crister Hyden:

Grundtanken i Vygotskijs teori är att varje konstverk är uppbyggt av motsägelsefulla utvecklingstendenser. Den spänning som alstras av dessa leder fram till våra reaktioner på ett konstverk. Oftast innehåller också konstverket en punkt där alla de olika utvecklingstendenserna löper samman till en punkt, som utgör en utlösning av alla de spänningar som byggts upp. Detta kallar Vygotskij med en term från Aristoteles ’’Katharsis”.⁴³

Detta kan kopplas till Anna Freuds relatering och subliminering. Inom konst relaterar vi gärna till konstverket, vilket gör att en spänning uppstår, men det motsägelsefulla – det vi inte kan relatera till eller förstå. - är det som verkligen

skapar spänningen. Exemplet Maskare, enligt ovan, illustrerar detta förtjänstfullt. Där har konstnären medvetet valt att förvirra åskådaren för att skapa just spänning. Katharsis betyder inom psykologi att rensa bort negativa känslor, ordet i sig är grekiskt och betyder just rensa. Vygotskij menar alltså att konst har en rensande funktion för måendet och tankeprocesser. Det verkar alltså vara så att fokuset i hur konst förmedlas är två motsägelsefulla poler, där den ena drar mot att vara rehabiliterande och den andra snarare irriterande. Det kan också kopplas till forskningen om (se ovan) icke synkron i tal och munrörelser som skapar en reaktion hos åskådarna som liknar depression.

43 Lev S. Vygotskij, ’’Tankespår’’, Psykologi och dialektik, En antologi i urval av Lars-Crister Hyden.

(Stockholm: Norstedt/Prisma, 1981), s.13.

44 Neil Evernden, The Social Creation of Nature. (Baltimore: JHU Press, 1992).

24 Hur konsten sedan utövas har stor betydelse i hur vi tolkar världen och naturen. Naturen är på sitt sätt skapt av människan med människans ord och perspektiv, och likaså är vi skapta av naturen. Konst är på så vis en projicering av världen. Ur atrikeln ’’Einstein and the Art of Yevgeny Zamyatin’’ beskrivs det på detta vis ’’all realistic forms represent a projection on to the static, flat coordinates of the Euclidean world. But these coordinates do not exist in nature, and nor does this limited, static world – it is a convention, an abstraction, it is unreal

’’. Detta är viktigt att nämna eftersom det sätter diskursen för våra konventioner, inte minst då en annan anledning till att utöva konst kan ses som en transformation från konst till produktion.

Produktion är ur det synsättet konst som syftar till att vara vinstdrivande, där institutioner och system såsom skolor och sociala fält ofta fokuseras kring det som kommer belöna dess investering

.

William J Leatherbarrow utvecklar detta resonemang genom att anknyta till hur Einsteins teorier krockar med direkt mätbara i den euklidiska världsbilden. En förklaring till konstens konventioner (och alla konventioner egentligen) går inte att studera som ett direkt

orsakssamband:

And therefore ’socialist’ and ’bourgeois’ realism is unreal. Immeasurably closer to reality is

projection on to rushing, curved planes – something which is being done in equal measure by the new mathematics and the new art. Non-primitive realism, realiora rather than realia, consists of

displacement, distortion and crookedness , of non-objectivity …. The new form is not accessible to all – for many it is difficult. The habitual and the banal are of course simpler, pleasanter and more comfortable. Euclid’s world is very simple, Einstein’s very difficult – but nevertheless it is impossible to return to Euclid’s⁴⁷.

3.2 Förhållandet mellan naturen och teknologi

Om man som åskådare har ovanstående i åtanke kan det påverka hur vi väljer att definiera och bestämma konstens utveckling. Hydén skriver vidare att ”kultur, allmänt talat, producerar inte

45 W. J Leatherbarrow, ’’Einstein and the Art of Yevgeny Zamyatin’’ The Modern Language Review, Modern Humanities Research Association 82:1 (1987), s. 146.

46 Gerardo Patriotta & Paul. M Hirsch, Mainstreaming Innovation in Art Worlds: Cooperative links, conventions and amphibious artists 37:2 (2016)

47 W. J Leatherbarrow 1987, s. 146

25 någonting nytt oberoende av vad som är givet av naturen”

dock transformeras naturen för att passa människans syften och uppträder i den kulturella utvecklingen av beteendet som också i sig självt består av det som givits av naturen. Detta påverkar beteendets naturliga

utvecklingsförlopp eftersom beteendets högre former inte har mer medel eller data till sitt förfogande än vad som uppstår av de lägre formerna av samma aktivitet. Han utrycker det själv på följande sätt:

Det faktum att idéassociationerna när vi tänker blir objekt för speciellt intresse och medvetet val förändrar dock inte lagarna för idéassociationerna. Tänkandet, strikt talat, kan inte göra sig mer oberoende av dessa lagar än en konstgjord maskin kan befria sig från fysikens lagar. Men trots det kan psykologiska lagar, såväl som fysiska, användas på ett sådant sätt att de tjänar våra syften. När vi avsiktligen blandar oss i beteendeprocessens förlopp, kan vi endast göra det i enlighet med samma laga som styr dessa processer i deras naturliga förlopp, precis som vi kan förändra den yttre naturen och få den att tjäna våra syften endast i enlighet med naturens lagar’’⁴⁹.

Om man sedan sätter detta i relation till hur vi avbildar världen konstnärligt uppstår insikten om att vi inte kan befria oss från oss själva och vår hjärna. Världen ser inte världen, utan det gör hjärnan. Vår idé av världen är inte verklig utan endast verklig för oss. Naturvetenskapliga fakta, som till exempel att alla färger egentligen är tvärtom och endast för att vår hjärna har omvandlat informationen räcker inte till för att förstå graden av hur mycket vi uppfattar och hur lite som är. Det lilla som är har vi inte fullständig koll på men vi vet att den finns där. Vi har fått för oss att vi ser en horisont, vi har fått för oss att det finns sådant vi inte ser, det vi inte förstår, det som andra arter kan se och förstå, men i praktiken är det snarare så att vi fått för oss att vi ser saker som egentligen inte finns där. Det finns ingen horisont. Och med denna kunskap, som många har, går det att framställa väldigt mycket nytt inom just konst och teknologi, oändliga möjligheter för just ljud och bild tillsammans dessutom, som konstform.

Vi är till viss del medvetna om dess gränser, att vissa saker undgår vår hjärnas att

uppfattningsförmåga och som därför är svåra att illustrera inom konst. Samtidigt vill vi uppnå denna spänning som alstras av motsägelsefulla utvecklingsprocesser.

48 Vygotskij 1981, s. 41

49 Vygotskij 1981, s. 41

26

3.3 Principer om gestaltning

Universellt inom design förhåller vi oss gärna till Gestalt-principerna som kommit att bli allmänt benämnt som lagen om Prägnanz, även känd som lagen om den gynnsamma figuren

. Rudolf Arnheim, en av förgrundsgestalterna inom Gestalpsykologi, utvecklar detta i bland annat boken Art and visual perception. Denna lag kan betraktas som föregångaren till den globala minimiprincipen, som hänvisar till tendensen att primärt uppfatta den enklaste och mest stabila figuren av alla möjliga perceptuella alternativ. Ett fenomen som kallas

förslutningsfenomenet är en nödvändig förutsättning för prägnanz-lagen och för tendensen till förenkling. Denna effekt uppkommer eftersom det mänskliga sinnet fortsätter att förslutas när det överskrider gränsen för informationens komplexitet i den visuella upplevelsen. Sinnet förenklar kort sagt bilden genom att försluta den och behålla endast de väsentliga delarna.

Ofullständighet och kontinuerlig förändring i en visuell bild motstår förslutning och ger uppfattning. Men detta äventyrar också synfältets tendens att bete sig som en helhet. Helheten är förutsättningen till en bra gestalt och den önskade förenklingen uppnås genom proceduren av prägnanz och förslutning som är tendenser som strävar efter att göra helhetliga

framträdanden. Där den visuella bilden inte kan bete sig som en helhet, det vill säga där en komplexitetströskel uppnås bortom vilken helheten blir svår att observera, utmanas den visuella helhetens tendens att hålla sig i sitt enklaste tillstånd.

Det verkar då som om helheten behöver avgränsas för att kunna kännas igen som en sluten geometrisk enhet. Den behöver aldrig vara uttalad som sådan i Gestalt-teorin men är samtidigt underförstådd i sin betoning på figur-mark-segregering och igenkännlig konturlinje. Denna uppfattning om en avgränsad helhet är en indikation på att gestaltprinciper kan vara föremål för geometriska begränsningar, det vill säga de kan fungera endast i vissa specifika

geometrier, nämligen diskreta geometrier, där förslutningen av en figur sker inom området mänsklig vision”

. Dessutom har ögat en intuitiv funktion i hur ögat tolkar varje rumslig relation mellan objekt eftersom det finns ett korrekt avstånd dem emellan. Konstnärer är känsliga för detta krav när de framställer bildobjekten i en målning eller elementen i en

50 Robert Fraher & James Boyd-Brent, ”Gestalt Theory, Engagement and Interaction’’ Work-in-Progress (2010), s. 3212-3214

51 Leatherbarrow 1987, s. 142-151.

27 skulptur. Formgivare och arkitekter söker ständigt rätt avstånd mellan byggnader, fönster och möbler

. Detta är högst relevant eftersom det förklarar vår relation till hur vi framställer visuals och hur ögat ”spårar” rörelse, vilket är av stor vikt eftersom just visuals är en rörlig bildsekvens. Det är även relevant med tanke på det Arnheim skriver i sin bok om Art And Visual perception. Han förklarar hur en cirkel förhåller sig och uppfattas inom en fyrkant. Är exempelvis cirkeln placerad mellan mitten och ett hörn uppfattar ögat det som att cirkeln är på väg mot antingen hörnet eller mitten. Fredrik Hägg skriver i sitt examensarbete

”Undersökning av vägval efter perceptions- och gestaltteori: Visuell vikt som vägledare i abstrakta bilder” att

Relationen mellan bildens dimensioner och innehåll ger positioner på en yta varierande

”rörelseenergi”, attraktion och repellering, oftast beskrivet som krafter. Exempelvis kommer en svart cirkel placerad nära hörnet av en fyrkant gravitera mot hörnet.⁵³

Oaktat att andra egenskaper, såsom form, storlek, riktning och så vidare innebär det att om cirkeln är placerad endast millimeter i någon riktning från mitten, uppfattar ögat det som att någonting inte riktigt stämmer

54

.

Parallellen till MRI-scanundersökningen är given i denna kontext. De osynkade munrörelserna skapade en reaktion i neuronerna hos åskådaren som liknar depression och delar av svaret ligger troligen i just Gestalt-principerna.

Arnheim är inne på exakt samma spår:

An unpleasant effect is produced by places where strokes are so unambiguous and ambiguous that the eye cannot determine if the disc is pushing in any particular direction. Such wavering obscures the

52 Rudolf Arnheim, Art and Visual Perception: A Psychology of the Creative Eye. (California: University of California Press, 2004).

53 Fredrik Hägg, Undersökning av vägval efter perceptions- och gestaltteori: Visuell vikt som vägledare i abstrakta bilder. Magisteruppsats, (Skövde: Högskolan i Skövde, 2015), s 4.

54 Arnheim, Rudolf (2004). Art and Visual Perception: A Psychology of the Creative Eye. California:

University of California Press

Figur 3. Olika placeringars tendenser till uppfattade krafter

28

visual statement and disturbs the observer's perceptual judgment. In ambiguous situations, the visual pattern ceases to determine what is seen, and subjective factors of the observer, such as his focus of attention or his preference for a particular direction, come into play. Unless an artist welcomes ambiguities of this kind, they will make him look for more stable arrangements.⁵⁵

Genom dessa arrangemang sker en organisering av visuella former som skapar en så kallad retinal stimulering. När hjärnan uppfattar nya visuella sinnesintryck formateras de till andra hjärnområden tills det visuella mönstret är färdigställt i de olika områdena av syncentrum.

Hur denna komplexa process sker som fysiologisk motsvarighet till våra

uppfattningsförmågor och var det har sitt ursprung, och genom vilka särskilda mekanismer den kommer till, ligger bortom vår nuvarande kunskap. Om vi gör antagandet att varje aspekt av ett visuellt sinnesintryck har en fysiologisk motsvarighet i nervsystemet, kan vi på ett generellt vis förutse den sortens hjärnprocesser. Dessa processer antas vara fältprocesser och det betyder att vad som än händer på en plats bestäms av interaktionen mellan delarna och helheten.

'In a group of actors, it dominates the far left stage. The audience identifies with him and sees the others, from his position, as opponents. Gaffron relates the phenomenon to the dominance of the left cerebral cortex, which contains the higher brain centers for speech, writing and reading. If this dominance applies equally to the left visual center, there is a difference in our awareness of visual data in favour of those perceived in the right field of vision.⁵⁶

Det som syns till höger i synfältet blir mer markant, vilket skulle förklara varför objekt som uppstår/skapas/framträder där är mer iögonfallande. En förhöjd uppmärksamhet sker för det som uppstår till vänster och kompenserar för asymmetrin, och ögat skulle spontant byta fokus från platsen för första uppmärksamhet till området där det mest markanta uppstår. Om denna analys är korrekt, utmärker sig den högra sidan för att vara den mer iögonfallande och för att öka ett objekts visuella vikt, kanske för att när uppmärksamhetens centrum ligger på den vänstra sidan av synfältet riktas en hävstångseffekt åt föremål till höger. Vänster sida i sin tur utmärks av att vara den mer centrala, och betonas av betraktarens identifiering med den

.

55 Arnheim 2004, s. 17.

56 Arnheim 2004, s. 35.

57 Arnheim 2004, s. 35.