Dissonans i två dimensioner

Kandidatarbete i medieteknik, Institutionen för teknik och estetik, vårtermin 2020

Dissonans i två dimensioner

Joakim Rydberg | Gustav Svensson Handledare:

Peter Giger Sebastian Hastrup

Daniel Nilsson

Examinator: Annika Olofsdotter Bergström

2

ABSTRAKT

Detta kandidatarbete diskuterar ljud och bilds förmedlande krafter i en audiovisuell skapande process utifrån begreppet audiovisuell dissonans och Circumplex Model of Affect (Russell, 1980) samt dess nyckelbegrepp valence-arousal. Vi har valt att applicera undersökningens centrala begrepp audiovisuell dissonans som designperspektiv. Dissonans kan också beskrivas som motsägelse, en audiovisuell dissonans är då en motsägelse mellan ljud och bild. Chion (1994) myntade begreppet audiovisual counterpoint vilket han beskriver som när det audiella och det visuella mediet inte stämmer överens. Vi har i arbetet strävat efter att skapa dissonans mellan representationer av olika känslor i det audiella samt visuella mediet. För att skapa dessa dissonanser använder sig undersökningen av Circumplex Model of Affect (Russell, 1980) vilket är ett sätt att placera ut känslor i ett tvådimensionellt koordinatsystem i relation till varandra utifrån känslans upplevda valence-arousal. Valence är begreppet som beskriver hur positiv eller negativ en känsla är medan arousal beskriver hur intensiv känslan är. Detta koordinatsystem baseras på att känslor som är placerade nära varandra har mer gemensamt än de känslor som är placerade långt ifrån varandra.

Denna undersökning syftar till att kunna få en tydligare bild av hur det audiella och det visuella mediet påverkar en persons emotionella upplevelse samt hur en dissonans kan skapas mellan dessa två medier. Undersökningen resulterade i en skapande process med stark

koppling till tidigare forskning kring emotionella stimuli samt medietekniska arbetssätt.

Skapandet av en matris genom sammanställning av den tidigare forskningen skapade fokus och ett tillvägagångssätt som lett den skapande processen framåt. Undersökningen hanterar frågor kring emotionella stimuli i samverkan med det audiella och visuella mediet. Nya frågor har framträtt där vi frågar oss om det är de audiella samt visuella mediets fysiska uppbyggnad eller deras association till vardagen som ligger till grund för vilka känslor som framkallas.

Nyckelord: Audiovisuell dissonans, Circumplex Model of Affect, Valence, Arousal, Designprocess, Känslor, Abstrakt, Medieteknisk installationskonst

3

ABSTRACT

This bachelor thesis discusses the conveying power of the audio and visual media in an audiovisual creative process based on the concept of audiovisual dissonance and Circumplex Model of Affect (Russell, 1980) with its key components, valence and arousal. In this design process we use the research key concept of audiovisual dissonance as a design perspective.

Dissonance can also be described as a contradiction, with this an audiovisual dissonance can be seen as a contradiction between the audio and visual media. Chion (1994) coined the term audiovisual counterpoint which he describes as when the picture and the sound doesn’t match. In this design process we strived to create dissonance between audio and visual representations of different emotions. To create these dissonances the design process uses the Circumplex Model of Affect (Russell, 1980) which is a way to organize emotions in a two- dimensional coordinate system in relation to each other and their experienced valence-arousal.

Valence is the concept that describes if the emotion is positive or negative while arousal is the concept that describes how intense the emotion is. The proximity between each of the

emotions is based on their similarities in how they are experienced.

This study is based on the idea to get a better understanding of how the audio and visual media affects a person’s emotional experience and how dissonance could be created between these two forms of media. The study resulted in a creative process with a strong connection to previous research in affect and media technology related work procedures. The creation of a matrix based on previous research created a focus and an approach that was beneficial for the creative process. The study deals with questions about effect in cooperation with the audio and the visual medium. New questions have emerged where we question whether it’s the physical properties of the medium or their association in everyday life that determines the experienced affect.

Keywords: Audiovisual dissonance, Circumplex Model of Affect, Valence, Arousal, Design process, Emotions, Abstract, Installation art in media technology.

4

INNEHÅLLSFÖRTECKNING

ABSTRAKT ... 2

ABSTRACT ... 3

SAMSKRIVANDE ... 6

1. BAKGRUND ... 7

1.1 FRÅGESTÄLLNING ... 8

1.2 SYFTE MED UNDERSÖKNINGEN ... 8

2. TIDIGARE & AKTUELL FORSKNING ... 9

2.1 AUDIOVISUELL DISSONANS... 9

2.2 KÄNSLOR I TVÅ DIMENSIONER ... 9

2.2.1 Ljud kopplat till känslor ... 11

2.2.2 Färg kopplat till känslor ... 11

2.2.3 Intensity ... 12

2.2.4 Duration (tempo/speech rate) ... 13

2.2.5 Pitch ... 13

2.3 SOUNDSCAPE ... 13

2.4 FOUR SOUND AREAS FRAMEWORK ... 15

2.5 SAMMANFATTNING ... 16

3. METODER ... 17

3.1 DESIGNPERSPEKTIV ... 17

3.2 PROTOTYPMETODER ... 18

3.2.1 Sketching ... 18

3.2.2 Physical Prototyping ... 18

3.2.3 Prototype to Decide ... 19

3.2.4 Mind Mapping Som Metod ... 19

3.2.5 Brainstorming Som Metod ... 19

3.3 SOUNDWALK ... 20

3.4 PRODUKTIONSMETODER ... 21

3.4.1 Mixed Additive Composites ... 21

3.4.2 Vary Scope ... 21

3.4.3 Four Sound Areas Framework som Metod ... 22

3.5 SAMMANFATTNING ... 22

4. DESIGNPROCESSEN ... 23

4.1 FÖRSTA VISION ... 23

4.2 FÖRSTA OPERATIV BILD ... 24

4.3 ANDRA VISION ... 25

5

4.3.1 Analys av Karlshamns Soundscape ... 26

4.4 ANDRA OPERATIV BILD ... 27

4.4.1. Teensy ... 28

4.4.2 Pure Data ... 28

4.5 TREDJE OPERATIVA BILD ... 29

4.5.1 Mind Mapping ... 29

4.5.2 Brainstorming ... 30

4.6 FÖRSTA SPECIFIKATION ... 30

4.6.1 Ljudläggning ... 30

4.6.2 Mixning ... 32

4.6.3 Ljusläggning ... 33

4.7 SLUTGILTLIG GESTALTNING ... 34

4.8 SAMMANFATTNING ... 35

5. RESULTAT AV UNDERSÖKNINGEN ... 36

6. DISKUSSION ... 39

REFERENSLISTA ... 43

ORDLISTA ... 47

BILAGOR ... 50

6

SAMSKRIVANDE

Detta kandidatarbete har gjorts av Joakim Rydberg och Gustav Svensson. I vår samskrivande process har vi värderat det individuella skrivandet högt. Utifrån våra styrkor har vi delat upp processen för att få ett mer effektivt och kvalitativt skrivande. Vi har jobbat iterativt med texten genom att ge feedback på varje del. Genom att läsa och diskutera varandras delar av texten har vi kunnat forma en mer flytande och konsekvent språkdräkt.

7

1. BAKGRUND

Ett intresse vi delar är film. Där otroliga världar byggs upp av ljud och bild, där det ena förstärker det andra. Att helt plötsligt stänga av ljudet på en film ger en uppfattningen av vilken kraft det audiella berättandet har i filmen angående vilka känslor man som tittare känner. Är en skräckfilm för läskig? Då är det ofta ljudet du sänker först, om inte detta räcker så kanske du stänger av filmen helt. Tanken att endast ljudet kan transportera dig till denna skräckinjagande värld tycker vi är fascinerande och resulterade i denna undersökning som utforskar den audiovisuella kopplingen till emotionella upplevelser.

Walter Murch (1992) skriver om en prioriteringslista inom filmklippning om vad som är viktigast att framföra i en scen, denna lista består av sex punkter, “1) Emotion 51%, 2) Story 23%, 3) Rhythm 10%, 4) Eye trace 7%, 5) Two-dimensional plane of screen 5%, 6) Three- dimensional space of action 4%” (Murch, 1992, s.18). Murch anser att känsla (emotion) ligger i topp och bör prioriteras högre än de andra punkterna. Om det är något vid klippning av film som behöver offras av dessa sex punkterna ska du arbeta dig uppåt från three- dimensional space of action, men i största mån sträva efter att uppfylla alla sex punkter. Vi anser att känsla (emotion) har samma prioritering i ljudmediet men är av ännu högre signifikans i den audiella arbetsprocessen. Tidigare forskning om emotionella upplevelser i media, såsom film och musik, har använt sig av Circumplex Model of Affect (Russell, 1980).

Denna metod låter en se vilken känsla som upplevs och bygger på vilken styrka känslan har och hur positivt eller negativt den upplevs. Med hjälp av data från tidigare undersökningar inom emotionella kopplingar till det audiovisuella mediet vill vi designa och utforska olika typer av dissonanser i en abstrakt gestaltning.

8

1.1 FRÅGESTÄLLNING

Hur kan vi skapa audiovisuell dissonans i en abstrakt gestaltning med hjälp av Circumplex Model of Affect?

1.2 SYFTE MED UNDERSÖKNINGEN

Detta kandidatarbete syftar till att utforska skapandet av audiovisuell dissonans i en abstrakt gestaltning utifrån känslor tolkat från Circumplex Model of Affect. Även skapa en framtida förståelse kring audiovisuell dissonans samt audiella och visuella parametrars effekter på emotionella upplevelser.

Chion (1994) talar om hur dissonans ofta förekommer i film och tv. Det vi vill undersöka är dissonans kopplat till en mer abstrakt form av det audiovisuella mediet med ett specifikt fokus. Detta fokus är människors emotionella koppling till olika ljud och färger. Frågor vi hade när vi gick in i detta arbete var: Vad resulterar en dissonans mellan en (enligt

Circumplex Model of Affect) glad färg och ett (enligt Circumplex Model of Affect) argt ljud i?

Går det att skapa dissonans i en abstrakt audiovisuell gestaltning eller kräver dissonans mer konkret material?

9

2. TIDIGARE & AKTUELL FORSKNING

I det här kapitlet kommer vi att gå igenom olika vetenskapliga källor som är relevanta för vår undersökning. Dessa källor berör ämnen såsom audiovisuell dissonans, Circumplex Model of Affect, valence-arousal, psykoakustik, soundscape och Four Sound Areas Framework. Vi kommer först att beskriva audiovisuell dissonans för att lägga en grund för vad det är vi kommer att utforska samt skapa större förståelse kring uttrycket. Vi kommer sedan att gå in på Circumplex a Model of Affect och samspelet mellan valence-arousal i ett audiovisuellt sammanhang för att tillslut gå in på hur gestaltningen kommer skapas genom soundscape och användandet av Four Sound Areas Framework.

2.1 AUDIOVISUELL DISSONANS

Den franske filmteoretikern Michel Chion (1994) fastställde begreppet audiovisuell dissonans (audiovisual counterpoint) och beskriver det som när bilden och ljudet inte passar ihop.

Exemplet han tar är när det visas cykellopp på tv och man ser cyklisterna filmas från en helikopter men ljudet är från kommentatorerna som för en dialog med en cyklist som inte är med i loppet. Høier (2018) beskriver detta som en dissonans mellan point of audition (POA) och point of view (POV). Point of audition är därifrån man hör ljudet, i detta fallet

kommentatorsbåset eller studion som kommentatorerna sitter i. Point of view är därifrån man ser bilden, i detta fall en helikopter. Om cykelloppets POA hade stämt överens med dess POV hade det enda vi hört från sändningen varit en helikopter.

2.2 KÄNSLOR I TVÅ DIMENSIONER

I texten A Circumplex Model of Affect skriver Russell (1980) om trenden att beskriva känslor med hjälp av två dimensioner, dessa två dimensioner är valence och arousal. Modellen består av ett koordinatsystem (se Figur 1) där känslor faller in i en cirkel. Russell beskriver att känslor inte är oberoende av varandra och genom att placera känslor i en cirkel i detta

koordinatsystem visar man känslornas association till varandra beroende av deras avstånd till varandra i cirkeln.

10 Kuppens m.fl. (2017) talar om

utmaningen att förstå hur känslor spelar in i den subjektiva

upplevelsen. Begreppen valence och arousal har under ett flertal

forskningar (Schlosberg, 1952;

Abelson & Sermat, 1962; Royal &

Hays, 1959) tagits fram för att mäta känslor i två dimensioner. Valence är begreppet som anger om en känsla är positiv (positive valence) eller negativ (negative valence) och arousal är begreppet som används för att förklara vilken intensitet

känslan har eller vilken grad av aktivering känslan för med sig, på både gott och ont. Två exempel på detta kan vi se om vi tittar i A Circumplex Model of Affect (Russell, 1980) (se Figur 1). Här ser vi att rädsla är en känsla med negative valence (en negativ känsla) och hög arousal (hög intensitet/aktivering). Motsatsen till denna känsla är då en positive valence (positiv känsla) och låg arousal, det vill säga känslan lugn eller avslappnad.

Kuppens m.fl. (2017) går sedan in på hur arousal och valence förhåller sig till varandra. Detta skiftar mellan kulturer och typer av människor, exempelvis har extroverter konsekvent ansetts uppleva högre arousal i känslor kopplade till hög och låg valence medan introverter å andra sidan har upplevt lägre arousal på samma känslor kopplade till hög valence. Det betyder att en extrovert som befinner sig i hög valence resulterar i hög arousal (t.ex. en känsla av upprymdhet) gentemot en introvert som i samma valence skulle uppleva lägre arousal (t.ex.

en känsla av lugn). Vid låg valence upplever extroverter ofta känslor som bekymmer medan introverter känner dysterhet. Det har även visat sig finnas skillnader mellan olika kulturer.

Västerländska kulturer visar trender på hög arousal medan Österländsk kultur visar trender på låg arousal.

Figur 1: Circumplex Model of Affect

11

2.2.1 Ljud kopplat till känslor

Baird, Parada-Cabaleiro, Fraser, Hantke & Schuller (2018) undersöker syntetiskt ljuds koppling till arousal och valence, genom att skapa en lista med 144 syntetiska ljud skapade med hjälp av datorprogrammet Csound bestående av tre typer av ljudvågor (sinus-, sågtand- och fyrkantsvåg), 12 olika frekvenser, två olika skiftningar i ljudnivå i tid (amplitude

envelope lengths) och två olika varaktigheter. 40 deltagare bads genomföra undersökningen i en självutnämnd lugn miljö för att fastställa att tidigare emotionellt tillstånd skulle ha liten påverkan på resultatet. Undersökningen resulterade i en förståelse om hur upplevelsen av syntetiska ljud med olika akustiska variationer kopplar an till valence-arousal. Arousal visar en signifikant koppling till ljudvågor med rena frekvenser till exempel sinusvågor som endast innehåller en frekvens. Baird m.fl. (2018) menar för att kunna skapa soundscapes med lägre upplevd arousal passar sig användandet av ljudvågor med simpelt frekvensinnehåll. Däremot visar de olika akustiska faktorerna inte något tydligt resultat kopplat till valence.

2.2.2 Färg kopplat till känslor

Wang och Ding (2012) skriver om människors emotionella upplevelse av olika färger. De skriver att färger har stor påverkan på våra känslor, “Some colors make people feel happy, while others make people feel depressed.” (Wang & Ding, 2012, s.469). Färgkänsla (color emotion) definieras som färgers relation till åskådarens psykologiska respons. Genom att välja ut 52 olika färger från CIELAB Lch bestående av sju olika nyanser (hue), röd, orange, gul, grön, indigoblå, blå och violett. Minst tre olika versioner av varje nyans valdes ut med olika lightness (ljusstyrka) och chroma (färgmättnad) för att undersöka skillnader i upplevd

valence-arousal. Utöver dessa färger valdes också fyra gråa, en svart och en vit färg ut. Deras testgrupp bestod av 20 högskolestudenter. De 52 olika färgerna valdes ut slumpmässigt och visades sedan på en skärm, efter detta skrev testpersonerna ner deras upplevda valence- arousal kopplat till den sedda färgen innan de gick vidare till nästa färg. Resultatet visar stora skillnader i upplevd valence-arousal mellan akromatiska och kromatiska stimuli medan skillnaden i de kromatiska versionerna var små. Det fanns en tydlig positiv korrelation mellan lightness och chroma och upplevd valence-arousal. Akromatiska färger är färger i gråskala, det vill säga grå svart och vit. Kromatiska färger är de färger man kan se i regnbågen

exempelvis röd, grön, blå och gul.

12 Psykoakustik beskrivs av Holman (2008) som hur våra mänskliga hjärnor uppfattar ljud. Vår uppfattning av ljud börjar med ljudvågor som tar sig in i våra öron där de via innerörats mekanik omvandlas till elektriska impulser som sedan tolkas av vår hjärna. Musik och tal är två medier där det finns en stark koppling till känslor skriver Coutinho och Dibben (2012).

Deras undersökning fokuserar på grundläggande psykoakustiska element som “... loudness, pitch level and contour, tempo, and timbre” (Coutinho & Dibben, 2012 s.1). Deras

undersökning bestod av två delar. Först kom den empiriska fasen där testpersoner, bestående av 26 kvinnor och 26 män med olika nivåer av intresse/kunskap om filmmusik, fick lyssna på ljud i form av filmmusik och tal för att sedan i Circumplex Model of Affect (Russell, 1980) placera ut sin upplevda valence-arousal. Detta skedde under tiden de lyssnade för att få en kontinuerlig uppfattning av upplevda känslor kopplat till de olika sektionerna i det hörda ljudstycket för att kunna identifiera vilka psykoakustiska aspekter som påverkade den emotionella upplevelsen. Det andra steget använde sedan data från den empiriska fasen vid skapandet av ett datorprogram vars mål var att identifiera upplevt emotionellt innehåll i filmmusik och tal med hjälp av psykoakustiska element. Deras resultat visar på att vissa psykoakustiska element, såsom intensity (ljudstyrka), duration (varaktighet) och pitch

påverkar känslor. Tidigare forskning tyder också på att pitch height och intensity har påverkan på upplevd känsla (Ilie & Thompson, 2006). Forskningen pekar dock inte på vilka

psykoakustiska element som är kopplade till vilken emotionella upplevelse då detta är icke- linjärt och inte samma för alla.

2.2.3 Intensity

Intensity mäts i skalan decibel (dB) som grundar sig i tryckskillnader i luften korrelerat till vad våra öron kan höra (Sonnenschein, 2001) och tar inte vår subjektivt upplevda ljudstyrka i åtanke till skillnad från loudness.

Loudness skulle kunna översättas till upplevd ljudstyrka och beskrivs som sättet att klassificera ett ljud från tyst till högljutt (Karjalainen & Pulkki, 2015).

13

2.2.4 Duration (tempo/speech rate)

“... duration consists of the rate of speech (SR) and musical tempo (T).” (Coutinho & Dibben, 2012, s. 8.) Tal-intonation är sättet som du talar. Denna intonation ändras vid användandet av olika tempo, betoning och klangfärg i sitt tal beroende på vad man vill förmedla för känsla.

Speech rate är hur snabbt du som person talar (Coutinho & Dibben, 2012) och beroende på hur du känner dig i talande stund kan din speech rate ändras. Vi anser att i ett stressat emotionellt tillstånd tenderar folk att tala snabbare jämfört med om de skulle vara i ett lugnt och avslappnat tillstånd där tendensen att tala långsammare möjligtvis framträder. Musikaliskt tempo har visats ha påverkan på människors emotionella tillstånd. Tempo har en tendens att påverka arousal mer än valence och leder till att snabba tempon och rytmer framkallar känslor med hög arousal såsom ilska och glädje (Ramos, Bueno & Bigand, 2011).

2.2.5 Pitch

Pitch är en grundläggande attribut i ljud, det är en viktig del i hur vi uppfattar tal, det hjälper exempelvis till att identifiera manliga, kvinnliga och barns röster (Karjalainen & Pulkki, 2015). Enligt American National Standards Institute (ANSI/ASA S1.1, 2013) beskrivs pitch som ett akustiskt element som kan klassificeras i en skala från låg till hög. Coutinho och Dibben (2012) talar om pitch level medan Everest och Pohlman (2015) talar om hur subjektiv termen pitch är. Pitch är starkt kopplat till frekvens “... pitch follow the gradient of low to high frequencies…” (Sonnenschein, 2001 s.67) men Everest och Pohlman (2015) talar om att det krävs mer än frekvens för att fastställa pitch, detta är mel. En ton på 1kHz kan upplevas som olika pitch beroende på ljudstyrka, det begreppet mel hjälper till med är att en pitch på 1,000 mel är en 1 kHz ton med en referensnivå på 60 dB. Pitch contour/variation används av de flesta för att framföra olika känslor i sitt vardagliga tal och olika talesätt beroende på vem du talar till (Pihan, Tabert, Assuras & Borod, 2008).

2.3 SOUNDSCAPE

Soundscape är någonting vi upplever hela tiden, vare sig man är inne eller ute, i skogen eller mitt i centrum i en storstad. Ett soundscape är den ljudbild som omsluter oss hela tiden. I skogen är det den lätta brisen genom trädens löv till fåglarnas sång, i storstaden är det den konstanta trafiken blandat med sorlet från människor. Enligt Schafer (1994) kan man dela in soundscape i två större grupper, hi-fi soundscape och lo-fi soundscape. Han beskriver hi-fi soundscape som ett soundscape där du kan höra diskreta ljud tack vare att ljudet från den

14 övriga ambiensen är så lågt, exempelvis skogssoundscapet där fåglarna sticker ut i ljudbilden.

Lo-fi soundscape är, till skillnad från hi-fi soundscape, när det blir “för många” ljud i

ljudbilden, eller som Schafer själv skriver det “an overdense population of sounds” (Schafer, 1994, s.43). Soundscapet som bildas i en storstad är ett bra exempel på ett lo-fi soundscape då ljuden oftast bara “smälter” ihop och blir till ett enda buller.

Moscoso, Peck och Eldridge (2018) talar om sin undersökning kring hur olika ljud i

soundscapes påverkar människor emotionellt. De valde ut testpersoner som bodde i tre olika typer av samhällen, de kallade dessa grupper “forest group”, “intermediate group” och

“urban group”. Den första gruppen bestod av folk som bodde i mindre byar i den

Ecuadorianska djungeln, den andra av folk som bodde i mindre städer (i detta fall Puerto Quinto med en folkmängd på ca. 20 000) och den tredje var folk från tätbebyggelser såsom Parker i Colorado, USA (folkmängd ca. 48 000), Coventry i England (folkmängd ca. 337 000) och Birmingham i England (folkmängd ca. 1,1 miljon). Totalt var det 177 deltagare som i början av undersökningen skulle tänka på deras hemstad och sedan tre ljud de kan koppla till känslorna “1) happiness, 2) sadness, 3) tranquility, 4) fear, and 5) irritation.” (Moscoso m.fl., 2018, s 4). De fick in totalt 1313 svar, 229 från forest group, 517 från intermediate group och 567 från urban group, som de delade in i 53 olika grupper. De 53 grupperna delade de in i en modifierad version av

Schafers (1994) kategorisering av ljud:

“Natural Sounds (such as birds, air and water), Human Sounds (such as voice, screams and body), Sounds and Society (such as domestic, digital and music), Mechanical Sounds (such as machines, guns and transportation machinery), Sounds as Indicators (such as bells, horns and explosions) and Other (such as silence,

noise, unknown things).” (Moscoso, Peck & Eldridge., 2018, s. 5)

Figur 2: Soundscape-uppfattning

15 I resultatet (se Figur 2) ser vi att det skiljer sig mellan forest group och de övriga grupperna.

För forest group var det natural sounds som stack ut mest på alla känslorna medan de andra kategorierna inte hade någon större inverkan på någon av känslorna. Moscoso m.fl. (2018) anser att detta har att göra med att de är mer avskilda från den moderna världen än de andra grupperna. Deras vardagliga soundscape är en natur-ljudbild och förknippar då fler känslor med just de ljuden till skillnad från de andra två grupperna som förknippar det med lugn (tranquillity). En av ljudkategorierna som genomgående speglade samma känsla var

mechanical sounds, som alla tre grupper tyckte hade en mer negativ påverkan och speglade mest irritation. En faktor som Moscoso m.fl. (2018) anser kan ha haft en påverkan på resultatet är att bara forest group och intermediate group testpersonerna var från Ecuador medan den tredje gruppen var från England och USA. De menar att det kan vara en kulturell skillnad i hur vi uppfattar ljud och hur vi tolkar dem rent emotionellt.

2.4 FOUR SOUND AREAS FRAMEWORK

Hillman och Pauletto (2016) påstår att alla audiovisuella gestaltningars ljudspår kan delas upp i fyra områden, balansen mellan dessa fyra kategorier i den slutliga mixen påverkar i sin tur vilken känsla som upplevs. De fyra kategorierna är:

“Logical- [...] communication and meaning, such as dialogue, commentary, diegetic music, symbolic and signaling sounds, [...] Abstract- [...] atmospheres, room tones and synchronous and non-synchronous sound effects, [...] Temporal- [...] rhythm, pace and punctuation, [...] Spatial- [...] positioning of the sounds within the surround soundfield…” (Hillman & Pauletto, 2016. s.89)

Dessa fyra kategorier kan förkortas LATS. Exemplet som Hillman och Pauletto (2016) tar är filmen Here and Now (Turner, 2014), som var planerad och mixad utifrån Four Sound Areas Framework. Denna film består av åtta huvudsakliga scener. Genom att placera ut de åtta scenerna i ett valence-arousal koordinatsystem (se Figur 3) utifrån skaparens önskade förmedlade känsla kopplat till respektive scen kunde Hillman och Pauletto (2016) analysera balansen mellan de fyra kategorierna (LATS) för att få fram hur de olika balanserna såg ut kopplat till scenens framkallade känsla. Genom att applicera Circumplex Model of Affect (Russell, 1980) på koordinatsystemet ser vi att i scenen kallad castle (se Figur 4a) var tanken att framkalla en negativ deprimerande eller sorgsen känsla, medan scenen kallad river (se Figur 4b) skulle framkalla en känsla av upprymdhet. För att visa skillnaden på dessa balanser visar vi två exempel från Hillman och Pauletto (2016). I scenen castle (se Figur 4a) ligger det

16 stor tyngd på Abstract som består av fågelljud och vind, Spatial som består av vind i surround och reverb på dialog och Logical som består av dialog. I scenen river (se Figur 4b) ligger betoningen på Abstract som består av vind, träd och fåglar, Temporal som består av rinnande vatten, plaskande i vatten och musik och Logical som består av dialog och ljud från svanar i vatten. Alla resultat visar att Logical ligger på samma nivå igenom alla scener i filmen Here and Now (Turner, 2014). Om tanken är att få negativa känslor att träda fram i en audiovisuell gestaltning kan en mix som baseras i Logical var givande och om tanken är att framföra positiva känslor kan Abstract vara vägen fram (Hillman & Pauletto, 2016)

2.5 SAMMANFATTNING

Arbetets forskningskällor har haft en stark psykologisk natur kring termer kopplat till emotionella upplevelser, såsom Circumplex model of affect (Russell, 1980) och Valence- arousal (Kuppens m.fl., 2017). Dessa termer har även återfunnits i de mediespecifika källorna kring det audiella och visuella mediets sätt att förhålla sig till dessa termer. Valet av källor har breddat vår kunskap inom dessa områden samt hur de psykologiska källorna kan samverka med ett gestaltande medie.

17

3. METODER

Denna del av texten går igenom vilka metoder vi har använt oss av under designprocessens gång. Dessa metoder innefattar: projekt-, gestaltnings-, design-, prototyp- och

produktionsmetoder. Vi har valt dessa metoder utefter vad vi anser passande för de mål vi satt upp för undersökningen. Vi har valt metoder som har styrt oss i en tydlig riktning men

samtidigt inte begränsat vår kreativa process.

3.1 DESIGNPERSPEKTIV

Vårt designperspektivs grundpelare är audiovisuell dissonans (Chion, 1994) men det kan ses som något mycket mer komplext. Vi har applicerat designperspektivet som ett ramverk vars syfte var att leda oss på rätt väg. Alla frågor, val och beslut vi tagit har filtrerats genom vårt designperspektiv för att främja vår undersökning.

Vårt designperspektiv innehåller, utöver audiovisuell dissonans, ett flertal väsentliga delar starkt kopplade till tidigare och aktuell forskning som vi förhållit oss till under

undersökningens gång. Soundscapes, som var en av dessa, inverkan på hur folk upplever ljud i sin omgivning resulterade i beslutet att applicera Karlshamn som målgrupp då forskning pekar på hur folk i mindre städer associerade ljud från sin hemstads soundscape med känslor.

Circumplex Model of Affect (Russell, 1980) gav oss en tydlig bild av emotionella upplevelser i det audiovisuella mediet. Tidigare forskningsresultat om det audiella och visuella mediets koppling till denna modell ledde till skapandet av en matris vars uppgift var att hjälpa oss utforska emotionell upplevelse i abstrakta former av det visuella och audiella mediet kopplat till dissonans. Dessa begrepp och dess bakomliggande forskning har format vårt

designperspektivs mer komplexa definition av dissonans som styrt vårt arbete framåt.

18

3.2 PROTOTYPMETODER 3.2.1 Sketching

Sketching är en prototypmetod som är effektiv när du snabbt vill visualisera nya idéer under projektets gång.

“Paper sketches are great when - 1. Designer/product manager is thinking through all the initial ideas running through his head, 2. outline the steps in a user flow 3.

explore and validate variety of layouts 4. and to show the basic app structure.”

(CanvasFlip, 2016).

Det finns två stadier av sketching, lo-fi sketching och hi-fi sketching. Lo-fi sketching består av enkla sketcher som ofta bara används inom laget och som brainstorming metod, medan hi-fi sketching består av mer avancerade sketcher som kan testas på och diskuteras kring med kunden. Vårt arbete använde sketching mestadels kring den fysiska delen av gestaltningen, såsom hur vi ska göra den interaktiv, var vi ska placera högtalare och lampor osv. Vi anser att kodning i Arduino, för att testa vår interaktiva funktionalitet, också använde sig av sketching.

Med detta sagt faller våra initiala skisser angående vår fysiska gestaltning under lo-fi

sketching och våra programmerings-skisser faller under hi-fi sketching då dessa låter oss testa vår gestaltnings funktionalitet i realtid.

3.2.2 Physical Prototyping

Vid design av en produkt är det viktigt att flytta sin design från pappret till ett föremål i den tredimensionella verkligheten. Detta är för att få en känsla av form, storlek och funktion.

En fysisk prototyps roll i skapandet av en produkt är att i olika stadier av designprocessen ge tillräckligt mycket information om produkten vilket sedan kommer hjälpa skaparna i sin fortsatta väg framåt. Det finns olika typer av fysiska prototyper, Visual Prototype är en prototyp vars mål är att framföra produktens form och dimensioner. Functional Prototype skapas för att testa funktion hos produkten men behöver inte visa någon finslipad estetisk design eller dimensioner. Working Prototype blandar sedan dessa två och skapar en produkt med rätt form, dimensioner och funktionalitet.

Med dagens tekniker såsom 3D-skrivning och laserskärning är det lätt att skapa komplexa fysiska prototyper men en fysisk prototyp kan också bestå av en simpel estetisk modell i lika simpla material (Candy, 2018).

19

3.2.3 Prototype to Decide

För att lösa gestaltningsrelaterade problem och svara på frågor har vi använt oss av metoden Prototype to Decide (Doorley, Holcomb, Klebahn, Segovia, & Utley, 2018)

Denna metod beskrivs som ett bra sätt att ta sig framåt i en designprocess där lagmedlemmar har splittrade tankar angående designen. Sättet att lösa dessa konflikter är enligt denna metod att prototypa problemet och testa dessa prototyper med hjälp av användare och andra aktörer.

Om användarna gillar det som protoypas kan denna prototyp visa sig vara den fortsatta vägen framåt. Vid användning av denna metod är det viktigt att få ner de eventuella problemen till sin kärna för att sedan tydligt kunna framföra dessa prototyper till användarna.

I vårt arbete dök vi ner i vissa, för oss, okända områden. Denna metod lät oss snabbt och enkelt skapa en prototyp utifrån en identifierad fråga eller ett problem för att sedan kunna visa denna för relevanta aktörer och få deras åsikt angående problemet/frågan.

3.2.4 Mind Mapping Som Metod

Mind Mapping är ett kreativt och strukturerat sätt att notera information på ett lättförståeligt sätt. Alla mind maps delar samma struktur, de består av en mittpunkt eller grundidé som sedan, med linjer, binder ihop ett flertal olika mindre tankegångar kring denna kärna. De består av linjer, symboler, bilder, färger och ord för att lätt hålla ordning på ens tankar och information. “The mind map is the external mirror of your own radiant or natural thinking facilitated by a powerful graphic process, which provides the universal key to unlock the dynamic potential of the brain.” (Mindmapping.com, 2020). Vi har valt att använda Mind Mapping då vi ansåg att det var ett lättförståeligt sätt att sammanställa våra tankar och information kring olika forskningskällor och deras koppling till vår gestaltande process.

3.2.5 Brainstorming Som Metod

Brainstorming beskrivs som en associativ metod som syftar till att hjälpa grupper att snabbt generera idéer. Brainstorming består i det stora hela av tre steg: “(1) att samla ihop en grupp människor, (2) att generera idéer utan kritik eller analys [...] (3) att systematisera resultatet för att göra det tillgängligt för fortsatt användning.” (Löwgren & Stolterman, 2014, s. 93). I steg 1 samlar man den grupp människor som ska generera idéerna, de föreslår att man är 3–7 personer. I steg två utrustas gruppen med pennor och en bunt papper. Gruppen börjar sedan generera idéer (en idé per papper), det är viktigt att i denna fasen inte låta någon kritisera eller analysera idéerna och ingen ska hålla tillbaka någon idé. När gruppen känner att de inte

20 kommer på fler idéer går de över till steg 3 där idéerna ska systematiseras i grupper som deltagarna känner passar ihop. (Löwgren & Stolterman, 2014)

3.3 SOUNDWALK

Soundwalks (Schafer, 1994) är ett sätt att utforska soundscapes. Det utgår ifrån att man ritar en rutt på en karta och går sedan denna rutt med analys och kartläggning av soundscape i fokus. Vad hör man för olika ljud? Var kommer de ifrån? Om en soundwalk skulle ske i grupp kan det vara en bra idé att göra olika rutter i samma landskap då detta ger en större variation på de upplevda ljuden. För att bättre förstå den miljö vår gestaltning speglar har vi gått

soundwalks på olika ställen och vid olika tillfällen. Genom att skapa en rutt på en karta kunde vi lätt vara säkra på att vi gick samma väg varje gång. Vi har antecknat utefter Moscoso m.fl.

(2018) version av Schafers (1994) estetiska kategorier och markerat ut var dessa ljud förekom på vår karta. Keynote sounds, Soundmarks och Signal sounds är tre sätt att dela in de ljud man fångar under soundwalk. Keynote sounds beskriver Jøran Rudi (2011) som ljud vars natur berättar vilken typ av miljö man befinner sig i, dessa ljud kan skapas av naturen eller människor. Soundmarks är det audiella svaret på landmärken (landmarks) och beskrivs av Rudi som ljud vars karaktär är specifik för en viss plats eller miljö, Rudi tar exemplet Big Ben i London. Signal sounds beskrivs som ljud vars mening är att fånga folks uppmärksamhet, till exempel ett hundskall eller en ringsignal från en mobil. För att göra våra soundwalks så effektiva och givande som möjligt valde vi att spela in dem. Detta resulterade i att när vi hörde ett ljud (soundmarks, keynote sounds eller signal sounds) skrev vi ner tidskoden från våra portabla inspelare för att efteråt i lugn och ro kunna gå tillbaka och klassificera de ljud vi hört utifrån Schafers (1994) klassificeringsmodell i fysiska och estetiska egenskaper (se Figur 5).

De fysiska egenskaperna klassificerar Schafer (1994) som tidsaspekten (Duration),

frekvensinnehåll (Frequency/mass), fluktuation (Fluctuation/grain) och dynamik (Dynamics).

Ett ljud är uppbyggt av tre olika delar, det första som hörs är ljudets attack (Attack), sedan kropp (Body) och till sist avtagning (Decay), de fyra tidigare nämnda egenskaperna beskrivs sedan med hjälp av dessa tre byggstenar (se Figur 5). De estetiska egenskaperna beskriver Schafer (1994) som kategorier där ljud utifrån sin referensaspekt tyder på vilken kategori ljudet hör hemma i, det vill säga ett ljud från en bil hamnar inom kategorin “Mekaniska ljud”

och ljudet av människor som pratar hamnar inom kategorin “Mänskliga ljud”. Sista delen av

21 de estetiska egenskaperna är till för att se om de hörda ljuden upplevs som varnande, oljud, smärtsamt eller stimulerande. Men då ljud upplevs av olika människor och i olika kontexter kan samma ljud hamna under flera av dessa sinnestillstånd, vilket Schafer menar ger en möjligheten att se ljuden från olika vinklar och jämföra med ljud från samma sinnestillstånd.

Detta sättet att klassificera ljud menar vi stämmer bra överens med terminologin (Soundmarks, keynote sounds och signal sounds) Rudi (2011) använder sig av för att klassificera ljudets funktion.

3.4 PRODUKTIONSMETODER 3.4.1 Mixed Additive Composites

Utifrån vår analys av Karlshamns soundscape har vi använt oss av metoden Mixed Additive Composites (Farnell, 2010). Denna metod utgår från att återskapa ett ljud eller en del av ett ljud med hjälp av modulation av ljudvågor. Mixed Additive skiljer sig från Pure Additive (Farnell, 2010) på sättet att man använder mer komplexa ljudvågor vid modulation i Mixed Additive i form av sågtandsvåg, triangelvåg, fyrkantsvåg och olika typer av brus. I Pure Additive använder man sig av ljudvågor bestående av en enda frekvens, det vill säga sinusvågor. Vi använde oss av Mixed Additive Composites för att kunna återskapa ljud från Karlshamns soundscape på ett mer abstrakt sätt än att använda oss av den originella

inspelningen.

3.4.2 Vary Scope

Farnell (2010) beskriver Vary Scope som att arbeta som en målare. Då ljud har egenskapen att bli “... seductive and hypnotic.” (Farnell, 2010, s.244) uppmanas det att ta ett steg tillbaka för att se arbetet från ett nytt och fräscht perspektiv. Vi påstår att detta sättet att jobba är mycket viktigt inom ljudbranschen. Vi ansåg att detta arbetssätt var mycket främjande för oss för att få fram båda våra idéer, genom att en av oss tog avstånd från den audiella skapande processen gav det utrymme för denna person att andas och börja tänka i nya banor medan den andra personen hoppade in med nya idéer och tankar. För att uppnå den balans mellan den konkreta och abstrakta natur vi var ute efter tyckte vi att ett arbetssätt där nya idéer från oss båda främjas i den skapande processen var mycket viktigt.

22

3.4.3 Four Sound Areas Framework som Metod

Four Sound Areas Framework (Hillman & Pauletto 2016) är en metod vars mål är att lägga mer kraft i händerna på ljuddesigners och mixare när det kommer till emotionell upplevelse i audiovisuell media med rörlig bild. Four Sound Areas Framework bygger på det tidigare nämnda LATS, där Logical, Abstract, Temporal och Spatial är de audiella byggstenar man utgår från. Användningen av Four Sound Areas Framework kräver planering i form av att bestämma vilka delar av den audiovisuella gestaltningen som ska framkalla vilken känsla.

Detta görs smidigt via ett koordinatsystem, som är baserat på Circumplex Model of Affect (Russells, 1980), där olika scener i gestaltningen markeras ut beroende på vilken känsla scenen ska medföra i förhållande till valence-arousal. I vanlig ljudproduktion för film levereras den slutliga ljudläggningen i stems som ofta delas upp i dialog, musik och ljudeffekter. I Four Sound Areas Framework levererar man fortfarande stems men dessa bygger på den emotionella betydelsen (LATS) av ljuden istället för vilken typ av ljud det är.

Genom att skapa fyra bussar i sin DAW (Digital Audio Workstation) för de fyra områden (LATS) och sedan skicka ljud till sin respektive buss, ger detta mixaren möjligheten att föra fram en viss känsla beroende på hur ljudbilden balanseras i ljudnivå. Hillman och Pauletto (2016) menar att för att få fram negativa känslor som spänning (negativ spänning), chock och förtvivlan bör en ljuddesigner använda sig av ljud med stark Logical natur i sin mix. Om målet är att få fram positiva känslor som hopp, tillgivenhet, lycka, fridfullhet och ömhet bör ljuddesignern använda sig av ljud med stark Abstract natur.

3.5 SAMMANFATTNING

Detta kapitlet har presenterat och motiverat de metoder vi arbetat med under projektets gång.

Dessa metoder innefattar vårt designperspektiv, prototypmetoder, analysmetoder och produktionsmetoder. Vårt val av metoder har resulterat i en stadig grund att stå på

vid idégenerering för att föra projektet framåt samt beslutstaganden kring denna skapande process. Metoderna har även hjälpt oss förhålla oss till vår frågeställning och syfte.

23

4. DESIGNPROCESSEN

Här beskriver vi hur vår designprocess har sett ut från början till slut och hur vår gestaltning och undersökning har formats under tidens gång. Vår frågeställning lyder: Hur kan vi skapa audiovisuell dissonans i en abstrakt gestaltning med hjälp av Circumplex Model of Affect?

Genom processens iterationer har vår frågeställning formats till det den är nu, våra centrala iterationer har namngetts efter de tre abstraktionsnivåerna (Löwgren & Stolterman, 2004) vision, operativ bild och specifikation. Dessa iterationer har baserats på handledningstillfällen och har skötts med projektmetoden SCRUM (se bilaga SCRUM). Denna del av texten

visualiserar och beskriver hur vi med hjälp av iterationer har vandrat mellan dessa tre abstraktionsnivåer för att slutligen nå vår slutliga gestaltning.

4.1 FÖRSTA VISION

Vår första idé framkom genom diskussioner om vårt gemensamma intresse av ljudets kraft att förmedla känslor. Idén grundades i tanken att få fram den “sanna” upplevda känslan. En metod som vi diskuterade att använda var frågeformulär. Vid användandet av ett

frågeformulär hävdar vi att testpersoner skulle kunna hinna tolka ljudets innehåll i koppling till dagens normer inom populärkultur, vilket hade kunnat leda till ett annorlunda mer bearbetat svar baserat på vad de tycker istället för den initiala faktiska upplevda känslan.

Därför baserades vår idé istället på att mäta människors upplevda känslor med tekniken EEG (Elektroencefalografi). Tanken att mäta en persons hjärnaktivitet och genom tolkning av data från EEG:n få fram vilken känsla testpersonen upplevde tyckte vi lät intressant och ansåg vara givande för framtidens ljudbransch vid förmedlandet av specifika känslor inom mediet. De tester vi planerade att genomföra baserades på IADS (International Affective Digital Sounds) (University of Florida, 2016) vilket är ett ljudbibliotek med ljud som vanligtvis hörs i

vardagen och dess dokumenterade emotionella upplevelse i dimensionerna valence-arousal.

Dessa ljud skulle vi sedan använda vid skapandet av soundscapes vars syfte var att förmedla olika känslor (glädje, sorg, lugn och lycka). Med EEG tänkte vi sedan mäta om dessa

soundscapes stämde överens med den känsla vi försökte förmedla.

24

4.2 FÖRSTA OPERATIV BILD

Våra idéer kring hur vi skulle gestalta vår undersökning tog inspiration från ett tidigare projekt där interaktiviteten och det visuella mediet bestod av en piedestal med kapacitiv touch. Denna kapacitiva touch lät oss vid vidröring av piedestalen ändra det visuella och audiella innehållet i gestaltningen. I detta projekts gestaltning planerade vi att skapa en semitransparant halvsfär i plast med sensorer gjorda för att känna av beröring. Vi hade två idéer angående hur dessa sensorerna skulle agera. I den första idén tänkte vi använda oss av en temperaturgivare där handtemperaturen på

användaren bestämmer vilken känsla personen får uppleva. Exempelvis en person med varma händer får uppleva audiovisuellt medie skapat för att förmedla positiva känslor medan någon med kalla händer får uppleva audiovisuellt medie skapat för att förmedla negativa känslor. Den andra idén använde sig av ett flertal sensorer placerade på vår halvsfär, tanken var då att ens handposition på sfären skulle ändra innehållet i gestaltningen beroende på var handen var placerad. (se Figur 6)

I tidigare projekt hade vi båda upplevt hur en audiovisuell gestaltning fångar ens

uppmärksamhet mer än en enbart audiell gestaltning. Valet gjordes att implementera ett visuellt medie vars syfte var att komplettera det audiella innehållet då vi anser att detta gör gestaltningen mer utställningsanpassad. Vår planerade användning av surroundljud gav oss möjligheten att skapa en mer omslutande gestaltning. För att även inkludera det visuella

mediet i gestaltningens omslutande natur tänkte vi skapa ett rum av skynken. Planen var sedan att lysa på dessa skynken med scenlampor för att skapa en visuell komplettering av gestaltningens ljudbild (se Figur 7).

Figur 6: Piedestal

Figur 7: Rumsinstallation

25 Vidare efterforskning kring EEG ledde till förståelsen att vår undersökning skulle vara svår att genomföra. Undersökningen skulle kräva tillgång till dyr utrustning, utbildning att använda utrustningen och utbildning att tolka den komplicerade data från våra tester. Det skulle även krävas en stor testgrupp för att få fram giltiga resultat, tidigare liknande

undersökningar uppskattade även att varje test skulle ta kring två timmar. Vi ansåg att vi inte hade resurser till detta och valde då att gå ifrån idén kring EEG.

4.3 ANDRA VISION

När vi gick in i iterationen av vår andra vision höll vi fortfarande hårt i viss forskning från vår första vision. Denna forskning handlade i stor del om Circumplex Model of Affect (Russell, 1980) och gav oss bättre förståelse kring känslospektrat vi tänkt utforska samt tydliga söktermer vilket underlättade vår fortsatta litteraturstudie. Valence-arousal (Russell, 1980) var söktermer som öppnade upp för relevant läsning kring känslor och dess koppling till olika aspekter i vår undersökning. Begrepp som soundscapes och psykoakustik låg ofta i fokus i de forskningskällor vi använt oss av. Med hjälp av Circumplex Model of Affect (Russell, 1980) och forskning kring ljuds påverkan på upplevda känslor (Coutinho & Dibben, 2012; Moscoso m.fl., 2018) skapade vi en stadig forskningsbas att stå på i våra kommande iterationer.

I detta stadie låg våra tankar på att använda visuellt medie som en komplettering av det abstrakta audiella mediet. Vår tanke var att använda oss av färger som visuellt medie. Att använda sig av bilder eller rörlig bild ansåg vi skulle ta för stort fokus från den audiella delen av gestaltningen, genom att möta den abstrakta ljudläggningen med en form av abstrakt visuellt medie menar vi skulle skapa en finare balans mellan de två medieformerna.

Teknisk handledning gav oss feedback kring vår vision, det talades om att vår tänkta

användning av det audiovisuella mediet i vår gestaltning även skulle kräva en stark koppling till det visuella mediet i vår undersökning. Viljan att utforska ljudets kraft att framföra känslor fanns kvar men vägen framåt låg i att implementera en starkare koppling till det visuella mediet i vår undersökning och fokusera på den skapande processen istället för den tidigare tänkta testbaserade undersökningen. Därefter påbörjades diskussionen kring begreppet audiovisuell dissonans och dess plats i vår undersökning. Frågor som: Kan man uppleva dissonans mellan det audiella och visuella mediet kopplat till dess individuella upplevda känsla? Det vill säga hur skulle en dissonans mellan en “glad” färg och ett “argt” ljud upplevas? Hur skulle denna arbetsprocess se ut? Efter beslutet att ha större fokus på det

26 visuella mediet och implementeringen av begreppet dissonans i vår undersökning var vårt mål att hitta forskning med tydlig koppling mellan färger och Circumplex Model of Affect

(Russell, 1980), även här användes begreppen valence-arousal för att snabbare hitta relevant forskning. I slutet av denna iteration började vår nuvarande frågeställning formas: Hur kan vi skapa audiovisuell dissonans i en abstrakt gestaltning med hjälp av Circumplex Model of Affect?

4.3.1 Analys av Karlshamns Soundscape

Vårt val att analysera Karlshamns soundscape kom från forskning om soundscape (Moscoso m.fl., 2018). Denna text handlar om olika människors upplevda emotionella koppling till olika ljud beroende på vad dessa människor levde i för miljöer. Forskningen fokuserade på tre olika miljöer, urban (städer med en folkmängd på 50 000 till 1 miljon), forest (mindre byar i den Ecuadorianska djungeln) och intermediate (folkmängd på ca. 20 000). Då Karlshamn är en liten stad (ca. 15 000 invånare) passade miljön intermediate in utmärkt. Med hjälp av denna forskning kunde vi bättre förstå hur Karlshamnsbor upplever ljud i sin närliggande miljö och forma vår skapande process därefter. Vi började vår analys med att rita ut två rutter (se Figur 7a) på en karta där vårt mål var att få med olika aspekter av Karlshamn för att få en bred bild av Karlshamns soundscape. Vi gick sedan dessa två rutter två gånger och spelade samtidigt in våra soundwalks för att senare kunna genomföra en djupare analys av inspelningen. Under vår soundwalk noterade vi tidskod och position av ljud utefter den estetiska karakteristik (se Figur 7b-7f) vi ansåg passade in under keynote sounds, soundmarks och signal sounds (Rudi, 2011).

Vi valde att jobba på detta sätt då det minimerade risken att missa viktiga ljud och vidare gav det oss möjligheten att genomföra en analys i form av fysisk karaktäristik (Schafer 1994).

Analysen av ljudens fysiska karaktäristik (se Figur 8a, se även figur 8b-8l för ytterligare exempel) genomförde vi för att med mer

säkerhet kunna återskapa dessa ljud med Mixed additive composites (Farnell. 2010). Vi valde ut ljud med hjälp av listor på typer av ljud inom de olika estetiska kategorierna (Moscoso m.fl., 2018), valen baserades på vår soundwalk.

Figur 8a: Hundskall

27

4.4 ANDRA OPERATIV BILD

Med formuleringen av vår frågeställning förstod vi att våra planer med en halvsfär som visuellt och interaktivt medie inte passade vår undersökning längre. Vid denna tid i vår designprocess hade även Covid-19 börjat påverka våra tankar och idéer kring gestaltningen.

Vi gjorde då ett aktivt beslut att gå ifrån vår idé om interaktivitet som skulle kräva vidröring med händer. Detta gjorde vi för att främja bromsandet av spridningen av Covid-19. Under teknisk handledning fokuserade vi nu på att komma på ett nytt sätt att interagera med vår gestaltning och kom då på vår nuvarande idé angående interaktion. Genom att använda oss av Circumplex Model of Affect (Russell, 1980) och dess sätt att dela upp känslor i

koordinatsystem blev nu planen att dela upp vår interaktion i fyra kvadranter där varje kvadrant motsvarade en känsla. Vi döpte dessa kvadranter till Annoyed, Excited, Depressed och Satisfied. Dessa kvadranter är placerade så att känslorna som är motsatser till varandra är placerade diagonalt mot varandra. I varje kvadrant skulle det finnas två knappar, en som styr det visuella mediet och en som styr det audiella, dessa knappar aktiveras genom att trampa på dem vilket skulle minska risken att sprida Covid-19 vid utställning. Detta skulle låta besökare uppleva både dissonans mellan känslor som de själv väljer, t.ex. om en person ställer sig på knappen för det audiella mediet i kvadranten Annoyed och en annan person ställer sig på knappen för det visuella mediet i kvadranten Satisfied skulle gestaltningen visa visuellt medie motsvarande känslan lugn och det audiella mediet skulle motsvara ilska. Detta sätt att

interagera med installationen skulle även låta besökare uppleva harmoni mellan det visuella och audiella mediet om personen aktiverar både den visuella och audiella knappen inom samma kvadrant. Vid ett senare tillfälle valde vi att

byta namn på dessa kvadranter då vi ansåg de mer passande för vår gestaltning. Annoyed, Excited, Depressed och Satisfied blev istället Anger, Happiness, Sadness och Tranquility.

Användningen av Sketching (CanvasFlip, 2016) hjälpte oss att illustrera våra idéer till handledning och oss själva, det lät oss snabbt få ner våra idéer på papper vilket sedan underlättade diskussion kring gemensam förståelse av vår gestaltnings specifikationer (se Figur 9).

Figur 9: Interaktivitet

28

4.4.1. Teensy

För att testa vår gestaltnings funktionalitet använde vi oss av functional prototyping, vilket är en del av physical prototyping, som låter en testa enbart funktion på ens produkt utan att tänka på den slutgiltliga designen och dimensioner. I vårt fall bestod dessa prototyper av två

knappar kopplat till en Teensy LC via en breadboard. Vi valde att göra trycksensorer av velostatplast, plywood, plexiglas och koppartejp. Dessa knappar skapade vi genom att såga och klippa lika stora delar plexiglas, plywood och velostatplast. Vi satte sedan koppartejp på motsatta sidor av plywood- och plexiglasdelarna för att slutligen lägga velostatplast mellan med den ledande sidan av koppartejpen mot velostatplasten (se Figur 10). Detta resulterade i en trycksensor som vid fysisk belastning får lägre resistans. Dessa knapparna är bra då de klarar hög fysisk belastning och är svåra att slita ut då det inte finns någon mekanik i dem. Vi skapade endast två av dessa sensorer för att kunna testa funktionaliteten på den visuella och audiella delen samtidigt. Vi använde oss sedan av programmet Arduino IDE, som använder sig av programmeringsspråket C++, för att skapa vår logik bakom styrningen av dessa

sensorer. Logiken byggde på att när sensorns värde gick under en viss gräns, vilket betyder att någon har aktiverat knappen, skickas ett

MIDI-värde ut från Arduino IDE via Teensyns serieport till programmet Pure Data. Varje trycksensor var tvungen att skicka ett unikt MIDI-värde för att i Pure Data kunna identifiera vilken sensor som är aktiverad.

4.4.2 Pure Data

För att styra den audiella delen av vår gestaltning har vi använt oss av

ljudprogrammeringsprogrammet Pure Data där vi med hjälp av MIDI, som vi skickat med våra knappar via Teensy, har kunnat växla mellan de olika känslorna. Pure Data lät oss sedan skicka vidare dessa MIDI-signaler, via en middleware vid namn LoopMIDI, till vår DAW där vi kunde höja och sänka volymen på de ljudspår vi ville spela upp. Vi skapade funktioner som förhindrade att knapparna skulle skicka mer än en signal om man aktiverade dem i snabba repetitioner under en kort tid för att undkomma problem vid höjning och sänkning av volymen i vår DAW. Även funktioner som att man bara kunde aktivera en knapp åt gången underlättade och gjorde vår gestaltning mer användarvänlig.

Figur 10: Trycksensor

29

4.5 TREDJE OPERATIVA BILD

Vid denna tidpunkt i vår designprocess är det viktigt att påpeka att vi inte hade tillgång till skolans lokaler och det var svårare att få tillgång till material och utrustning på grund av Covid-19. Detta resulterade i stora ändringar i vår operativa bild. Vår plan att skapa ett rum med skynken som sedan våra scenlampor skulle lysa upp fick vi skrota då vi genom

Prototyping to decide (Doorley m.fl., 2018), där vi vid försök av uppbyggnad av vår

installation, insåg att den krävde för mycket plats och våra nuvarande lokaler inte kan stödja den storlek vi ansåg oss behöva för detta rum. För att anpassa oss till det nya

utställningsformatet och begränsningarna våra lokaler förde med sig gjorde vi beslutet att strukturera om vårt visuella medie och gestalta den i två dimensioner istället för det tidigare tänkta tredimensionella rummet. För att i detta nya utställningsformat få koll på hur våra lampor skulle vara placerade använde vi oss av Prototyping to decide för att se hur lamporna lyste upp den vägg vi tänkt projicera på. Vi testade ett flertal positioner av lamporna. Vi satte lamporna med en 90° vinkel mot väggen med ett avstånd på ca 2.5m ända ner till 0° med ett avstånd på ca 20 cm från väggen.

4.5.1 Mind Mapping

Vår undersökning är mycket beroende av de forskningskällor vi har valt att arbeta mot. För att kunna sammanställa all nödvändig information för vår skapande process från de olika

källorna valde vi att skapa ett antal mind maps (se Figur 11a, se även figur 11b-11d för ytterligare exempel), en för varje känsla som vi planerade att gestalta. Syftet var att dessa mind maps skulle agera som en

slags matris för vår gestaltande process. Vi valde att strukturera våra mind maps kring våra tre viktigaste områden, psykoakustik, soundscape och det visuella mediet. Vi valde dessa rubriker för att lätt kunna få en överblick för hur vi skulle applicera denna information i vår gestaltande process.

Figur 11a: Happiness

30

4.5.2 Brainstorming

Vi genomförde en brainstorming-session (Löwgren & Stolterman, 2014) (se Figur 12a-12d) där målet var att få fram idéer kring vilka typer av ljud, tonalitet och frekvensinnehåll varje soundscape skulle innehålla utifrån vår analys av vår soundwalk kring hur Karlshamns

soundscape låter. Vi utgick från de mind maps vi gjort tidigare för att få ett tydligt fokus kring vilka typer av ljud som enligt vår forskning passade till varje känsla. Till exempel enligt Moscoso m.fl. (2018) associerade folk känslan glädje (Happiness) (se Figur 11a) till största del med ljud inom kategorierna Sounds and Society (55,3%), Natural Sounds (30,2%) och Human Sounds (22,4%). Vår soundwalk visade att ljud som föll under dessa kategorier var till exempel barn som leker, fågelkvitter och skratt. Vi delade sedan in alla dessa idéer till ljud i ytterligare kategorier: synth, melodi och inspelning. Synth var de ljud vi ansåg oss kunna återskapa med hjälp av en synth och användning av Mixed additive composites (Farnell, 2010), melodi. De ljud som skulle ligga som en bädd för att föra och fylla upp soundscapet.

Inspelning var de ljud vi valt att spela in själva eller användningen av ljud vi samlat på oss under utbildningens gång.

4.6 FÖRSTA SPECIFIKATION 4.6.1 Ljudläggning

Under denna fas av vår designprocess använde vi oss av metoden Vary Scope (Farnell, 2010) som uppmanar till att ta ett steg tillbaka från sin skapelse ibland för att se saker och ting från ett nytt perspektiv. I vårt fall blev det att vi jobbade i “skift” under ljudläggningsprocessen, en ljudlade och den andra satt bredvid och lyssnade lite mer passivt. Detta anser vi resulterade i en ökad kvalitet och möjlighet att hålla fokus längre.

Tack vare vår brainstorming och mind map hade vi en tydlig bild av vad varje soundscape skulle innehålla. Däremot var vi inte säkra på var vi skulle börja eller hur vi skulle strukturera upp ljudläggningen. Vi valde att till en början ta fram de ljud vi behövde från kategorin Inspelning från brainstormingen och strukturerade upp dem utefter vilket soundscape de tillhörde. Valen av vilka ljud som skulle användas till varje soundscape gjordes utifrån forskning kring hur människor associerar ljud till olika känslor (Moscoso m.fl., 2018). Anger består i stor del av mekaniska ljud, då dessa ofta associeras med negativa känslor i form av trafik, mekaniska redskap och elektromagnetiska fält inspelade med mikrofonen Soma Ether samt mänskliga ljud i form av skrik. I Happiness består ljuden av mänskliga ljud (human

31 sounds) och ljud från samhället (sounds and society), dessa ljud var bland annat applåder, jubel, skratt, barn som leker och sorl från en folkmassa

.

Vid skapandet av de ljud vi placerat under kategorin synth i vår brainstorm använde vi oss av metoden Mixed additive composites (Farnell, 2010) och synthesizern Behringer Model D (se Figur 13). Detta är en analog synth med tre oscillatorer som lät oss blanda upp till tre olika typer av vågformer (sinus-, sågtands- och fyrkantsvåg). Den lät oss även styra attack, decay och sustain samt applicera lågpass- och högpassfilter. Vid skapandet av dessa ljud vände vi oss till våra analyser kring ljudens fysiska karaktäristik (Schafer, 1994) från vår soundwalk där vi tydligt kunde se vilka frekvenser ljuden innehöll, hur långa de var och vilken attack, sustain samt decay de hade. Vi skapade även majoriteten av ljuden under kategorin melodi med Behringer Model D. Vid skapandet av musiken till känslan Anger (se Figur 12a) använde vi högt tempo och fyrkantsvågor. Tempot i musiken baseras på forskning (Ramos m.fl. 2011) som visar på en positiv korrelation mellan känslor med

hög arousal och högt tempo. Valet av ljudvågor baseras i forskning (Baird m.fl., 2018) som anser att vid förmedling av en känsla med låg arousal passar ett ljud med simpelt frekvensinnehåll i form av sinustoner, då det krävs en hög arousal för att uppnå ilska passar det bättre med ett mer avancerat frekvensinnehåll såsom sågtands- och fyrkantsvågor. För att skapa denna känsla på Behringer Model D:n ställde vi in de tre oscillatorerna på sågtands- och fyrkantsvågor och spelade en melodi i ett högt tempo med hjälp av en arpeggiator via MIDI-klaviaturet Arturia Keystep. Vi gjorde liknande för de övriga känslorna fast med andra inställningar anpassade utefter vår tidigare och aktuell forskning samt de resultat vi fått från vår

brainstorming.

Figur 12a: Brainstorming Anger

32 Vid skapandet av många utav dronerna som finns i bakgrunden av våra soundscapes använde vi oss av programmet PaulStretch. Detta program tillåter en att “dra ut” en ljudfil så att den blir längre och spelas upp långsammare. Exempelvis i vårt soundscape “Anger” valde vi att använda oss av en 20 sekunders ljudfil av en tungt trafikerad väg och gjorde den, med hjälp av PaulStretch, 5 minuter lång. Detta skapade en mörk drone med långsamma svepande tonskiftningar beroende på vad för bilar som körde förbi. Vid denna punkt i processen valde vi att lägga till ytterligare en ljudläggning i vår gestlatning Vid skapandet av denna valde vi att använda oss av ett eller fler ljud från varje känsla. Med PaulStretch gjorde vi dessa till droner som vi sedan applicerade i vår ljudläggning. Då vi inte ville förmedla någon känsla i denna ljudläggning utan den bara skulle agera som en utfyllnad när gestaltningen inte används, ansåg vi att vi inte behövde förhålla oss till Four Sound Areas Framework som mixningsmetod. Vi valde att kalla denna del Viloläge.

4.6.2 Mixning

Efter det att vår ljudläggningen av de fyra känslorna var avklarad påbörjade vi mixningen och där använde vi oss av Four Sound Areas Framework (Hillman & Pauletto, 2016) som metod.

Vi påbörjade mixningen genom att strukturera och kategorisera våra ljudläggningar efter de fyra olika kategorierna, Logical, Abstract, Temporal och Spatial. Vid kategorisering av ljuden använde vi oss av Hillman och Pauletto som en guide angående vilka ljud som brukar befinna sig under respektive kategori. Till exempel ljud som atmosfärer och rumstoner hamnade enligt dem under rubriken Abstract. Vi har ljud som agerar rumstoner och atmosfärsljud som vi valt att lägga under kategorin Logical. Beslut som dessa gjorde vi utifrån hur vi valt att använda just de ljuden. I vårt soundscape Anger är dessa ljud till exempel ljudet av en pneumatisk hammare, ett tåg som passerar och en rumston från en aktiv industribyggnad. Vi valde ut dessa ljud med hjälp av vår soundwalk (Schafer, 1994), forskning kring soundscapes samt mekaniska ljud och dess viktiga roll för att skapa den upplevda låga valence (Moscoso m.fl., 2018). Vi anser att dessa ljud, på grund av ljudens stora berättande kraft i vår abstrakta gestaltning och dess stora betydelse för vår undersökning, bör ligga under kategorin Logical.

Vi märkte snabbt att många av våra ljud föll under ett flertal kategorier samtidigt. Exempelvis hamnade musiken under Abstract, Temporal och Spatial. Men då forskningen från Hillman och Pauletto (2016) pekar på att det är kategorierna Logical och Abstract som har störst betydelse angående emotionella upplevelser valde vi att prioritera dessa över kategorierna Temporal och Spatial. När vi strukturerat vår ljudläggning efter de fyra olika kategorierna

33 skapade vi grupper för varje kategori som vi sedan kopplade till respektive VCA-kanal i Pro Tools. Detta lät oss smidigt styra ut en passande mix till våra fyra olika soundscapes beroende på vilken balans av Logical, Abstract, Temporal och Spatial de behövde för att framföra sin menade känsla.

4.6.3 Ljusläggning

Vid skapandet av gestaltningens visuella medie utgick vi från vår Mind Map där vi sammanställt information från tidigare forskning kring färgers inverkan på emotionell

upplevelse. Forskningen pekade på stora skillnader i emotionell upplevelse mellan kromatiska och akromatiska färger. Då våra scenlampor inte kunde visa akromatiska färger valde vi att, så gott vi kunde, applicera denna information på den tillgängliga tekniken. I känslor vars valence anses vara låg valde vi att jobba med akromatiska färger i form av att lamporna inte lyser alls. Vi anser att i ett mörkt rum är detta så nära vi kan komma till akromatiska färger med scenlampor som är gjorda för att visa färg i tre kanaler, RGB. Forskningen visade att skillnaden i emotionella upplevelser mellan färger med olika Hue var små. Då detta var fallet valde vi att utifrån eget tycke och normer kring färgers association till känslor välja färger vi ansåg passa. Efter vi valt ut hue för varje känsla tog vi sedan hänsyn till forskningens resultat kring lightness och chroma och dess positiva korrelation till valence-arousal vid ytterligare val kring färgernas skiftningar i dessa parametrarna. Vid skapandet av visuella

representationer av de negativa känslorna, Anger och Sadness, valde vi att sänka ljusstyrkan på alla lampor då vi ansåg att detta resulterade i lägre lightness än i de visuella

representationerna för de positiva känslorna, Happiness och Tranquility, där vi lät ljusstyrkan vara kvar på max-inställningen.

I skapandet av vår visuella representation av känslan Anger (ilska) använde vi oss av färgen röd, lila och svart. Då våra lampor inte kan visa färgen svart jobbade vi med en strobe-

funktion i programmet QLC+ som lät oss välja i vilken hastighet en lampa skulle blinka. Med denna funktion kunde vi använda oss av färgen svart trots att våra lampor endast kunde visa kromatiska färger i RGB. Tidigare forskning kring ljud kopplat till emotionella upplevelser (Ramos m.fl. 2011) tyder på att högre tempo associeras med känslor som har hög arousal, det vill säga Happiness och Anger i vårt fall. Vi gjorde ett försök att översätta tempo till något vi kunde använda i vårt visuella skapande och kom fram till ordet aktivitet. Vi valde detta ord då arousal också kan beskrivas hur aktiverande en känsla är och det beskriver att vid skapandet av våra representationer av känslor med hög arousal krävdes det hög aktivitet eller tempo.