Kandidatarbete i medieteknik, Institutionen för teknik och estetik, vårtermin 2020
Design av Diegesis för ökad Emotionell Respons
Simon Arnback | Ludvig Cardell Handledare: Pirjo Elovaara
Gestaltningshandledare: Sebastian Hastrup
Examinator: Peter Giger
Abstract
Svenska
I detta kandidatarbete undersöker vi om diegesis har en potentiell påverkan på människors känslor, genom att designa ljudberättelser baserat på abstrakta dikter. Vår utmaning är att med designperspektivet The vision project ta fram exempel på hur ett skifte i diegesis påverkar en lyssnares känslor. Rosa brus, equalizer, spatialisering av ljud och
konvolutionsreverb är tekniker som implementeras för att förstärka känslan vid skifte av diegesis. Brainstorming och mindmap, samt prototyping med iterationer är metoderna vi använder oss av vid skapade av gestaltningar. Förutom berättarröst i gestaltningarna så fyller vi ut med trampljud (foley) och ambiens för att förstärka narrativet. Svaren vi får från
intervjuade i vår undersökning låter oss komma närmare ett tydligt svar. Vi diskuterar sedan svaren och vad vi kunde ha gjort bättre, samt hur vi kan ta vår design vidare.
Nyckelord: diegesis, ljudberättelse, emotionell respons, känslor, spatialisering.
English
In this thesis, we investigate whether diegesis has a potential impact on people's emotions, by designing audio plays based on abstract poems. Our challenge is to design examples from the design perspective The vision project of how a shift in diegesis affects a listener's emotions.
Pink noise, equalizer, spatialization of sound, and convolution reverb are techniques that are implemented to enhance the feeling of a shift in diegesis. Brainstorming and mindmap, as well as prototyping with iterations, are the methods we use when creating our audio plays. In addition to narrative voices in the audio plays, we fill in with foley and ambience to reinforce the narrative. The answers we get from those interviewed in our survey allow us to get closer to a clear answer. We then discuss the answers and what we could have done better, as well as how we can continue our design.
Innehållsförteckning
Abstract 2
Innehållsförteckning 3
Samskrivning 4
1. Bakgrund 5
1.1 Frågeställning 6
1.2 Syfte med undersökningen 6
2. Tidigare och aktuell forskning 7
2.1 Diegesis och psykologiska kopplingar hos människor till ljud 7
2.2 Audio Description och Audio Narration 8
2.3 Röstens makt i berättandet 10
2.4 Röstens spatiala plats inom diegesis 11
2.5 Ljudstimuli och rosa brus 12
2.6 Retorik och känslor 13
2.7 Sammanfattning 14
3. Metoder 15
3.1 Vårt designperspektiv - The vision project 15
3.2 Idégenerering - Brainstorming och mindmap 16
3.3 Prototyping som arbetsmetod 17
3.4 Produktionsmetoder och tekniker 18
3.5 Insamling och analys av upplevelser 19
3.6 Sammanfattning 20
4. Designprocess 21
4.1 Förarbete 21
4.2 Nocturne 22
4.3 Madness och Covid-19 25
4.4 How I started a forest in my Bathroom 28
4.5 Mixning och färdigställande av gestaltningarna 30
4.6 Sammanfattning 31
5. Resultat av undersökningen 32
5.1 Intervju och formulär 32
5.2 Kvantitativa svar om diegesis 32
5.3 Kvalitativa svar från undersökningen 36
5.4 Sammanfattning 38
6. Diskussion 39
7. Källförteckning 43
8. Bilagor 45
Bilaga 1 Time eating - Keith Douglas (n/a) 45
Nocturne - Tomas Tranströmer (1962) 46
Madness - Joyce Kilmer (1914) 46
How I started a forest in my Bathroom - Maartje Smits (2017) 47
Bilaga 2 Formuläret från undersökningen 50
Samskrivning
Vi har skrivit detta kandidatarbete tillsammans och vi har båda gemensamt haft ett ord att säga i vad den andra har skrivit så att budskapet vi ville få skriva stämde överens hos oss båda. Även om vi ibland skrev för oss själva så diskuterade vi gemensamt hur slutresultatet för texten skulle bli.
1. Bakgrund
Under hela vår utbildning på Blekinge Tekniska Högskola (BTH) så har vi fått prova på många olika former av ljuddesign och skapat en hel del gestaltningar. Vi har fått möjligheten att ljudlägga film, spela in ljudberättelser och fått djupdyka oss inom ljudproduktion. Något som vi fastnade för under denna utbildningstid var just skapandet av ljudbilder och hur vi kunde få lyssnarna att känna sig som om de befann sig i ljudbilden, och hur det fick lyssnarna att känna sig. Under tiden vi fick skapa och ljudlägga vår ljudsaga i en tidigare kurs, fastnade vi även för hur en berättarröst kunde påverka det narrativa innehållet. Sedan i en tidigare kurs på BTH så undersökte Simon just mikrofonens påverkan på lyssnarnas upplevelse av en berättarröst. Ludvig undersökte i en tidigare kurs på BTH om hur musikens skiftning i diegesis kan förstärka en känsla i en visuellt narrativ (i det fallet så var det film).
I grund och botten så har det mest intressanta under Simons tid på BTH varit att få lära sig hur man ljudlägger och arbetar med ljudredigering och mixning. Detta är också det som Simon kommer ha mest användning av efter utbildningen då han är mest inriktad på denna delen av ljudbranschen. Arbetet med inspelning av ljud var också intressant, men just efterproduktionen av ett arbete är där Simon känner det intressanta och roliga händer, eftersom man kan undersöka hur olika ljuds egenskaper förändras när olika plug-ins appliceras, till exempel equalizer, reverb och kompressor.
Under Ludvigs tid på BTH så var det mest intressanta att lära sig att kunna skapa trampljud (foley) och lägga det till ett visuellt medium. Att kunna använda sig av material som en inte tänker ska passa in som ett annat ljud (exempel: att använda sig av grönsaker och frukter
såsom tomater och paprikor för att skapa blodiga stridsljud). Detta fenomen kallas för Synchresis, ett begrepp som Chion (1994) skriver är relationen mellan ljud och bild. En ljudeffekt som inte är en del av originalkällan, men kan tolkas som det ljudet som syns på bild.
Vid ett tillfälle så undrade vi hur vi kunde frambringa just känslor genom att spela upp ljud, vilket vi undersökte på Internet men fick inget tydligt svar, och de svaren vi fick handlade mer om avläsningar på hjärnlober än vad själva människorna i fråga tyckte om ljuden (Chen et al., 2015). Avläsningen av hjärnloberna måste inte betyda att de deltagande människorna tyckte att ljudet var lugnt eller läskigt, utan det handlade mer om en reaktion på ljuden. Det som är det intressanta är vad själva människorna själva tyckte om ljuden, men det finns inte dokumenterat i undersökningen. Så vi tänkte att detta kunskapsområde om ljuds påverkan på känslor skulle kunna utvecklas.
Inspirationen till denna undersökning var från vår förundersökningskurs inför detta arbete (ME1593 Tillämpad undersökningsmetodik för medieteknik) där vi använde oss av ett klipp från Martin Scorseses gangsterfilm The Irishman (2019) där Robert de Niros karaktär berättar om sin tid som soldat under andra världskriget. I tillbakablicken av hans liv så används en berättarröst. Berättarrösten i detta scenariot går in och ut ur diegesis (inom den narrativa världen och utanför den narrativa världen). Vår gestaltning till denna tidigare kurs undersökte hur narrativet påverkades av berättarrösten. Vi skapade en version av samma scen fast där vi tog bort berättarrösten och jämförde med den versionen som hade berättarröst just hur trygg tittaren skulle känna med eller utan en röst som förklarar händelseförloppet. Detta skulle då öka den emotionella responsen hos tittaren. Problemet med att använda sig av ett visuellt medel till undersökningen var att man kan använda sig av de icke-verbala språk för att få fram en känsla. Detta ledde till att vi skulle skapa en undersökning om berättarröstens skiftande i diegesis fast utan ett visuellt medel.
1.1 Frågeställning
lyssnarna med hjälp av en skiftning av diegesis, utan visuellt medel?
1.2 Syfte med undersökningen
Syftet med vår undersökning och detta arbete är att utforska hur vi kan designa ett ljud till att påverka en människas känslor. I det tillhörande ljudet för undersökningen vill vi även
utforska om en skiftning av diegesis påverkar just den emotionella responsen. Detta intresserar oss på grund av att få ett grepp om hur vi kan påverka känslor genom endast ljuddesign. Vi kommer att skapa olika ljudande gestaltningar baserade på dikter, det vill säga att skapa ljudberättelser av dikterna, i hopp om att detta ska hjälpa oss svara på vår
frågeställning om just emotionell respons. Vi har valt att arbeta med detta område för att denna typ av undersökning kan vara intressant för ljud- och filmindustrin, eftersom detta bland annat kan leda till en djupare förståelse för hur ljud påverkar känslor i narrativa sammanhang, vilket kan öka den kreativa friheten hos ljuddesigners i dessa industrier.
2. Tidigare och aktuell forskning
I detta kapitel så kommer det handla om skillnaden mellan audio description (neutralt förklara vad som händer på bild) och audio narration (förklara subjektiva känslor). Kapitlet pratar även om att det är viktigare hur rösten talar snarare än vad rösten talar om. Vidare i kapitlet så kommer psykologiska responser under påverkan från stimulerande ljud såsom rosa brus tas upp. Hur metaforer och semantiska uttryck kopplas till ljud kommer även tas upp i följande del. Kapitlet ger en djupdykning med hur man kan hantera diegesis och var rösten befinner när den går ut ur diegesis. Kapitlet pratar även om Aristoteles tre övertalningsmedel:
ethos (talarens karaktär), logos (logiken och fakta) och pathos (väcka känslor).
2.1 Diegesis och psykologiska kopplingar hos människor till ljud
Det centrala i Görnes (2019) text är en presentation av olika emotionella, psykologiska och poetiska egenskaper hos ljud tillsammans med begrepp som finns i världen av ljud och ljudindustrin. Texten presenterar även ljudens kopplingar och samspel med människan. En av textens huvudbegrepp är diegesis, vilket handlar om var och hur ett ljud befinner sig i
narrativet. Av texten får man en djupdykning i hur man kan hantera diegesis, vilket kommer kunna stödja våra val av diegesis i designprocessen, då vår undersökning bygger på ett skifte i diegesis.
Görne (2019) skriver att vi använder metaforer som relaterar till andra känslor när vi
beskriver ljud, till exempel hög, låg, varm, kall och så vidare. I citatet nedan beskriver Görne ett exempel på kopplingen mellan ett lågfrekvent ljud och ett mörker.
For example, a low pitched and therewith large, dark, round and deep sound might trigger the connotations and associations of darkness, of something big, and of something below the surface, furthermore fueled by the psychological concept of the dark and frightening world of the unconscious or “subconscious” below us (cf.
Freud’s structural and topographical model of personality id / ego / superego), and we intuitively understand that some dark demonic power from below is awakened.
(Görne, 2019, s. 18-19)
Görne (2019) vill berätta om filmljudsdesign utifrån människans synvinkel, psyke och kommunikation i historien. Ett av de centrala begreppen i texten som tas upp är bland annat diegesis, som vi tänkt använda oss av i vår undersökning. Dessutom tar texten även upp begrepp som cocktailpartyeffekten, som handlar om att människor bara kan hålla fokus på cirka två och en halv ljudkällor i taget i ett narrativ, vilket Görne (2019) menar visar på att människan har väldigt lite koll på vad som händer utanför ens fokus.
Frågor som väcks när man läser texten är bland annat hur diegesis på de olika nivåerna som presenteras kan påverka en människas uppfattning av ett ljud och hur det skulle kunna användas i till exempel en ljudberättelse, eller ett medium där det inte finns någon visuell input, utan enbart audiell input. De fyra olika stegen för diegesis är
naturalistic/documentaristic - attention guiding - supernatural - surreal/mystical (Görne, 2019). Görne (2019) menar på att ju mindre diegetiskt ett ljud är ju mer information får man ut från ljudet, och när informationsmängden går upp så blir ljuduppfattningen mer subjektiv och meningsfylld, det vill säga att när informationsmängden går upp så tolkar människor ljuden mer och lägger värderingar i ljuden. Detta betyder också att när diegesis är på en nivå som har en låg informationsmängd, såsom naturalistic, så tolkar människan inte ljuden på samma sätt, utan bara accepterar ljudet som det låter (Görne, 2019).
Texten är givande för vårt arbete eftersom den bjuder på en djupdykning i diegesis och ljuduppfattning av människor när det kommer till bland annat emotionell, psykologisk och poetisk symbolik.
2.2 Audio Description och Audio Narration
Audio Description (AD) och Audio Narration (AN) är olika medel för att tydligare kunna förklara vad som sker i en ljudberättelse genom olika tillvägagångssätt.
Inom ljudberättelser eller filmer för blinda skriver Ramos Caro (2016) att Audio Description (AD) har använts för att neutralt förklara vad som händer på bild. Exempel kan vara “vinden blåser kraftigt åt väst” eller “X famnar Ys kind med sin vänstra hand”. Något fysiskt som kan förklaras. Men med detta neutrala sätt att förklara vad som händer på bild begränsar över hur en ska förklara subjektiva känslor. Ett exempel på Audio Narration (AN) skulle vara i
duschscenen i filmen Psycho (1960). Istället för att förklara att Norman Bates dödar Marion Crane med flera knivhugg i duschen (såsom det skulle beskrivas i AD), skulle AN beskriva hur smärtan som Marion känner när hon skriker och dör. Hur förklaras det när en är ledsen eller arg? Ramos Caro (2016) skriver att AN kan användas för förklara subjektiva känslor såsom sorg, ilska och glädje. AN använder sig av metaforer, associativa betydelser och subjektiva utvärderingar för att subjektivt berätta för lyssnaren.
Genom att använda sig av AN skriver Ramos Caro (2016) att författare använder sig av olika tillvägagångssätt för att manipulera känslan som berättarrösten berättar för läsaren/lyssnaren.
Till exempel skulle berättarrösten förklara vad som händer inom karaktären och hur den känner inför situationen snarare än att bara berätta sig av det ytliga som sker (hur saker ser ut eller vad som fysiskt händer). Det mer subjektiva berättandet (Audio Narration) ger en
starkare emotionell respons än det fysiska och ytliga (Audio Description) skriver Ramos Caro (2016). Hur mäter en emotionella känslor? Känslor är inget som kan tas genom siffror eller någon formel, utan det är något subjektivt. Ramos Caro (2016) skriver att känslor är
förändringar inom olika subsystem över extern eller intern stimuli. De olika subsystemen är kognitiva, neurofysiska, motiverande, motorfunktionella och subjektiva känslokomponenter.
När dessa förändringar inom subsystem sker kan de mätas genom de kroppsliga rörelser och ansiktsrörelser. Det vanligaste sättet att mäta de subjektiva känslorna är med hjälp av
frågeformulär och intervjuer skriver Ramos Caros (2016). Dock så är denna metoden svår att få objektiva svar på. Om en ska kolla mer objektivt på vad som sker när någon är arg eller ledsen så får det ske genom neurofysiska medel skriver Ramon Caros (2016).
Texten är givande för vårt arbete för att den dyker in på hur man kan förklara subjektiva känslor med endast ljud (Audio Narration). Med Audio Description utöver att neutralt
hur karaktären känner över en kraftig storm (exempel: karaktären känner en klaustrofobisk känsla krypandes i kroppen) med Audio Narration.
2.3 Röstens makt i berättandet
Björkén-Nyberg (2020) skriver att berättarrösten i ett audionarrativ såsom ljudbok eller radioteater kan fånga in lyssnarens intresse och ge en större visuell blick och upplevelse av lyssnandet. Själva rösten i sig är det viktigaste i ett audionarrativ. Själva berättelsen i sig kan vara väldigt spännande i sin textform, men om inte rösten är engagerande nog för lyssnaren så tappar lyssnaren intresset att fortsätta lyssna. Det är viktigare hur rösten talar snarare än vad rösten talar om. Rösten ger då lyssnaren ett empatiskt känslomässigt engagemang och fångar in lyssnaren skriver Björkén-Nyberg (2020).
Björkén-Nyberg (2020) skriver att i relation till läsande, så är empati känslan att känna med någon snarare än sympati som är känslan att känna för någon. Om någon känner för mycket empatiska känslor för något så kan det vara kontraproduktivt och kännas ångestladdande.
En utmaning ligger med att översätta text till tal. Är det då samma språk? Björkén-Nyberg (2020) skriver att rösten kan tolka det som är skrivet annorlunda med hur berättaren eller karaktären pratar. Utmaningen blir då till hur man känslomässigt kan engagera lyssnaren till att lyssna vidare. Björkén-Nyberg (2020) skriver att fokaliseringen (eller perspektivtagandet) inom en ljudberättelse ger en ny upplevelse då den inte endast är kopplad till texten, utan också ljudmässigt.
Rösten kan hjälpa till att få fram en mental bild och transportera lyssnaren från verkligheten till bokvärlden skriver Björkén-Nyberg (2020). Istället för att läsa själv och få fram den mentala bilden i sin egna takt hjälper rösten till att lyssnaren får större inlevelse i narrativet.
Björkén-Nyberg (2020) skriver även att förstapersonsnarrativ kan ge mer inlevelse i
berättelsen än tredjepersonsnarrativ. Då förstapersonsnarrativ ofta handlar om inre tankar och konflikter snarare än yttre konflikter mellan individer.
Denna texten är givande för oss med hur rösten är viktig för att få fram ett känslomässigt engagemang och empatiska känslor. Själva berättelsen i gestaltningen kan vara väldigt spännande i sig men hur rösten berättar historien är viktigare.
2.4 Röstens spatiala plats inom diegesis
Placering av ljuden är viktigt för att kunna etablera platsen och var karaktärerna är någonstans i det spatiala rummet. Detta gäller även rösten, men frågan blir då var rösten utspelar sig när den skiftar i diegesis.
Lutostanski (2016) skriver att narratologi är en semantisk disciplin där rösten är den dominanta delen i audionarrativa medium. Andra viktiga faktorer är musik, oljud, tystnad, fading, klippning, mixning, positionering av ljudet och manipulering av ljudet. Narrativet i ett radiodrama, i skillnad till film och teater, är unikt i att det endast är fokus på ljudet skriver Lutostanski (2016). Radiodraman är uppdelade till röster, musik, ljud och tystnad.
Lutostanski (2016) förklarar att radiodrama är den akustiska konstformen som steg i samband med radio som medium och berättar historier som spelas in och distribueras. Narrativet representeras av händelser sedda genom ett osynligt “vittne” skriver Lutostanski (2016).
Detta “vittne” kan likna en icke-diegetisk berättarröst. En kan säga att själva mikrofonen i sig är ett icke-diegetiskt vittne. Den interagerar inte med karaktärerna, utan bara lyssnar.
Lutostanski (2016) skriver att mikrofonen visar den fysiska platsen, som tidigare varit något som har bortsetts, enligt Lutostanski (2016) så sade Aristoteles att intrigens koncept varit om tid och tidsrelationer. Konceptet av plats har tidigare bara använts för att skicka vidare karaktären till nästa plats och inte platsen i sig. När karaktären har kommit till nästa plats, så åker den till nästa plats och så vidare.
När det kommer till platsen skriver Lutostanski (2016) att berättarrösten inte tillhör den diegetiska platsen utan den icke-diegetiska platsen, det vill säga att karaktärerna i
berättelsevärlden inte hör denna berättarrösten, men om huvudkaraktären är berättarrösten så
vad som händer och vad som kommer hända och går sedan tillbaka till den diegetiska världen. Det som kan hjälpa oss med denna texten är att förstå var någonstans vi kan lägga rösten spatialt i ljudberättelsen, ifall det är diegetisk eller icke-diegetiskt.
2.5 Ljudstimuli och rosa brus
Det centrala som Chen et al. (2015) skriver om i deras artikel är förändring av psykologiska responser under påverkan från stimulerande ljud. Huvudbegreppet från denna text är 1/f karaktäristik som finns i alphavågors fluktuering, ofta kallat rosa brus. Rosa brus skulle kunna gå att använda i till exempel i en ljudberättelse då vissa ljud kommer att framstå mer lugnande, avslappnande eller “sköna“.
I undersökningen avläser Chen et al. (2015) hjärnlobsaktiviteten hos de deltagande med hjälp av EEG, eller elektroencefalografi. De väljer att använda sig av två olika ljudstimuli.
Forskarna väljer att använda sig av ett komponerat ljudstycke med ljud som anses vara vara läskiga, till exempel skrik, ljudet av att dra efter andetag och zombieläten för en sorts stimuli.
I texten presenterar Chen et al. (2015) just 1/f karaktäristik som finns i alphavågors
fluktuering. 1/f alphavågor har ett vanligare namn, nämligen rosa brus. Rosa brus går att hitta i de flesta naturliga händelser, som t.ex. fågelsång eller rinnande vatten. Klassisk musik som följer rosa brusets karaktäristik anses dämpa negativa humör (Chen et al., 2015). I kontrast, om rosa brus inte finns i ljudet så skulle inte en förändring i humöret ske på samma sätt, vilket var grunden till varför forskarna valde att använda sig av ett klassiskt stycke musik som ansågs ge en trevlig sinnesstämning som den andra ljudstimulin.
Efter experimenten så visade det sig att de deltagande i studien fick betydligt höjda negativa värden, alltså att det gav mycket utslag på EEG:n, när de deltagande i studien utsattes för “de läskiga ljuden“. Det blev större förändring i psykologiska responser till läskiga ljud, än till de
“lugnande sköna ljuden“. Den lugnande stimulin i detta fallet var klassisk musik, som kunde ha påverkat resultatet betydligt (Chen et al., 2015). En fråga som dyker upp då är ifall den lugnande stimulin skulle ge större påverkan på resultatet om de till exempel hade spelat upp
en ljudbild med fågelsång och rinnande vatten? Den stora frågan som växer fram är ifall de deltagande i studien, som blev utsatta för stimulin, upplevde samma emotionella respons som EEG:n plockade upp, eftersom studien inte har en del som täcker frågor om upplevelse hos de deltagande? Ett utslag på EEG:n betyder inte att du upplever en känsla, utan endast att du reagerar på ljudet.
Denna text kan vara givande för vårt arbete för att den ger en insikt i hur emotionell respons till ljud ser ut på mer fysisk och biologisk nivå. Studien tar upp bland annat 1/f karaktäristik som finns i alphavågor (rosa brus), och att dessa vågor är ansedda att dämpa negativa humör och att de finns i bland annat i fågelsång och i ljudet av rinnande vatten (Chen et al., 2015).
2.6 Retorik och känslor
Aristoteles text om retoriken kan bjuda på insikten i, och grunden för, retorik och Aristoteles tre övertalningsmedel (pistis). Huvudbegreppen i texten, vilket är dessa tre övertalningsmedel är ethos, logos och pathos. Pathos som handlar om att väcka känslor är något vi kan använda oss av under vårt arbete, då vi vill undersöka hur vi kan få fram en emotionell respons genom vår ljudberättelse.
Ethos handlar om karaktären hos talaren, och logos handlar om logiken och faktan i argument. Dessa begrepp kan vara användbara till denna undersökning, men vi kommer främst använda oss av pathos. Ethos har ju med karaktären att göra, och som tidigare nämnt i kapitlet under rubriken Röstens makt i berättandet så är det viktigare i hur rösten talar snarare än vad rösten talar om (Björkén-Nyberg, 2020). Detta kan vi ha i åtanke när vi spelar in berättarrösten till vår gestaltning, då vi kan ha i åtanke hur rösten talar (starkt ethos och pathos) snarare än att bara fokusera på att allt blir sagt.
Akujärvi (2012) skriver att “känslorna (pathos) är orsaken till att man ändrar sig och gör annorlunda bedömningar; känslorna beledsagas av smärta eller behag så som vrede, medlidande, fruktan och så vidare, och deras motsatser“ (s. 124). Det som pathos skulle kunna hjälpa oss med är att ta reda på vilken text vi ska använda oss av för ljudberättelsen,
alltså vilken text som ska bli ljudberättelse. Pathos kan vi också ha i åtanke när vi utför testerna senare i undersökningen.
2.7 Sammanfattning
Här kommer nu en sammanfattning på den tidigare och aktuella forskningen. I detta kapitel så togs skillnaden upp mellan Audio Description (neutralt förklara vad som händer på bild) och Audio Narration (förklara subjektiva känslor). De subjektiva känslorna såsom sorg, ilska och kärlek är svåra att förklara genom Audio Description och då är Audio Narration ett bättre verktyg använda. Under detta designarbete så kommer Audio Narration hjälpa oss för att kunna förklara olika subjektiva känslor.
För att lyssnaren ska får ett mer känslomässigt engagemang så är det viktigare hur rösten talar snarare än vad rösten talar om. Berättelsen i sig kan vara väldigt spännande, men om inte rösten är intressant så förlorar lyssnaren lätt intresse.
När det kommer till psykologiska responser under påverkan från rosa brus så kan vi använda detta i vårt designarbete, då när detta implementeras i ljudbilden så kommer detta ge en lugnande eller tillfredsställande känsla, vilket kommer ge oss mer kontroll att styra vår önskade effekt av ljudberättelsen.
Hur metaforer och semantiska uttryck har för påverkan på människor är något som vi
verkligen kan använda oss av under designprocessen, eftersom detta kommer att kunna hjälpa oss tolka den utvalda texten vi ska göra en gestaltning av.
Djupdykningen av diegesis och just var rösten befinner sig när den går ut ur diegesis är något vi kan använda oss av under designprocessen, framförallt då detta är kopplat till vår
frågeställning, men även för att detta ger oss insikt i hur vi kan styra informationsmängden av ljudet. Konceptet av plats har länge blivit översedd då karaktären tidigare bara har kommit till en plats för att senare åka vidare till nästa plats. Narrativet representeras av händelser genom ett tyst “vittne”. Detta “vittne” som är berättarrösten är icke-diegetisk. Om berättarrösten är huvudkaraktären så kan rösten skifta i diegesis från diegetiskt till icke-diegetiskt och vice versa. Aristoteles tre övertalningsmedel: ethos (talarens karaktär), logos (logiken och fakta) och pathos (väcka känslor) är något vi kommer kunna använda oss av. Främst pathos då detta
har med att väcka känslor att göra, men även ethos eftersom, som tidigare nämnt, det är viktigare hur rösten pratar än vad den pratar om.
3. Metoder
I detta kapitlet kommer dessa metoderna förklaras: designperspektivet The vision project, brainstorming och mindmaps som idégenereringsmetoder, Prototyping som arbetsmetod, tekniker och produktionsmetoder såsom diegesis, spatialisering, trampljud (foley) och Equalizer (EQ) samt kvalitativa intervjuer och formulär som insamlingsmetod.
3.1 Vårt designperspektiv - The vision project
Varför är ett designperspektiv bra inför ett projekt? Hertzum (2014) skriver att perspektiven är för att få större fokus över vad som ska designas och ge en struktur över upplägget.
Hertzum (2014) skriver även om att en ska vara medveten om att varje designperspektiv har sina styrkor och svagheter beroende på hur projekten är upplagda.
Designperspektivet The vision project passar bäst för oss. Hertzum (2014) skriver att visionen fokuserar på lösningen, varför man vill nå det och hur det passar till den stora designbilden. Med detta designperspektiv så börjar man tänka utifrån helheten och fokusera på själva lösningen som ett viktigt element i designprocessen. Utifrån helheten så måste man själva tänka på hur detaljerna ska vara (Hertzum, 2014).
Hertzum (2014) skriver att detta perspektiv är som mest effektivt när designers är väl medvetna över de dagliga uppgifterna. Med hjälp av en checklista över vad som ska arbetas på hjälper detta flödet på arbetet. Utan någon klar bild över vad som ska arbetas på blir det lätt att arbetet svävar bort och tappar fokus. Om detta skulle ske är det bra att ta ett steg tillbaka och analysera mer specifikt på arbetet för att komma fram till en ny checklista.
Ett exempel på The vision project skulle kunna vara att en ska designa en film. Här tar då filmskaparen sina tillgängliga medel för att skapa sin film så långt hen kommer mot sin vision, och om hen skulle stöta på problem så letar filmskaparen efter nya lösningar. Det viktiga med detta designperspektiv är att arbeta mot sin vision.
3.2 Idégenerering - Brainstorming och mindmap
Idégenereringsmetoden vi har valt är brainstorming, vilket är en metod som går ut på att de deltagande kommer på idéer utan att bli kritiserade av varandra (Löwgren & Stolterman, 2004). Brainstorming är ett effektivt och snabbt sätt att komma igång med idégenerering (Löwgren & Stolterman, 2004). Löwgren och Stolterman (2004) skriver att en negativ aspekt med brainstorming är ifall gruppmedlemmarna inte känner sig bekväma med varandra, då kan man få en långsam eller trög start på idégenereringen, men så är inte fallet för oss i vårt arbete.
Vid idégenereringen kommer vi använda oss av en mindmap, vilket är ett verktyg för att samla idéer och visa på hur olika idéer är sammanhängande med varandra, detta liknar sättet där man med papperslappar samlar och genererar idéer som Löwgren och Stolterman (2004) skriver om. Att mindmapen sedan finns uppskriven på till exempel en whiteboardtavla kan användas som en avlastning som underlättar, vilket i sin tur låter designerna tänka vidare.
Skillnaden mellan papperslappsmetoden (se tidigare mening) och att använda sig av en mindmap är att man enkelt kan samla och sortera idéer med mindmapen, vilket kan ge en tydligare helhetsbild. En mindmap gör det också enkelt att bryta ner idéer i olika
beståndsdelar, då man också kan dra kopplingar, i form av streck på en whiteboard, mellan idéerna.
När man sedan ska sammanställa den färdiga idén efter idégenereringen så kan man sortera bort idéer som överlappar eller upprepningar som enkelt kan uppstå vid idégenereringsfasen (Löwgren & Stolterman, 2004). Om det sedan uppstår att man har en idé som man har svårt att koppla till en annan idé i det “hierarkiska trädet” kan man prova med att iterera
sorteringsdelen så att man tillslut får en tydligare struktur (Löwgren & Stolterman, 2004).
Löwgren och Stolterman (2004) skriver att resultatet av en lyckad brainstorming ofta slutar med en påtaglig strukturerad mängd av idéer, men även att de deltagande i brainstormen känner sig inspirerade och positivt överraskade över sin produktivitet och kreativitet, vilket i sin tur kan öka arbetsmoralen inför det kommande arbetet.
3.3 Prototyping som designmetod
Prototyping är en metod som implementeras överallt i designvärlden, just för förmågan att få ett mer påtaglig prototyp. Coughlan et al. (2007) skriver att denna metoden går ut på att ta den existerande gestaltningen och utveckla den vidare på något sätt. Prototyping ger
möjlighet till experimentering i design och utvärdering för att ge större möjligheter innan en slutgiltig design. Metoden kan användas som ett medel där designers kan utforska, utveckla och komma fram till nya idéer (Coughlan et al., 2007).
Coughlan et al. (2007) skriver att prototyping kan hjälpa med tre stora uppgifter. Den första är “building to think” vilket är att designers bara bygger för att skapa idéer. Den andra är att lära sig genom att misslyckas tidigt. Detta är för att snabbt lära sig över vad som inte fungerar och varför. Den tredje är att ge möjlighet att utforska nya idéer, vilket menas med att kunna veta vad designers ska ändra på. Buxton och Sniderman (1980) skriver att designers bör sträva att utveckla sitt arbetssätt så att ifall det skulle uppstå några problem, skulle varje lösning vara möjlig att testa såsom att analysera problemen och utforska nya idéer. I ett prototyparbete utgår man från olika iterationsfaser. Buxton och Sniderman (1980) skriver att en iterativ design är kopplat till tre frågor. Den första är om vad som ska prototyparbetas på, och hur. Den andra är vad som ska observeras, och hur. Den tredje är hur resultaten
utvärderas för att senare kunna arbetas på. Detta betyder att under varje iteration analyserar man över vad som var bra och vad som var dåligt och går tillbaka till de olika gestaltningarna för att förbättra designen eller arbetet successivt under arbetsprocessen.
Ett exempel på prototyping är berättarröstens kommande roll. Fokuset kommer att vara på hur berättarrösten berättar texten mer än vad texten handlar om. Vi har valt att designa tre ljudberättelser, och detta är för att vi ska kunna göra en bredare undersökning om emotionell respons och just diegesis påverkan.
Ett annat exempel på hur vi kommer att använda oss av metoden prototyping är hur vi går till väga för att utforska kring begreppet diegesis. Vi kommer växla berättarrösten mellan ett
diegetiskt (inom den narrativa världen) och icke-diegetisk ljud (utanför den narrativa världen) och se hur varje fall resulterar.
Det är vår förhoppning att vi med hjälp av berättarrösten och skiftningen av diegesis tillsammans i en designad ljudberättelse ska kunna skapa en metodik för att få en viss emotionell respons hos lyssnaren.
3.4 Produktionsmetoder och tekniker
Produktionsmetoderna vi kommer att använda oss av mest i detta arbete är diegesis,
spatialisering, trampljud (foley) och equalizer (EQ). Gestaltningen kommer att undersöka den emotionella responsen genom skiftning av diegesis. Vad är då diegesis? När någonting är diegetiskt så är det menat att vara i den narrativa världen (karaktärer hör/ser detta). När någonting är icke-diegetiskt så är detta inte med i den narrativa världen, det vill säga att bara vi åskådare eller lyssnare kan höra ljudet, inte karaktärerna i narrativet. En förflyttning i diegesis syftar på att man tas ifrån diegesis till icke-diegesis och/eller tvärtom (Görne, 2019).
Exempel på ett diegetiskt ljud är två karaktärer som pratar med varandra. De karaktärerna kan höra varandra i den narrativa världen. Exempel på ett skifte i diegetiska ljud är musiken i Peter Quills hörlurar från Guardians of the Galaxy (2014). Musiken börjar som diegetisk i hans hörlurar där andra karaktärer kan höra musiken. Musiken skiftar sedan till ett
icke-diegetiskt ljud och hörs inte av andra karaktärer i den narrativa världen och är bara menat för publiken att höra.
Spatialisering syftar till att placera ut ljud i rummet, samt till hur ljud förhåller sig till de olika ljudutgångarna. Lutostanski (2016) skriver att narratologi är en dominant del i ett
audionarrativt medium. Just för det spatiala rummet är till exempel musik, oljud, tystnad och fading viktiga faktorer. Facebook 360° Audio Spatializer och Sennheiser Ambeo Orbit är två plug-ins till ljudredigeringsprogram som låter en placera ljudet i rummet med ett lätt och grafiskt interface. Med dessa program kan man till exempel placera ett ljud i ena ljudkanalen och få det färdas över till en annan kanal, vilket vi även kommer använda för att få ljud att
Trampljud, även kallat foley (döpt efter filmljudspionjären Jack Foley) är ljud som läggs på till en filmproduktion synkroniserat till bilden. De vanligaste ljuden är då fotsteg, men också klädprassel och andra vardagliga ljud (Stinson, 1999). Vanligtvis används andra ljud än det som visas på bild. Till exempel om någon går i löv, används filmpapper som substitut för löv.
Ett annat exempel är att steka bacon eller lök i olja för att få regnljud (Stinson, 1999).
En equalizer (EQ) är en plug-in som manipulerar frekvensområden i ett ljudspektrum. En EQs uppgift är bland annat att då att jämna ut och balansera ut ljudet, till exempel genom att höja mellanfrekvenserna vid 1000 Hz med någon decibel (dB). Med hjälp av en EQ kan vi få ljuden i våra gestaltningar att låta diegetiska och mer trovärdiga på plats i det audiella
rummet (Izotope, 2020). EQs finns i stort sett i varje ljudredigeringsprogram och mixerbord.
3.5 Insamling och analys av upplevelser
En välkänd metod för att samla in människors uppfattningar och upplevelser är att föra en kvalitativ studie på ett antal människor som får representera allmänheten, även fast vi i vårt fall spekulerar att det kommer bli en för liten skara för att klargöra något som ska
representera allmänheten. En stor studie med många deltagare under en längre tid har en mycket bättre chans att kunna representera allmänheten mer precist, detta har vi däremot för lite tid för. Eftersom vi är medvetna om detta så kommer vi lägga större vikt på och prioritera designprocessen, än insamling- och analysdelen.
Kvale (1997) skriver om olika steg för en kvalitativ intervju. Kvale (1997) skriver att det första steget i en kvalitativ intervju är att öppna med en öppen fråga, som till exempel: hur känner du om detta? Det andra steget är sedan att den som intervjuar ska upptäcka en följdfråga på det som tidigare sades, det vill säga att ta intervjun i en riktning (Kvale, 1997).
I det tredje steget skriver Kvale (1997) att den intervjuande tolkar svaren som kommer från den som intervjuas och ställer då en fråga om denna tolkning är den som vill framgå.
Metoden för analys vi valt heter meningskoncentrering (Kvale, 1997). Denna metod går ut på att samla data från till exempel en intervju och koncentrera svaren till att få ett fokus på det
tema som undersökningen har (Kvale, 1997). Kvale (1997) skriver att denna tolkning av den intervjuades svar ska vara så oberoende som möjligt av forskaren, och vara utan sådant som till exempel fördomar från forskaren. Kvale (1997) skriver att i slutskedet vid en
meningskoncentrering innebär det att ställa frågor till den koncentrerade meningen utifrån undersökningens specifika syfte, som till exempel i vårt fall om diegesis eller andra huvudfrågor.
3.6 Sammanfattning
Under denna undersökning kommer dessa metoderna att användas: designperspektivet The vision project, som tänker på designen utifrån sin helhet och med hjälp av dagliga uppgifter nå upp till den slutliga designen, eller med andra ord, ens vision. The vision project kommer att vara övergripande under denna undersökning. Brainstorming och mindmaps kommer att användas som idégenereringsmetoder. Brainstorming är fungerar som så att samtliga deltagare spånar idéer över vad som ska designas. En mindmap hjälper till att få en struktur över dessa idéer. Prototyping är metoden vald för denna undersökning. Prototyping är menat att användas för att kunna utforska och experimentera med sina designval. De stora
produktionsmetoderna och teknikerna för gestaltningen är diegesis, spatialisering, foley (trampljud) och equalizer (EQ). Diegesis handlar om att jobba med vad som är med i den narrativa världen, samt vad som inte tillhör den narrativa världen, och då blir det
icke-diegetiskt. Spatialisering handlar om att placera ut ljud i ljudbilden, samt hur ljud kan förflyttas mellan olika ljudkanaler. Foley är ljud som används som punkteffekter i film, dessa är synkroniserade till tidpunkter och händelser i filmer. Equalizer används för att ändra karaktären på ett ljud genom att manipulera frekvenserna, till exempel genom att höja basfrekvenserna, och på så sätt låter ljudet mer basigt. Kvalitativa intervjuer och formulär kommer vara vår insamlingsmetod, med meningskoncentrering som analysmetod.
4. Designprocess
I detta kapitlet handlar det om hur vi började skapa gestaltningarna och använde oss av brainstorming och mindmaps, prototyping för att testa olika plug-ins, val av dikter och hur vi spelade in röst, bakgrundsljud och trampljud (foley) till samtliga dikter samt mixning av dessa gestaltningar. Vi kommer gestalta abstrakta dikter som ljudberättelser som kommer innehålla berättarröst, bakgrundsljud och trampljud (foley).
4.1 Förarbete
Vi använde oss av en mindmap, där vi skrev upp flera olika ideer som vi kunde komma på (se bild 1). Här använde vi oss av våra huvudbegrepp, nämligen diegesis, emotionell respons och ljudberättelse när vi brainstormade och utgick ifrån dikten Time eating av Keith Douglas (se bilaga 1). Här byggde vi sedan upp en struktur jämsides med dikten där vi skrev upp olika ljud vi kunde tänka oss använda oss av. Vi tolkade texten som om dikten handlade om konceptet tid, det vill säga hur tiden skapar och förstör.
Den första idén från brainstormingen var att undersöka om hur vi kunde få emotionell
respons från människor genom att spela upp ett ljud. Detta ledde vidare till att handla om hur just diegesis kunde påverka den emotionella responsen i ett ljudberättelsesammanhang.
Tanken med gestaltningen var att kunna adaptera något som inte redan är etablerat. I verk som Sagan om Ringen eller Harry Potter så vet lyssnaren redan om hur karaktärer som
Aragorn och Gandalf från Sagan om Ringen eller Harry och Hermione från Harry Potter ser ut och agerar, samt hur platser och händelser som slaget vid Helms Klyfta och Hogwarts från respektive verk ser ut. Utmaningen med våra kommande gestaltningar var att använda oss av verk som i sig inte följer några konkreta förklaringar (till exempel något abstrakt verk från 1950/60-talet) och försöka tolka dem och adaptera dem till ljudberättelser.
Härnäst var det läge att se hur passande vår tolkning av Time eating var genom att börja med att experimentera med mixning och diegetisk röst. Rösten spelades in med en Røde NT1-A mikrofon som reciterade tre verser från dikten. För att skapa den diegetiska känslan på rösten, användes en EQ (equalizer), vilket är ett verktyg för att justera (höja/sänka) de olika
frekvenserna för ett ljud, och ställde in högpassfiltret på 274 Hz. Högpassfilter och
lågpassfilter är båda effekter som agerar som ett skynke som tonar ner frekvenser gradvis vid en punkt, det vill säga att ett lågpassfilter som sätts vid 10 kHz tonar gradvis ut frekvenserna 10 kHz till 20 kHz, och ett högpassfilter som är satt vid 500 Hz tonar ut frekvenserna 500 Hz till 1 Hz. De låga frekvenserna vid 500 Hz sänktes med 6 dB (decibel). Lågpassfiltret sattes vid 10 kHz tillsammans med en minskning på 3 dB, vilket gjorde så att rösten lät utspela sig från samma plats som “vinden“ i ljudberättelsen, vilket i sin tur gav rösten en diegetisk karaktär. För att sedan få rösten till icke-diegetisk, användes en automation på EQ:n som ledde till en bypass, som stängde av EQ:ns funktion. Genom att använda prototyping och iterationer under arbetet med Time eating så fick vi undersökt och experimenterat kring vilka inställningar vi ville ha i våra gestaltningar, till exempel hur och när vi skiftar mellan
diegetisk och icke-diegetisk röst. Vi baserade vår uppfattning av vad som var diegetiskt efter ljud som utspelades på liknande platser som beskrivs i dikten, i detta fallet en röst vid ett hav.
4.2 Nocturne
Dock så var Time eating för tydlig med sina metaforer, som till exempel att använda sig av vågor för att symbolisera tid. Vi fortsatte att leta efter mer abstrakta verk som vi kunde
använda oss av och adaptera. Verket vi hittade var Nocturne av Tomas Tranströmer (se bilaga 1). Vad vi kunde tolka av den texten var att den handlade om en person med sömnsvårigheter.
Dikten börjar med att personen kör genom en by om natten, mellan hus, lador och skyltar
som lyser som en fyr. Det visar sig sedan att personen har varit i sängen hela tiden med sömnsvårigheter.
Inför gestaltningen av Nocturne så analyserade vi texten och lade fokus på hur berättarrösten skulle prata istället för att endast fokusera på vad som sades som Björkén-Nyberg (2020) skriver, detta för att förstärka karaktären hos berättarrösten. Därefter så läste vi igenom dikten med en tanke på vilka ljud som skulle passa in i ljudberättelsen, och här valde vi även att ta an ett flertalet abstrakta tolkningar av ljud, som vi tänkte skulle öka informationsmängden i ljudet, det vill säga att vissa av ljuden skulle låta icke-diegetiska, till exempel susande ljud som åker förbi.
Själva inspelningen av rösten skulle hjälpa oss att veta hur strukturen av Nocturne skulle vara, alltså när rösten väl var inspelad kunde vi planera in var i ljudberättelsen ljud skulle vara tidsmässigt. Vi använde oss av en Røde NT1-A mikrofon och spelade in en rad i taget.
En av oss var berättarrösten och den andra gav direktiv över hur varje mening skulle berättas, till exempel “du är deprimerad” eller “agera som att du har en debatt inne i en bil”, för att dessa sinnesstämningar passar in i narrativet av dikten, samt ger den som får sin röst inspelad rätt sinnesstämning. Vi valde att arbeta på detta sättet för att framhäva ethos i talet, vilket vi tidigare läst om är oftast viktigare när man ska förmedla ett budskap, snarare än vad talet i sig säger (Björkén-Nyberg, 2020).
För att kunna få en större blick på hur Nocturne skulle låta, letade vi efter ljud på olika ljudbibliotek. Detta var då temporära ljud för att veta vilka ljud som behövdes spelas in som trampljud (foley), alltså ljud som kommer bytas ut senare avsiktligt då vi hade de önskade ljuden. Några viktiga ljud som behövdes på Nocturne var en tickande klocka, som ger en ledtråd till lyssnaren över var det egentligen utspelar sig, ett sovrum. Susande ljud, som skulle visa husen som susar förbi karaktären när han åker bil genom byn. Vissa
icke-diegetiska ljud, såsom en sub-basig tryckvåg som skulle ge en lite obehaglig känsla (Görne, 2019). Vi skapade även en eldstorm, eftersom vi tolkade texten som om att skogens löv skulle lysa som en fyr. Fyren tolkade vi ljudmässigt och vi använde en vild eld som panorerar höger och vänster för att representera fyren. Panorering är en teknik som används
för att få ett ljud förflytta sig mellan ljudkanaler, till exempel från vänster högtalare till höger högtalare. Såklart så behövdes fler
ljud såsom skratt, snarkningar och hammarslag. Men klockan, husens susande och eldstormen var de viktigaste ljuden i denna gestaltningen.
För att få en så trovärdig upplevd diegesis som möjligt valde vi att använda en plug-in med namnet Facebook 360° Audio Spatializer (se bild 2). Vi implementerade denna plug-in på flertalet ljudspår
i arbetet, men framförallt på rösten och elden.
Vi upptäckte bland annat att automatiserad panorering var mycket mer tidseffektivt att skapa med denna plug-in än med det traditionella sättet, då vi fick det resultat vi ville ha genom att automatisera färre parametrar än tidigare, endast två, nämligen azimuth och distance.
Azimuth är från var i området runt lyssnaren ljuden utspelas, i grader, och distance är avståndet från lyssnaren i meter. Med denna plug-in så fick vi ljudet att förflytta sig mer organiskt, istället för ryckigt, vilket vi upplevde ökade diegesis.
Ambiensljud (bakgrundsljud) för gestaltningen är viktig för att etablera var någonstans berättelsen sker någonstans. För Nocturne spelade vi in ambiensen och konvolutionsreverbet på de platserna vi tänkte att dikten skulle utspela sig, såsom inne i en bil och i en skog. När man spelar in konvolutionsreverb så spelar man in en hög smäll, till exempel ett handklapp eller en ballongsmäll i ett fysiskt rum för att sedan kunna ta efterklangen i ljudet och använda denna efterklang som reverbet för just det virtuella rummet, här använde vi oss av en plug-in som heter Space för att just förvandla våra inspelade smällar till efterklang. När
konvolutionsreverb låter som om det tillhör ambiensen accepterar vi att ljudet kommer från
(Görne, 2019).
När vi spelade in trampljuden (foley) för Nocturne, använde vi oss av två Sennheiser mikrofoner i en XY-position. XY-position är ett sätt att placera mikrofonerna ovanpå varandra med 90 gradig vinkel motsatt från varandra. Detta sätt att spela in stereoljud har en liten risk för fasfel i ljudet, eftersom mikrofonerna är nära varandra. Fasfel är när den ena mikrofonens inspelning tillsammans med den andra dämpar frekvenser. De ljuden som som vi kunde spela in som foley var susande hus, vilket vi gjorde genom att vifta en lång träpinne framför mikrofonerna. För att få fram tyngden på susen, ändrade vi hastigheten på ljudet samt sänkte tonhöjden. För en ytterligare fyllighet användes equalizer och höjde de låga
frekvenserna med runt 6 dB. Med hammarslag, slog vi en metallventil med ett järnrör. För att inte få lång efterklang på slagen, höll vi för ventilen med handen. Elden var det mer kluriga och komplexa ljudet vi spelade in. Vi behövde spela in olika ljud i lager. Plastpåsar,
godispåsar (av plast) och tygkassar användes som de högre- och mellanfrekvenserna för elden.
4.3 Madness och Covid-19
Ett kort tag innan vi spelade in ambienserna och konvolotionserverben så letade vi rätt på fler dikter. Dessa dikterna läste vi igenom på liknande sätt som med Nocturne och vi planerade ut vilka ljud som skulle vara var. Samtidigt som vi spelade in ambienserna till Nocturne spelade vi även in ambienser och konvolutionsreverb till de två andra dikterna, nämligen Madness av Joyce Kilmer (se bilaga 1), och How I started a forest in my Bathroom av Maartje Smits (se bilaga 1).
Vi bokade en tid till Studio Netport för att spela in foleyljud. Något som vi ansåg skulle ge torrare ljud, alltså ett ljud utan efterklang, och på sätt även bättre inspelningar än om vi skulle spelat in ljuden i ett vanligt rum med vardaglig rumsklang. Studio Netport är ljudbehandlat för att bli av med mycket rumsklang, vilket låter en lägga rumsklang på i efterhand, till exempel ett konvolutionsreverb utan att reverbet får en blandad efterklang av till exempel ett rum (rummet där ljudet spelas in) och en skog (som skulle vara det pålagda reverbet). De ljuden som spelades in i Studio Netport för Madness var fängelset (i mitten av dikten) och det
mesta som användes i kaféet (i slutet av dikten). För fängelset slogs koppar längs med
baksidan av ett notställ, notstället hade i detta fallet hål. Resultatet blev som att slå mot galler.
För de ljuden som var i kaféet, användes en kopp som sörplar kaffe och en laptop som knappar tangenter.
Därefter stötte vi däremot på ett problem, nämligen Covid-19. På grund av virusets utbrott så stängdes högskolans lokaler ner vilket hämmade produktiviteten. Vi kunde inte använda oss av högskolans Pro Tools (som hade vissa Plug-ins vi behövde). Detta löstes genom att skolan hjälpte oss få Pro Tools Ultimate-licenser efter ett tag, vilket betydde att arbetet nu skulle ske hemifrån, då vi nu fick tillgång till bland annat konvolutionsreverbet Space, som vanligtvis kostar mycket pengar. Ytterligare problem stöttes på då vi inte fick Facebook 360° Audio Spatializer att fungera på våra egna datorer. Här tog vi då beslutet att använda Sennheiser Ambeo Orbit (se bild 3), vilket är en plug-in med
liknande funktioner som Facebook 360° Audio Spatializer. Sennheiser Ambeo Orbit saknar däremot distansparametern som vi hade användning av när vi ville skapa diegesis, men vi löste detta problem genom att använda en kombination av volymförändring tillsammans med att förändra hög- och lågpassfrekvenserna i en equalizer beroende på hur nära ljudkällan var lyssnaren. Desto längre ifrån en ljudkälla lyssnaren var ju mer sänkte vi lågpassfiltret, och motsatsen gällde då för högpassfiltret.
Sedan var det dags att spela in rösten för Madness. Detta gjorde vi med
stormembransmikrofonen sE Electronics X1, vilket var mikrofonen som vi redan hade tillgång till. När vi väl spelade in rösten så använde vi olika material, såsom madrasser, soffkuddar, täcken och gardiner för att ta bort så mycket som möjligt av rumsklangen i
ifrån. Väl vid inspelning så på liknande sätt som tidigare så agerade vi ut vissa scener av dikten, och gjorde vissa delar av dikten till diegetiska och vissa delar av dikten
icke-diegetiska.
Vi lade även till diegetisk bakgrundsdialog baserad på innehållet i Madness, det vill säga text och röster som inte var med i dikten från början. Detta gjorde vi för att få in ett narrativ i dikten, samt för att vi ville experimentera med att placera ut diegetisk dialog, men även för att fylla ut dikten något, då vi ansåg att dikten skulle blivit något kortare än vad vi ville ha den.
Dessa diegetiska dialoger placerade vi ut med hjälp av Sennheiser Ambeo Orbit, där vi även använde elevationparametern, som ger möjligheten att förändra ett ljud så att det låter som om det är i olika höjder från lyssnaren, till exempel som om ett ljud spelas upp nere vid golvet eller uppe vid taket. Detta använde vi till exempel när vi ville få kungens dialog i Madness att komma från en balkong högt upp som blickar över en folkmassa, och här tänkte vi att lyssnaren i fråga var nere i folkmassan.
När det sedan kom till våra abstrakta ljud och rosa brus så placerades det rosa bruset ut på ställen utan diegetisk röst för att ge känslan av trygghet, för att i sin tur ta bort
trygghetskänslan när det sedan blev diegetisk röst. Det intressanta med abstrakta ljud var att man fick tolka ord och till exempel i Madness när rösten säger “moonbeam“ så tog vi en mikrofon och spelade in rinnande vatten i ett handfat och sedan lade vi olika effekter som man kanske inte skulle tänka sig lägga på ett sådant ljud, till exempel en gitarrförstärkare för att förändra ljudet från något man är van vid till ett ljud man inte hört tidigare, och sedan applicerade vi ett plate-reverb med en lång efterklang. Efter det så använde vi en equalizer för att sänka de övre frekvenserna och öka lägre-mittenfrekvenserna för att återigen försvåra igenkänning av ljudet av rinnande vatten, och på så sätt fick vi vårt “månstrålsljud“. För att sedan ta ljudet till nästa nivå så automatiserade vi Sennheiser Ambeo Orbit till att få ljudet att snurra runt om lyssnaren med en ökande hastighet hela tiden. Detta var något vi kopplade till vad Görne (2019) hade skrivit om just att med högre informationsmängd på ljudet desto mindre diegetiskt är ett ljud.
Vi behövde spela in vissa bakgrundsljud på nytt för att få en större ljudbild. Detta gjorde vi genom att koppla två AKG P170 i XY-position tillsammans med en Zoom H5n, vars mikrofoner redan är i XY-position. Inspelningen skedde genom att vända de båda
mikrofonparen åt varsitt håll med ett par av mikrofonerna omvända. Detta var för att få fram
en större ljudbild. Vi spelade först in Karlshamns torg mitt
på dagen då det var som mest personer utomhus (eller så många som under Covid-19 tider).
Det hjälpte oss ändå för att det var mycket sorl som passade till stadsambiensen. Det andra bakgrundsljudet vi spelade in var havet och dess vågor. För att inte få något onödigt brus från fabriker eller staden, gick vi en bit in på strandpromenaden för att få en lugn miljö. Det var inte så stora vågor den dagen, men med hjälp av dubbel XY-uppsättningen där vi spelade in på samma sätt som på torget, blev resultatet enormt och lät mycket större än vad det
egentligen var (se bild 4).
4.4 How I started a forest in my Bathroom
Processen för How I started a forest in my Bathroom gick mycket snabbare än de tidigare gestaltningarna, mycket till del av att vi hade lärt oss hur teknikerna såsom diegesisskiften, och spatialisering gick till.
Vi började gestaltningen med att spela in de trampljuden (foley) som behövdes. Vi visste att vi behövde mycket grönsaker och frukter då dikten handlar om att någon köper en mängd
skulle representera växter som växer. Vi köpte även ett paket müsli som då skulle
representera en påse full med frön. För att få det att låta som att växter växer, bröt vi sellerin, salladsbladen och apelsiner i bitar. Detta gav ett klibbigt ljud som passade bra för det
ändamålet, som var att stänga in karaktären och lyssnaren. Efter inspelningen klippte vi ljuden och valde de bästa bitarna till vår gestaltning. I och med att vi var tvungna att arbeta
hemifrån fick vi anpassa vårt rum för foleyinspelning. Vi gjorde detta genom att bygga ett
“kuddfort” med madrasser och kuddar (se bild 5). Detta var för att isolera ljudet och
förminska rumsklangen. Trampljuden (foley) spelades in med Zoom H5n i XY-position strax utanför kuddfortet.
De abstrakta ljuden som användes i How I started a forest in my Bathroom var svampar som växte och gav sin energi till de andra växterna. Vi valde då olika “ploppljud” vi hittade på freesound.com och klippte de så att de “ploppade” i den rätta takten vi sökte efter. Energin som svamparna ger till de andra växterna var egentligen en Saw wave med en lätt side chain på kompressorn.
Efter att alla trampljuden och de abstrakta ljuden var inspelade, började vi tänka på
röstinspelningen. I Pro Tools-projektet valde vi att spela in berättarrösten först. På detta sätt kunde vi anpassa de andra ljuden och lägga de där ljuden ska vara. Röstinspelningen skedde än en gång med stormembransmikrofonen sE Electronics X1 och en tjock gardin användes för att isolera så mycket av rumsklangen som möjligt. För att veta på ett ungefär hur lång
gestaltningen skulle bli, spelade vi in hela dikten i ett svep. Sedan spelades en rad in i taget för att få flödet på talet att bli bättre och agerande, som om rösten var diegetisk eller icke-diegetisk.
De diegetiska bakgrundsdialogerna spelades in för att få en känsla av rum för berättarrösten.
En utmaning var att en av dialogerna som en lagerarbetare sa skulle vara på nederländska. Vi översatte passagen från dikten (som är på engelska) till nederländska i Google translate.
Översättningen var kanske inte helt grammatiskt korrekt, men det passade in till diktens tema där huvudkaraktären inte lyssnar på lagerarbetarens varning. All bakgrundsdialog
spatialiserades med hjälp av Sennheiser Ambeo Orbit samt Space plug-in för att få den diegetiska känslan. Genom att använda prototyping och iterationer under i stort sett hela arbetet så fick vi undersökt och experimenterat kring vilka inställningar kring ljud vi ville ha i våra gestaltningar, och efter varje genomförd gestaltning så fick vi kunskapen till hur och vad vi skulle göra i nästa gestaltning. På så sätt blev arbetstiden kortare för varje gestaltning som gick, då vi blev effektivare.
4.5 Mixning och färdigställande av gestaltningarna
Efter att gestaltningarna blivit färdiginspelade, så mixade vi dem. Detta gjorde vi med riktlinjer av den nordiska skalan. Den nordiska skalan är en skala som Sveriges Television och Sveriges Radio följer i allt de sänder ut. Denna skala är till för att hålla allting som produceras i någorlunda samma ljudnivå, för att till exempel inte ha helt olika volym på program i följd. Ett exempel från den nordiska skalan är att den mesta dialogen ska ligga vid +6 dB och majoriteten av övrigt ljud ska ligga runt 0 (eller T ) dB, detta är för att den
nordiska skalan prioriterar tal vid mixningen. Vi valde att använda denna skalan som riktlinje då vi ville ha våra gestaltningar på en liknande volym, samt för att rösten var den viktigaste aspekten i våra gestaltningar. Däremot så följer vi inte skalan till punkt och pricka. När rösten är diegetisk så finns det olika ljud som överröstar talet, och detta är för att det överröstande ljudet i fråga ska ge en viss känsla, till exempel i How I started a forest in my Bathroom när växtljuden omsluter lyssnaren för att ge en instängd känsla.
Efter mixningen så blev gestaltningarna färdigställda. Detta betydde att vi nu hade tre stycken dikter gjorda till ljudberättelser med ambiens, foleyarbete, dialog och rosa brus. Dessa
ljudberättelser hade även olika narrativa platser i sig och hade olika röster med olika
egenskaper, till exempel var två ljudberättelser på engelska och en var på svenska. Dessutom så skiftar rösterna i diegesis under narrativets gång. Dessa gestaltningar var nu redo att användas i vårt undersökande syfte.
4.6 Sammanfattning
The vision project, vårt designperspektiv, hjälpte oss mycket under designprocessen, då vi blev påminda av våra källor och arbetade mycket efter vår vision, vilket i sin tur även fick oss att hålla fokus på vår frågeställning medans vi gjorde våra gestaltningar. Vi har fått höra att man lätt kan glömma bort sin frågeställning när man kommer till denna fasen, och mer eller mindre bara arbeta, men som sagt anser vi att The vision project höll oss ankrade.
Sammanfattningsvis började vi arbetet med att brainstorma fram idéer till hur designerna till gestaltningarna kunde se ut. För att lättare kunna se en struktur över idéerna, använde vi oss av en mindmap. Efter att ha kommit på vad vi ville arbeta med, började vi använda oss av prototyping på olika plug-ins för att lära oss hur vi kan skifta ett ljud från icke-diegetiskt till diegetiskt och vice versa. Vi letade sedan efter abstrakta dikter som vi tyckte skulle passa vår undersökning. Detta gav oss en utmaning till att tolka vad för ljud vi skulle använda i de olika gestaltningarna. Vi spelade vi in röst, trampljud (foley) och bakgrundsljud till samtliga
ljudeberättelser. Dock på grund av att Covid-19 stängde högskolan, fick vi anpassa oss att bygga upp egna isolerade platser för att bland annat spela in trampljud (foley) och rösterna.
Vid mixningsprocessen baserade vi oss löst efter den nordiska skalan, det vill säga att rösten ska ligga vid +6dB och majoriteten av de andra ljuden ligger vid 0 (eller T) dB.
5. Resultat av undersökningen
I detta kapitlet beskriver vi att vi gjort ett formulär. Vi redovisar våra svar från intervjuerna, samt analyserar och kopplar svaren till vår undersökning.
5.1 Intervju och formulär
Vi gick över till att skapa det formulär som vi skulle ha för att dels hålla koll på frågorna, men även för att kunna skicka ut till allmänheten (se bilaga 2). Vi skapade formuläret med möjlighet att ge längre svar på frågorna, då vi ville få in så mycket information som möjligt, eftersom vi gör en kvalitativ undersökning. Vi lade in våra gestaltningar i frågeformuläret så att deltagarna av undersökningen skulle lätt ha tillgång till ljudet.
Några exempel på frågor vi hade med var vilka känslor lyssnarna fick när de lyssnade på gestaltningarna, samt även om de kände obehag eller behag, men också om diegesis och röstens engagemang. Vi ställde just frågor om diegesis, engagemanget av rösten och den emotionella responsen för att de är huvudbegreppen för vår undersökning och för vår frågeställning, som tidigare nämnt är: Hur kan man designa en ljudberättelse med
berättarröst för att få emotionell respons hos lyssnarna med hjälp av en skiftning av diegesis, utan visuellt medel?
För att få fram ett kanske mer pålitligt resultat som stämde mer överens med verkligheten så genomförde vi några intervjuer fysiskt på plats, men mestadels av intervjuerna var via videochatt, med tanke på Covid-19. Det var just för att kunna ställa följdfrågor som vi valde att även genomföra intervjuer på detta sätt. Efter att vi nu genomfört denna undersökning med intervjuer ska vi nu presentera våra resultat. Vi fick in några svar från intervjudelen och det återstod att analysera, jämföra och se hur dessa svar förhåller sig till frågeställningen.
Som tidigare nämnts så var frågeställningen: Hur kan man designa en ljudberättelse med berättarröst för att få emotionell respons hos lyssnarna med hjälp av en skiftning av diegesis, utan visuellt medel?
5.2 Kvantitativa svar om diegesis
I vår intervju så hade vi en del som gick ut på att betygsätta kvalitén av diegesis, som vi beskrev som hur verklig och på plats rösten lät sig vara under vissa delar. Detta var för att få en konfirmering av lyssnarna att vi lyckats nå diegesis, men även för att få en omväxling i intervjun så att deltagarna skulle få göra något lättare att svara på ett tag så att de kunde fortsätta med de lite svårare frågorna senare. I den första gestaltningen, vid elddelen så tyckte tre personer att rösten var väldigt verklig och gav poängen 5, men majoriteten av lyssnarna gav en poäng på 4. Tre lyssnare gav poängen 3, och ansåg att det inte var väldigt verkligt, och en lyssnare tyckte inte att det var verkligt alls och gav 2 poäng. (Se bild 6).
I den andra gestaltningen när den nyblivna kungen pratar till folket tyckte sex personer att rösten var väldigt verklig och på plats och gav 5 poäng. Fyra personer tyckte tyckte att rösten var rätt så verklig och på plats och gav 4 poäng. Tre personer tyckte att rösten var
medelmåttigt verklig och på plats och gav 3 poäng. (Se bild 7).
När personen står vid havet och artilleriet slår ner i den andra gestaltningen tyckte fem personer att rösten var väldigt verklig och på plats och gav 5 poäng. Fem personer tyckte att rösten var rätt så verklig och på plats och gav 4 poäng. Det var endast tre lyssnare som tyckte att rösten inte var så bra och gav poängen 1, 2 och respektive 3. (Se bild 8).
I den tredje gestaltningen när berättarrösten skriker om IKEA-växter, blev resultatet väldigt delat. Tre personer tyckte att rösten var väldigt verklig och på plats och gav 5 poäng. Fyra personer tyckte att rösten var rätt så verklig och på plats och gav 4 poäng. Tre personer tyckte att rösten var medelmåttigt verklig och plats och gav 3 poäng. 2 personer tyckte att rösten var mindre verklig och på plats och gav 2 poäng. En person tyckte inte att rösten var verklig och på plats och gav därför 1 poäng. (Se bild 9).
I tabellen om hur rösten upplevdes när skogen växer i den tredje gestaltningen (Se bild 10), tyckte tre personer att rösten var verklig och på plats och gav 5 poäng. Sex personer tyckte att
rösten var rätt så verklig och plats och gav 4 poäng. Tre personer tyckte att rösten var medelmåttigt verklig och på plats och gav 3 poäng. En person tyckte att rösten var mindre verklig och gav därför 2 poäng.
5.3 Kvalitativa svar från undersökningen
Den första frågan vi hade i våra intervjuer var vilka känslor de kände när de lyssnade på våra gestaltningar. Oro var den mest prominenta känslan de kände under lyssningens gång. Lugn var den näst vanligaste känslan som lyssnarna upplevde. Spänning och känslan av nyfikenhet var det också en del som kände. Oro och lugn är motsatta känslor som folk kände under gestaltningarna. Detta kan bero på att gestaltningarna skiftar i diegesis och ändrar känsla genom sitt utförande. Spänning och känslan av nyfikenhet kan vara för att för att det var intressanta ljud i bakgrunden samt hur berättarrösten berättar dikterna.
Vidare till nästa fråga som handlade om de kände något behag när de lyssnade. Lyssnarna kände av ett behag när berättarrösten pratade och var icke-diegetisk. Återigen så var uppläsandet det stora som gav en behaglig känsla, som fick lyssnarna att slappna av.
Lyssnarna uppskattade och kände sig mest behagade av delarna där det rosa bruset låg i bakgrunden, vilket också kan ha haft en effekt på behaget. En minoritet av lyssnarna kände under Nocturne att det blev mer behagligt när det blev diegetiskt, snarare än när det var icke-diegetiskt, dock var det rosa bruset underliggande i denna del vilket kan vara en stor faktor till behaget. Som Chen et al. (2015) skriver så skulle det rosa bruset ha en lugnande effekt på människor, och detta kan vara ett av skälen till att folk uppskattar dessa delar med rosa brus. Den emotionella responsen kan ha påverkats av ett skifte i diegesis tillsammans med det rosa bruset.
Sedan som motsatsfråga till den förra så ställde vi frågan om de kände något obehag under lyssningen. Fångenskap, förvirring och det okända var de stora orsakerna till att vissa av lyssnarna kände obehag. Med fångenskap syftar lyssnarna på att ljudet “omkapslar” lyssnaren
