Virtuella artister på scen : Samspelet mellan artister och publiken i livekonsertvideor

Virtuella artister på scen

Samspelet mellan artisterna och publiken i livekonsertvideor

Virtual music artists on stage

The interaction of artists and the audience in live concert videos

Hella Selle

Designprojekt: Find Me

Grafisk design

Examensarebte på kandidatnivå, 30 hp VT 2020

Handledare design: Oskar Aspman Handledare uppsats: Åsa Harvard-Maare

Abstract

Denna studie är en inventering av tre lösningar till hur det digitala kan sättas in i ett livekonsertsammanhang, med hjälp av bland annat AR. Studien undersöker genom en videoanalys, de tre virtuella artisterna Gorillaz, Hatsune Miku och K/DAs liveuppträdanden. Tre konsertvideor från ett särskilt tillfälle med motsvarande musikvideo användes som material för analysen. Utifrån frågeställningen undersöks hur de olika semiotiska fälten samspelar, samt ett avsnitt där sambandet mellan grafisk design och AR diskuteras.

Frågorna som studien fokuserat på är hur den digitala aspekten av en virtuell artist återges vid livekonserten, samt hur den virtuella artisten kan interagera med såväl levande musiker som med publiken. Analysen visar att alla tre exempel interagerar med publiken i olika mån. Hur den digitala artisten tolkas och återges vid en livekonsert löses genom olika teknologier och med olika metoder. Trots de tydliga skillnaderna har de en sak gemensamt: trots att artisten är virtuell gör samspelet med publiken konsertupplevelsen verklig.

sökord

augmented reality, Gorillaz, grafisk design, Hatsune Miku, K/DA, semiotiska fält, videoanalys, virtuella artister

Innehållsförteckning

1 Inledning

1

1.1 Definition av den virtuella artisten 1

1.2 Läsanvisning 2

2 Problemområde

2

3 Avgränsning

3

4 Litteraturval och relaterad forskning

4

5 Designprojekt

4

6 Teori

5

6.1 Utveckling och möjligheter inom teknologin 5

6.2 Kulturhistoriskt perspektiv 6

7 Metod

7

7.6 Konsertvideo istället för livekonsertkonsert 10

8 Material

10

8.1 Presentation av de virtuella artisterna 10

8.2 Musikvideo som referens 11

9 Genomförande

12

10 Analys

16

11 Sammanfattning av analys

24

12 Slutsats

26

12.1 Visuell presentation och den virtuella artistens (VA) plats i konserten 26

12.2 Musikvideor anpassade till livekonserten 26

12.3 Konsertertens bakgrund 27

13 Diskussion

27

13.1 Relevans för grafisk design 27

13.2 Virtuella artister och etiska aspekter 28

13.3 Peer production 29

13.4 Distansaspekten av en konsert 30

Källförteckning 31

Virtuella artister på scen

Samspelet mellan artisterna och publiken i livekonsertvideor

1 Inledning

Under lång tid har underhållning i olika former använt sig av digital teknik som genom åren utvecklats och förbättrats. Konserter med virtuella musiker kan lösas på många olika sätt och mycket ligger på interaktionen mellan artisterna på scenen och publiken. Hur det digitala, virtuella och den så kallade verkligheten på senare tid suddat ut sina gränser ger bland annat grafiska designer nya plattformar att arbeta på. AR (augmented reality) integreras i vår vardag på olika nivåer, allt från Snapchat-filter till konserter med virtuella artister, och kopplingen till grafisk design finns alltid där. AR är ett potentiellt verktyg för grafiska designer att effektivt kunna kommunicera ett budksap eller överföra information på. Med visuellt och grafiskt material kan det som syns i den fysiska omgivningen förstärkas med ett extra lager av digital information.

Det finns exempel på liveframträdanden som genomförts trots att artisten inte längre är vid liv som i fallet med de postuma konserterna med Michael Jackson eller 2pac, där istället

hologramprojektioner av artisterna uppträtt inför publiken (Conner 2016). Att däremot publiken inte fysiskt kan närvara är en något mer unik situation många just nu försöker utforska

möjligheter att lösa. Det finns långa uppdaterade listor på artister som håller konserter hemifrån eller konserter som blir strömmade på olika plattformar där publiken kan delta hemifrån och lämna kommentarer på händelserna i livechattar (Billboard 2020; Gardner 2020). Delvis används även spel med etablerade plattformar och världar som Fortnite eller Minecraft för att hålla konserter eller skolavslutningsceremonier (Madsbøll Christensen 2020; Ewe 2020). Genom att undersöka hur konserter med virtuella artister har gjorts tidigare, finns det även möjlighet att vidareutveckla även den teknologi och strategier som använts hittills. De tre virtuella artisterna som valts ut för analys är det brittiska bandet Gorillaz med deras låt Feel Good inc., japanska Hatsune Miku med låten The World is Mine och k-popgruppen K/DA som är skapade av ett amerikanskt spelföretag och deras låt POP/STARS.

1.1 Definition av den virtuella artisten

”Termen virtualitet beskriver en simulerad entitet eller händelse som känns verklig för publiken som upplever den” (Palfy 2013 i Carr 2016, s. 615)

Konceptet för virtuellt uppträdande kan delas in i två grupper där det ena är en virtuell konsert, som konserten i spelet Fortnite (Madsbøll Christensen 2020) och det andra är en konsert med en virtuell musikartist. Dessa två behöver inte nödvändigtvis ha någon starkare koppling till varandra. Som Auslander påpekar ”kan verkliga musiker uppträda virtuellt medan virtuella artister […] kan ge liveföreställningar av verkliga artister” (Carr 2016, s. 615) vilket även beskriver de postuma hologramkonserterna som tidigare nämnts.

Vad som räknas som virtuell artist är fortfarande löst definierat, ändå används termen

genomgående av samtliga skribenter i The Oxford Handbook of Music and Virtuality (Whiteley & Rambarran 2016), som undersöker sambanden mellan musik och virtualitet.

Kriteriet för vad som räknas som virtuell artist i denna studie är att karaktären inte endast är en karaktär som spelar musik. I motsats till en musikartists persona är de inte beroende av den levande personen för att kunna uppträda vid en livekonsert. Denna definition har även använts för avgränsning och urval av materialet. Från vardera artist har både en konsertvideo från ett livetillfälle och en tillhörande musikvideo valts.

1.2 Läsanvisning

Uppsatsen består av en inledande och förklarande del, där bakgrund och begrepp förklaras, en del där bildmaterialet presenteras och undersöks med hjälp av videoanalys, samt en avslutande diskussion där relevansen av grafisk design tas upp. Även sambandet mellan den virtuella artisten, social distansering på grund av Covid-19 och framtiden av live-event diskuteras. Då bakgrunden till ämnet är komplext och går hand i hand med teorin som används för analysen tas dessa upp tillsammans under stycket 6. Teori.

2 Problemområde

Gränserna mellan vad som är medierat och vad som är ”verkligt” suddas ut på grund av de multimediala metoder som används idag. Film, foto, datorgrafik och levande människor kan uppträda samtidigt och skapa en upplevelse som kombinerar flera konstformer. AR är ett sätt för de virtuella artisterna att existera i den fysiska, verkliga världen. Detta påverkar i sin tur förutsättningar för vad som räknas till grafisk design och skapar nya möjligheter för arbetsområdet. Hittills har grafisk design primärt arbetat med kommunikation, marknadsföring eller kampanjer i ett tvådimensionellt plan, med AR-teknologi kan detta komma att ändras (Papaefstathiou 2019).

Det kan argumenteras att de absolut flesta musikartister är designade eller konstruerade. I synnerhet gäller det mer välkända pop- och rockartister. Artister som arbetar genom ett skiv- eller produktionsbolag blir medierade och kontrollerade för att endast kommunicera en särskild identitet (Palfy 2013 i Carr 2016). Trots att virtuella artister kan betraktas som icke existerande är de i många fall inte ensamma om att vara kontrollerade i hur de presenteras inför sin publik. Måns Zelmerlöws uppträdande på Eurovision Song Contest 2015 med Heroes (Eurovision Song Contest 2015) visar hur viktigt det grafiska kring musiken och musikartisten kan vara och hur imponerande interaktionen mellan en levande musikartist och de till synes interaktiva digitala effekterna är.

2.1 Syfte

Genom att undersöka existerande exempel på hur virtuella artister uppträder live hoppas jag kunna öppna upp för nya kreativa möjligheter. Frågan kvarstår; hur återges och existerar den digitala formen av en virtuell karaktär i ett livekonsertsammanhang?

Det finns många sätt att kombinera virtualitet och verklighet på och olika lösningar fungerar i olika sammanhang. Musikartister som arbetar i gränslandet behöver lösa de problemen som uppstår när något virtuellt ska existera i en verklig miljö. Därför blir en studie som undersöker interaktionen mellan animerade virtuella artister och de som gör musiken och framträder på scenen viktig.

2.2 Frågeställning

För att kunna svara på hur den virtuella artisten kan interagera med levande musiker och sin publik behöver frågan även riktas till hur det digitala materialet, tex en musikvideo, kan återges vid en livekonsert. Följande frågeställningar har ställts upp för denna studie att besvara:

Hur utspelar sig interaktionen mellan den virtuella artisten och musiker samt interaktionen med publiken?

Hur återges den virtuella artistens musikvideo i ett livekonsertsammanhang för att skapa en verklig upplevelse?

För att undersöka analysmaterialet så noggrant som möjligt håller jag mig till ytterligare detaljerade frågor som presenteras under stycket 9. Genomförande. I studiens slutliga del, 13. Diksussion, används frågeställningarna och analysens resultat för att diskutera sambandet och möjligheterna för AR och grafisk design.

2.3 Forskningsansats

Videoinspelningar av de virtuella artisternas livekonserter används som material för en videoanalys för att studera händelser i förhållande till frågeställningen. Genom att medvetet undersöka videoinspelningarna med hjälp av Goodwins (2000; 1999) analysteori om semiotiska fält kan interaktioner mellan artister och publik uppfattas.

3 Avgränsning

AR är ett brett område och studien fokuserar endast på virtuella artister. Virtuella artister framförs inte nödvändigtvis med AR-teknologi, men då det finns en viss problematik i hur den digitala karaktären kan visas för en publik vid ett livetillfälle används de som ett fall i denna studie.

Som tidigare nämnts kan även artisters personas ses som virtuella artister eftersom de är en entitet som medierar mellan musikern och uppträdandet (Zaborowski 2016, s.111). Däremot kan personan direkt förknippas med artisten och är beroende av hen för att existera, därför ingår de inte under kategorin virtuell artist i denna studie.

För att utesluta teknikens utveckling ur analysen valdes samtliga tre konsertvideor från 2018 trots att både Gorillaz och Hatsune Mikus låt är äldre. Kriteriet för alla konsertvideor var även att den virtuella artisten, levande musikartister samt publiken bör vara synlig. För att göra ett jämnförbart urval har artistens mest populära låt valts.

Av det material som valts för analys har en avgränsning gjorts på grund av studiens omfång, trots att materialet har många fler relevanta aspekter för ämnet. Detta inkluderar hur scenen och konsertens fysiska miljö påverkar interaktionen. När en låt framförs under konserten påverkar hur såväl låten och artisterna presenteras som publikreaktionerna.

4 Litteraturval och relaterad forskning

Litteraturen till studien har hittats via databasen Libsearch. Även officiella hemsidor från artisterna eller företagen som står bakom de virtuella artisterna har använts. Videomaterial har tagits från Youtube, om möjligt från de officiella kanalerna.

Ett flertal källor läggs extra stor vikt på i studien. Bland annat flera studier av musikprofessorer som Shara Rambarran, professor med inriktning på populär-musikvetenskap (Rambarran u.å), Sheila Whiteley, professor inom feministisk musikvetenskap (Whiteley 2015) eller Paul Carr som är professor inom populär-musikanalys och musikvetenskap (Carr 2020). Rafal Zaborowski undervisar inom digital kultur med inriktning inom pop-musik, ljud och bild (King’s College London u.å) och Thomas Conner som är musikjournalist och fokuserar på just hologram och virtuell realitet (Conner 2019). Deras forskning och diskussioner finns sammanställda i boken The Oxford Handbook of Music and Virtuality, redigerade av Whiteley och Rambarran (2016). Virtuella artister diskuteras ur olika perspektiv inom musiken, vilka influenser de föddes ur, samt vad de inspirerat till i musikindustrin.

5 Designprojekt

Det som har lett fram till denna uppsats är främst mitt designprojekt som är ett visuellt tryckmaterial som kompletterar och ger mervärde till en artists musik. Find me (se bilaga) är en bok med illustrationer och låttexter till musik av Desirée Kjellerup som tar upp artistens tankar bakom produktionen av musiken. Utöver det har jag gjort ett flertal projekt som på olika sätt varit kopplade till musik. Att en auditiv konstform kan förstärkas av konst eller design är ett återkommande tema. Generellt är det inte något nytt att en artist skapar någon form av narrativ kring sig själv och sin musik, den virtuella artisten är endast nästa steg av en designad musikartist.

6 Teori

Idag utvecklas sätt för liveartisten och den artificiella artisten att lättare kunna samspela på scen för att ge publiken en så verklig upplevelse som möjligt. Tekniken bakom den virtuella artisten är en kombination av såväl gamla som nya teknologiska lösningar och teorier som Augmented Reality, hologram eller AI.

Då bakgrunden och teorin är sammanvävda tar stycket upp en sammanfattad historisk

överblick av den virtuella artisten och hur teknologin har tagit denna form av underhållning dit den är idag.

6.1 Utveckling och möjligheter inom teknologin

AR skiljer sig från virtual reality (VR) genom att det inte skapas en helt ny omgivning, utan istället utökas den existerande, verkliga omgivningen med digitala bilder som i realtid projiceras ovanpå (Mehler-Bicher & Steiger 2014).

I boken Augmented reality: theorie und praxis (Mehler-Bicher & Steiger 2014) spekulerades det att AR skulle kunna användas i vardagen vid år 2020. Termen är idag allmänt känd, inte minst i kombination med spel som PokémonGo (Niantic Inc. & Nintendo Inc. 2016). AR är dock ingen ny teknologi och termnen introducerades av Jaron Lanier redan 1989 (Mehler-Bicher & Steiger 2014). Tekniken är mångsidig med användningsområden inom bland annat marknadsföring, informationsdelning, medicinska områden, design och inte minst underhållning.

Trots att AR knappt nämns i samband med virtuella artister i The Oxford Handbook of Virtuality (Whiteley & Rambarran 2016) är det ett mycket relevant område. Bland annat är det just den tekniken Riot Games arbetade med för pop-gruppen K/DA. För att åskådare ska kunna se den implementerade datorgrafiken krävs däremot en mediator, idag används generellt videoskärmar, mobiltelefoner eller glasögon. Mediators är objekt som används för att visa eller framföra föremål eller information med. Denna term blir huvudsakligen viktig i två sammanhang; där virtuella karaktärer idag fortfarande är beroende av mediators för att vara synliga för åskådarna samt att det ställer frågan vart gränsen går mellan att vara virtuell eller verklig.

Hologramtekniken är ett sätt att implementera de digitala bilderna i den verkliga miljön och har funnits som begrepp sedan 1860. Då användes det som visuellt trick inom teater under namnet Peppers Ghost (Conner 2016; Heinzman 2019). Definitionen av hologram är att en tredimensionell bild projiceras direkt i luften. Det innebär att de postuma konserterna med Michael Jackson och 2pac (Heinzman 2019) eller Hatsune Miku inte faller under definitionen, eftersom de projiceras på en yta. Trots detta hänvisas de till som hologram i vardagligt tal (Heinzman 2019) och Hatsune Miku kommer även beskrivas som hologramkonsert i den här studien.

Det finns flera sätt att arbeta med denna typ av projektioner. Michael Jacksons och 2pacs postuma hologramkonserter använder tekniken känd som Musion Eyeliner (Conner 2016;

Heinzman 2019). Bilden projiceras på en 45 graders vinklad semitransparent skärm och projektionerna ser ut att vara tredimensionell från publiken. Hatsune Miku projiceras bakifrån mot en särskild transparent skärm (Heinzman 2019).

Hologram och andra typer av projektioner vid konserter är en teknik som kräver precision i synkronisering mellan ljud och bild. Fler alternativ utvecklas och testas för att göra

användningen av teknik vid livekonserter mer flexibel och mindre manusstyrd (Conner 2016). Teknik och musik hittas ofta i nära samband och vid konserttillfällen underlättar tekniken ofta. Är den inte tillräckligt utvecklad kan det lika lätt försvåra eller förstöra för artisterna. Gorillaz arbetade länge med att komma på en lösning för hur de virtuella artisterna kunde synas på scen som hologram. Av tekniska och ekonomiska skäl kunde drömmen aldrig uppnås och gruppen föll tillbaka på enklare lösningar (Conner 2016).

Det ligger mycket potential i hur teknologi och olika konstformer kan kombineras, men att synkronisera animationen och det visuella materialet är fortfarande komplicerat. Det gör konserter som kombinerar liveartister och virtuella artister mindre spontana. Liveartister behöver följa det strikta manus som är skapat för den virtuella artisten, liksom Zelmerlöws uppträdande med låten Heroes (Eurovision 2015). I ett projekt mellan musiker och forskare inom programutveckling (Viñao & Cross 2006) beskrivs försöket att utveckla en artificiellt intelligent teknik som skulle göra liveartisten friare genom att den virtuella artisten själv kan reagera på avvikelser hos bland annat publiken. Med hjälp av olika ljud-utlösare kan spontana rop eller applådmängden från publiken påverka den virtuella artistens reaktioner eller repertoar (Conner 2016; Viñao & Cross 2006).

Termen multimedia kan ha flera betydelser, men det viktiga är att lyfta fram att det refererar till kombinationen av flera olika media eller kanaler som tillsamans bildar en ny kombination av media. Dessa suddar i sin tur ut gränserna mellan bland annat olika konstformer eller informationskanaler (Sexton 2007, s. 2-3, 107). Begreppet är i denna studie viktig i den mån att en konsert med en virtuell artist inte enbart är musik, ljud eller visuellt och grafiskt material, utan att kombinationen av dem skapar helheten. Även de olika överföringskanalerna, som video, storskärmar, liveuppträdandet med flera, spelar en stor roll i hur helheten förmedlas och upplevs av publiken (Sexton 2007).

6.2 Kulturhistoriskt perspektiv

Det påstås att konceptet med virtuella artister skapades av Ross Bagdasarian 1958 med Alvin and the Chipmunks (Conner 2016, s. 132). Jordekorrarna har alltid kombinerats med animation men karaktärerna uppträder även på scen som dockor (YikesDepartment 2019). Ett tag dog trenden med virtuella artister av tills dåvarande sångare i britrockgruppen Blur, Damon Albarn tillsammans med serietecknaren Jamie Hewlett återupplivade den virtuella artisten med

Gorillaz (Conner 2016). I deras fotspår skapades bland många andra: Vocaloiderna, Dethklok, Pentakill (Conner 2016), K/DA.

Generellt är människor vana vid att koppla de ljud som hörs till det som syns, och drar därmed slutsatsen att ljudkällan är samma som det som syns framför oss (Jackson & Dines

2016). Albarn utmanar denna koppling när han började uppträda på scenen själv och försatte därmed den virtuella musikgruppen Gorillaz till bakgrunden (Rambarran 2016). Att det inte alltid är självklart vilket ljud vi förknippar med något visuellt är en aspekt som är relevant när virtuella artister diskuteras. Det gör att vi ifrågasätter relationen mellan ljudet och bilden. Trots detta accepteras de i de flesta fall som verkliga; till och med Hatsune Mikus syntetiska röst (Zaborowski 2016).

”Hatsune Miku is real because the audience expects her to be” (Zaborowski 2016, s. 111) Liknelsen vid teater och film är ännu en viktig aspekt. Det finns en djupt rotad kulturell acceptans för olika former av fiktiva karaktärer som på något sätt är animerade och används i underhållningssyften. Hatsune Miku jämförs med den traditionella japanska teaterformen Bunraku (Jackson & Dines 2016, s. 101). I denna teaterform behöver åskådaren själv koppla sångrösten till dockan som blir kontrollerad då sångaren tydligt syns på scenen. Enligt Jackson och Dines (2016) behöver karaktären som syns på skärmen eller scenen vara ljudets ursprung trots att det i fallet med virtuella artister inte är så.

De virtuella artisternas utseende är medvetet formgivna för att tilltala sin publik, men som Conner (2016) nämner, undviker de även att bli för människolika i utseendet för att hålla sig ifrån fenomenet med uncanny valley eller kusliga dalen. Termen är en hypotes uppställd av robotingenjören och designern Masahiro Mori och förklarar att ju närmre ett livlöst objekt kommer en visuell representation av en människa desto större obehagskänsla framkallar det hos åskådaren (Hamilton 2015). Det kan handla om tex. dockor, karaktärer eller proteser inom underhållning, medicinska områden eller inom robotteknik.

7 Metod

Metoden är baserad på Goodwins videoanalysteori där olika semiotiska fält undersöks

(Goodwin 2000; Goodwin 1999), bland annat hur personer och objekt kommunicerar. Utöver Goodwins grundlager har egna parametrar ställts upp som materialet undersöks utifrån. Metoden är utvecklad för att passa till videomaterialet och forskningsfrågan av denna studie.

7.1 Semiotiska fält

Begreppet semiotiska fält togs fram av Goodwin (1999) för att i etnometodologiska syften kunna förklara, inte enbart det talade språket personer emellan kommunicerar ett budskap, utan hur flera subsystem av kommunikativ handling spelar en viktig roll i hur information får mening mellan olika parter i en konversation. Det finns ingen tydlig definition till vilka de semiotiska fälten är utan de beskrivs endast som olika lager som tillsammans bildar en helhet i hur vi kan tolka och förstå ett informationsutbyte (Goodwin 1999, s. 1494). De exempel som är listade är bland annat gester, hur kroppar rör sig eller kartor. Dessa visas genom kroppsspråk, tal eller är olika dokument som förmedlar information och används som ett kommunikationsmedel.

Det är viktigt att titta på de olika semiotiska fälten tillsammans för att få rätt kontext till händelsen (Goodwin 2000). Det krävs att undersöka flera olika lager av kommunikation i en video för att förstå helheten. Historiskt har ofta de olika lagren undersökts separat, men genom att isolera fälten kan innehållet tas ur sitt sammanhang och dess mening kan förloras. Om transkriberad text och tal från en videosekvens undersöks för sig kan det med god sannolikhet hända att det i efterhand inte går att förstå alls. Detta i synnerhet eftersom vårt vardagsspråk är grammatiskt inkorrekt med avbrytningar, ljud och korrigeringar mitt i meningar (Goodwin 2000). Genom att fokusera på flera semiotiska fält samtidigt, som tal och visuella gester, kan dessa tolkas tillsammans eftersom de kompletterar varandra i sin kommunikation. Fälten är inte fastlagda inom teorin, utan byts ut eller läggs till när det krävs, då nya händelser utspelar sig (Goodwin 1999, s. 1490).

De fält som fokuseras på i min videoanalys av konsertvideor är främst den virtuella artistens

handlingar på scen, hur de levande musikerna rör sig och interagerar med publiken och hur publiken reagerar på det som händer på scenen. Det är både auditiva som visuella semiotiska fält som

undersöks. Under stycket 9. Genomförande beskrivs kategorierna för de semiotiska fälten närmare.

7.2 ELAN

För att kunna analysera videorna användes programmet ELAN som är särskilt utformat för lingvistisk videoanalys. Programmet tillåter användaren att skriva annoteringar med tidsstämpel och ger möjligheten att sätta upp kategorier för analys.

ELAN utvecklades vid Max Planck Institute for Psycolinguistics (Wittenburg et al. 2006) som ett professionellt verktyg för att möta kraven till att kunna annotera och analysera videomaterial med exakta och noggranna funktioner för tidsannotering. Med hjälp av tiers (lager) kan organiserade annoteringar göras för pågående händelser med en från-till funktion. Annoteringarna kan analyseras sida vid sida eller isolerat per lager. Video och audiomaterialet kan spelas i olika hastighet för att upptäcka snabba eller långsamma händelser samt mönster i beteenden eller händelser.

Fig. 1.1, 1.2. Gränssnitt för programmet ELAN. Till vänster, Hatsune Mikus livekonsert (The world is mine: magical mirai 2018) (Miku 3 9 2018) med annotationer för bestämda kategorier. Till höger, Gorillaz livekonsert (‘Feel Good Inc’ LIVE at Boomtown Fair Festival 2018) (Boomtown Fair 2018)

7.3 Metodprocess

Metodprocessen kan sammanfattas i fyra steg.

1. Urval av material gjordes i flera steg. Eftersom jag vill undersöka olika semiotiska fält, valdes videomaterial ut istället för endast stillbilder från videor.

2. Sätta upp parametrar för semiotiska fält i form av kategorier som kunde annoteras i programmet ELAN.

3. Sätta upp frågor som svaras på utifrån frågeställningen med hjälp av kategorierna i ELAN.

4. Gruppera sekvenser från videomaterialet utifrån observationer gjorda under steg 2 och 3 i relation till de parametrar som ställts. Dessa beskrivs sakligt och systematiskt.

7.4 Metodkritik

Analysmetoden delar upp en video i semiotiska fält där den faktiska interaktionen mellan personer och objekt undersöks (Goodwin 2000). Goodwin nämner själv att metoden inte är särskilt utvecklad och vanligtvis används i etnometodologiska syften. Den fördel som finns med denna analysmetod är att den i motsats till många andra visuella analysmetoder kräver tidsbaserat material, dvs. en video eller film. Endast stillbilder räcker inte, då stillbilder inte kan visa flera semiotiska fält samtidigt över tid, vilket göt att metoden lämpar sig väl för min analys. Trots kombinationen av semiotiska fält och att systematiskt och sakligt beskriva

videomaterialet visade sig en viss problematik i användningen av en redan medierad video såväl som presentationen av ett tidsbaserat videomaterial. Analysmaterialet är kvalitativt utvalt, utifrån frågeställningen. Även de parametrar, kategorier och detaljerade frågor är kvalitativt framtagna. Tillsammans med svårdefinierade avgränsningar inom kategorier gör det undersökningen svårligen replikerbar och kan därför inte betraktas som ren vetenskap (Rose 2016).

7.5 Metodutveckling

Denscombe (2016) förklarar de många olika sätt som metodkombination kan användas på, men eftersom det inte kunde hittas en tillfredställande metod för att analysera innehållet i det utvalda materialet, behövdes en egen analysmetod utvecklas. Metoden ger möjlighet till att undersöka det visuella och tidsbaserade materialet och hur digitalt och visuellt material kan återges och användas i ett livekonsertsammanhang.

Den utvecklade metoden gav tillfredställande svar på forskningsfrågan. Användningen av programmet ELAN tillät annotering av videofilerna. Kombinationen av kategorierna för de semiotiska fälten samt detaljerade frågor utifrån frågeställningen gav möjlighet att gruppera relevanta sekvenser från videomaterialet. Frågorna kunde svaras på genom att ytterligare studera de utvalda sekvenserna och systematiskt beskriva relevanta händelser.

7.6 Konsertvideo istället för livekonsertkonsert

Det är viktigt att vara medveten om att de inspelade och ihopklippta konsertvideorna visar en medierad version av konserttillfället (Goodwin 2000; Rambarran & Whiteley 2016). Videon visar händelser på ett annat sätt än hur publiken vid livekonserten såg dem. Viktiga aspekter lämnas ute, bland annat helheten av konserten, ljud och bilder som inte visas eller hörs i inspelningen. Som nämnts i ett tidigare stycke märks det skillnad på när under konserten en låt spelas. Vid konsertens start introducerar artisten vanligtvis sig själv, platsen de är på och låten som kommer spelas för att få igång interaktionen mellan artist och publik. För att få en fullständig förståelse behöver flera hela konserter analyseras, om möjligt även genom att själv vara fysiskt närvarande. Konsertvideon är en möjlighet för mig att analysera konserten trots att jag inte haft möjlighet att delta under konserterna.

8 Material

Materialet består av ett kvalitativt utvalt videomaterial från de virtuella artisterna Gorillaz, Hatsune Miku och K/DA. Konsertvideor från livekonserter valdes, annoterades och analyserades. Den tillhörande musikvideon användes som referens för hur den digitala karaktären kan återges vid en livekonsert. Trots att både Gorillaz och Hatsune Mikus utvalda låt är äldre valdes en konsert av varje artist från 2018 för att bättre kunna jämföra mellan de tre exemplen. K/DA har endast släppt en låt, vilket var 2018.

Genom en analys av visuella artister hoppas denna studie kunna svara på frågor ställda under stycke 9. Genomförande. Särskilt hur den virtuella artisten som existerar i en digital värld presenteras framför en livepublik och hur de kan interagera med den så kallade verkliga världen och presentera sin musik på ett engagerande sätt för sin publik (Kelly 2007).

8.1 Presentation av de virtuella artisterna

Gorillaz skapades 1998 av sångaren Damon Albarn och serietecknare Jamie Hewlett. 2001 släpptes deras första skiva Gorillaz. Medlemmarna i bandet är bassisten Murdoc, sångaren 2-D, gitarrist Noodle och Russell på trummor. Karaktärerna är skapade som seriekaraktärer och har en detaljerad bakgrundshistoria där deras liv utvecklas mellan albumen, precis som för en levande person. Genom att skapa Gorillaz ville Albarn kritisera den konstruerade musikindustrin och för att komma bort från den musik han var associerad med från när han var del av bandet Blur (Rambarran 2016). Deras mest spelade och populära låt är Feel Good Inc. (Billboard 2017) som släpptes 2005 på skivan Demon Days. Musikvideon till Feel Good Inc. laddades upp i bättre kvalitet 2016 på Youtube (Gorillaz 2016). Medverkande artister är bland annat Gorillaz, Damon Albarn och De La Soul (AllMusic 2020). Albarn ger sångröst åt karaktären 2-D och vid livekonserttillfällen består bandet av olika musiker, medan den enda artisten som alltid är samma är Albarn själv (Rambarran 2016).

Hatsune Miku skapades av mjukvaruföretaget Crypton Future Media Inc. (u.å.) som ansikte för voicebank-programmet Vocaloid. Hennes röst släpptes 2007 i program-paketet Vocaloid2 och är en syntetiserad och bearbetad version av röstskådespelerskan Saki Fujitas röst. Trots att hon inte är den första, är Hatsune Miku den mest kända Vocaloidrösten (Jackson & Dines 2016, s. 102). Hon har även några få fakta som finns på Crypton Medias hemsida, till exempel att hon alltid kommer vara 16 år gammal. Utöver detta är hon fortfarande ett program och därmed i stort sett ett skal eller docka för att andra kan skapa musik i hennes namn och är tillgänglig för alla som har tillgång till programmet. Enligt Crypton har det skrivits över 100 000 officiellt släppta låtar i Hatsune Mikus namn (Cryton Future Media Inc. u.å.). Flera låtar kan räknas till hennes mest populära (Vocaloid.fandom u.å), bland annat The World is mine som skrevs och producerades av Ryo från bandet Supercell 2008, på albumet med samma namn (Superecll u.å). Det visuella materialet kring henne består till stor del av fangjorda musikvideor i diverse stilar. K/DA är en virtuell musikgrupp bestående av karaktärer från datorspelet League of Legends (LoL) och skapades av spelföretaget Riot Games, som introducerades vid världsmästerskapen i LoL 2018. Gruppen skapades i marknadsföringssyfte för att främja nya så kallade character skins, en karaktärs utseende. Karaktärerna ur spelet har fått röster av artister som även

uppträdde vid livetillfället. Två av k-popgruppen (G)-Idles medlemmar Miyeon och Soyeon ger rösterna till karaktärerna Ahri och Akali respektive och amerikanska artister Madison Beer och Jaira Burns ger Evelynns och Kai’sas röster (Lee, 2018). Låten skrevs av ett team från Riot games (Shorty Awards 2019). Gruppen är inte den första virtuella musikgruppen Riot Games skapat som marknadsföring, och till skillnad från deras föregångare Pentakill har K/DA endast släppt en låt (League of Legends 2020). Vid uppträdandet av K/DA användes AR-teknologi där karaktärerna animerats in i det i realtid filmade material från konsertscenen.

8.2 Musikvideo som referens

Frågeställningen till denna studie ställer frågan hur den virtuella artisten kan visas i den verkliga världen. Ett sätt att undersöka detta är genom att analysera hur det visuella kring den virtuella artisten tolkas från det visuella ur musikvideon till låten, till att förmedla en så lik upplevelse som möjligt vid livekonserten. Eftersom de virtuella artisterna har sitt ursprung i ett digitalt medie som bland annat musikvideor, valdes detta material som referens till varje konsertvideo. Musikvideorna annoterades endast utifrån likheter och avvikelser till de parametrar som använts för att annotera livekonserterna. De musikvideor som valts som referens är Gorillaz - Feel Good Inc. (Official Video) (Gorillaz 2016), 【手描き】ワールドイズ マイン【PV】~ Hatsune Miku - World is Mine (Deviant Otaku 2008 och K/DA - POP/STARS (ft. Madison Beer, (G)I-DLE, Jaira Burns) | Music Video - League of Legends (League of Legends 2018).

9 Genomförande

Utifrån de avgränsningar som gjorts valdes virtuella artister och relevant material ut. Kriteriet för att göra en videoanalys med semiotiska fält kräver att materialet är tidsbaserat (Goodwin 2000). Med hjälp av programmet ELAN annoterades videoklippen av livekonserterna där interaktionen och händelserna från de utvalda semiotiska fälten fokuserades på. Även referensvideon i form av en tillhörande musikvideo annoterades i ELAN. Ett fåtal sekvenser valdes ut där särskilda händelser som svarar på de uppställda frågorna visades. Analysen av sekvenserna fokuserade i sin tur på att undersöka likheter och avvikelser mellan analysmaterialet, vilket är anledningen till att de sorterades i temagrupper. Materialet annoterades och analyserades systematiskt och sakligt.

9.1 Sammanfattning av konsertvideor

Fig. 2.1, Syn på Gorillaz scen under Feel Good Inc. (00:26) (Boomtown Fair 2018) ‘Feel Good Inc’ LIVE at Boomtown Fair Festival 2018, (Boomtown Fair 2018), UK

Konserten är utomhus på natten (fig. 1.1). Videon börjar med slutet av förra låtens

musikvideo synlig i bakgrunden. Publiken står upp. Scenen har en stor skärm i bakgrunden där musikvideon visas samt två mindre skärmar vid sidorna av scenen som visar det som i realtid filmas på scenen. På scenen syns rappare från De La Soul, instrumentalmusiker, bakgrundssångare och Damon Albarn. Videon klipper ofta mellan de olika artisterna på scenen och publiken. Musikvideon visas i bakgrunden av scenen. Rapparna på scenen rappar texten från låten, men lägger till uppmuntrande utrop till publiken. Låten har olika segment av rapp och lugnare musik.

Fig. 2.2, Syn på Hatsune Mikus scen under The World is Mine (01:08) (Miku 3 9 2018) The world is mine: magical mirai 2018, (Miku 3 9 2018), Japan

Konserten är inomhus i en avskalad mörklagd lokal (fig. 1.2). Majoriteten av publiken har med sig gröna lyspinnar eller light sticks. Den virtuella artisten, Hatsune Miku står på scenen i form av ett hologram och introducerar konserten och sig själv. Hon ställer frågor till publiken som svarar. Låten börjar efter att Hatsune Miku bytt utstyrsel. Hon dansar och sjunger och publiken sjunger synkroniserat med under vissa passager i låten. Förutom några strålkastare är scenen mörklagd med mörk bakgrund. Efter ungefär halva videon visas även instrumentalmusiker ur bandet. Hatsune Miku interagerar med publiken.

fig. 2.3, Syn på K/DAs scen under POP/STARS (01:32) (League of Legends 2018) POP/STARS - Opening Ceremony Presented by Mastercard | Finals | 2018 World Championship (League of Legends 2018),

Sydkorea

På en stor, öppen utomhusscen med tre stora videoskärmar i bakgrunden (fig. 1.3) introduceras de virtuella karaktärerna. Publiken sitter ner i en stor arena och konserten är på dagen.

På skärmarna introduceras först karaktärerna där de visar det gamla och nya utseendet av karaktären tillsammans med en nedräkning från 15 till 0. Därpå visas sångerskorna. I bakgrunden finns en grupp bakgrundsdansare närvarande under hela föreställningen. Även instrumentalmusiker syns. Sångarna förhåller sig till koreografin från musikvideon som visas på mittenskärmen, samtidigt som de även sjunger. Sidoskärmarna visar det som i realtid filmas på scenen. På dessa skärmar syns även de virtuella artisterna för publiken. Låten är upptempo och har olika passage av rapp och sång. Fyrverkerier skjuts från scenen.

9.2 Kategorier för semiotiska fält

Följande fem kategorier har fokuserats på vid analys av videomaterialet i ELAN Virtuell artist (VA)

Levande musiker (LM) Musik: händelser (M:H) Visuellt: händelser (V:H) Publik (P)

Virtuell artist (VA) annoteras hur den virtuella artisten presenteras, hur de rör sig, vad de gör för gester, vad de säger, när de syns eller hur de interagerar med andra artister och publiken.

Levande musiker (LM) beskriver hur och när levande artister syns. Under denna

kategori tas även andra personer upp som är på scenen, t.ex. dansare, bakgrundssångare, gästartister, bandmedlemmar, instrumentalmusiker.

Musik: händelser (M:H) beskriver vad som händer i musiken, ljud som är relaterade till låten och ljud som artister lägger till, så kallade. ad libs, ljud som är efter eget tycke. Även låtens början och slut antecknas. Hur musikvideon skiljer sig från konsertvideon kommenteras.

Visuellt: händelser (V:H) beskriver i största utsträckning vad som syns på de stora skärmarna som används vid både Gorillaz och K/DAs konserter. Andra visuella händelser som tas upp är specialeffekter som visas på scenen.

Publiken (P) är viktig för att se svaren och reaktionerna på de olika interaktionerna från de virtuella artisterna eller levande musikerna. Publiken är deltagande i ett

livekonserttillfälle och gör konserten till en verklig upplevelse, oavsett hur verklig eller virtuell artisten på scenen är. Den publik som tittar på den ihopklippta och medierade konserten i efterhand nämns men är inte inräknade i kategorin.

Att kalla kategorin för levande musiker är inte optimalt. Trots att många engelska texter refererar till den levande artisten som verklig används i denna studie termen levande musiker (LM) för att beskriva musiker som inte är virtuella. Artister som sjunger och ger röst till virtuella artister betecknas som sångare/sångerskor.

9.3 Överskridningar av fält

De semiotiska fält som är uppställda utifrån Goodwins (2000) teori är svårt definierbara, eftersom händelser och kommunikation naturligt är gränsöverskridande och i många fall är kategorierna överlappande, precis som de semiotiska fälten (Goodwin 2000).

Exempel på sådana konflikter är t.ex. de gröna light sticks som publiken har i Hatsune Mikus konsert som både viftas av publiken (P) men även är en visuell händelse (V:H). Liknande problematik uppstår även i Gorillaz konsert där rappare (LM) syns på scenen och gör synliga gester (V:H) såväl som ljud som delvis är del av låten (M:H) och delvis är ad. libs, ljud som är efter eget tycke, som faller in under både LM och M:H.

För att hitta ett effektivt sätt att lösa denna problematik på har en händelse lagts in i flera kategorier. Detta motiverar valet att ta fram en egen analysmetod, då fälten är gränsöverskridande.

9.4 Temagrupper för sekvenser

Från de fem kategorierna virtuell artist (VA), levande musiker (LM), musik: händelser (M:H), visuellt: händelser (V:H) och publik (P) som ställts upp och annoterats har sekvenser som visar följande händelser plockats ut för närmre analys.

Musikvideo förkortas med Mv, konsertvideo förkortas med Kv. Direkt interaktion är när en part aktivt interagerar med en annan part, som t.ex. när Hatsune Miku ställer frågor till publiken (fig. 4.2) eller när rappare på Gorillaz konsert visar publiken att de ska klappa händer (fig. 6.26). Direkt interaktion VA – LM Direkt interaktion LM – P Direkt interaktion VA – P Visuella likheter Mv – Kv Visuella avvikelser Mv – Kv 9.5 Detaljerade frågor

Genom att titta på de olika semiotiska fälten som delats in i fem kategorier önskas följande frågor besvaras

Vem/vilka finns på scenen?

Hur presenteras den virtuella artisten?

Hur interagerar artister, såväl virtuella som levande med publiken? Hur återges musikvideon vid livekonserten?

10 Analys

Analysprosessen är baserad på kategorierna för de semiotiska fälten och sedan indelade i temagrupper. Analysen är presenterad med utvalda stillbilder från händelserika sekvenser. De kompletta videorna annoterades först i ELAN och annoteringarna transkriberades och är listade under sekvensgrupperna.

Direkt interaktion VA - LM

02:07 02:11 02:17

VA Musikvideon syns i bakgrunden med virtuella artister. Virtuell artist på scen. Interaktion mellan sångare och virtuell artist. Endast virtuell artist rappar

LM Sångerskor står i samma position som virtuella artister och gör samma rörelser som i

musikvideon. Sångerskor på scen. Musiker syns i bakgrunden. Interaktion mellan sångerkor och virtuell artist. Sångerskor rappar inte. Sångerska gör en slängkyss mot kameran

M:H (01:58 - låt byter tempo och går till rappvers) Virtuell artist rappar

V:H Virtuell artist syns på skärm i bakgrunden. Dansare syns i bakgrunden

P

K/DA

02:07 - 02:17 Den levande artisten Soyeon börjar rappa och gör gester i takt till musiken. Den virtuella artisten Akali syns på scen och gör gester i takt till musiken. Båda gör gester mot varandra.

fig. 3.1 fig 3.2

00:04 00:11 00:13

VA Virtuell artist står mitt på scenen. Hälsar på publiken med en fråga. Uppmanar till svar med gester

LM Trumvirvel markerar vad publiken säger/ska säga

M:H

V:H Scenen är minimalt belyst, bakgrunden är helt svart bakom den virtuella artisten. (00:13) Ljuseffekter. Reaktioner med lightsticks

P Publik jublar i takt till trumvirvel och ljuseffekter

Direkt interaktion VA - P Hatsune Miku

00:04 - 00:41 Visar Hatsune Miku som ställer frågor till publiken som svarar. Hon gör gester med öppna armar till publiken. Publiken härmar gesterna med light sticks.

fig. 4.1 fig. 4.2

01:06 - 03:46 Hatsune Miku sjunger och dansar. Hon gör ofta gester som att blinka med ett öga eller visa med stora gester ut över publiken. Publikens light sticks syns tydligt när de härmar gester eller viftar dem samtidigt till musiken.

01:06

VA Gör “gulliga” rörelser. längre mening med stora gester och ansiktsuttryck som ögonvink. Nickande gester. Inväntande paus. (Fig. 4.6) Virtuell artist hoppar

LM

M:H

V:H Kameran zoomar ut, hela scenen syns, ljuseffekter börjar. (Fig 4.6) Light sticks härmar rörelse

P Publik jublar i takt och viftar på lightsticks

03:33

00:33 fig. 4.4 fig. 4.5 fig. 4.6

Direkt interaktion LM - P

02:31 03:49 04:04

VA

LM Instrumentalmusiker filmas, bland annat när de har tydliga riff

M:H

V:H

P (Fig. 5.2) Publik viftar på lightsticks. Extra jubel efter gitarrsolo

Hatsune Miku

02:31 - 04:04 Musikerna i bandet visas. Efter gitarrsolo viftar publiken mer på light sticks och jublar.

00:19 00:22

VA

LM Trummis visas uppifrån. Rappare säger: if you got the hands in the air then clap them. Rappare klappar händerna mot sin mic. (Fig. 5.8) Sångare sjunger med slutna ögon. Rappare säger “clap ‘em”

M:H Låttext: if you got the hands in the air, then clap them motherfuckers (ej officiell text)

V:H (Fig. 5.8) Visar klapp över huvudet

P Publiken klappar synkront händerna över huvudet. (Fig. 5.8) Publik sjunger med

Gorillaz

00:19 - 00:22 och 01:06 - 01:09 En rappare ur duon De La Soul ropar. Publik filmas hur de gör de gester rapparen säger åt dem. Publik sjunger med i låttexten.

01:09 fig. 5.1 fig. 5.6 fig. 5.2 fig. 5.7 fig. 5.3 fig. 5.8

Visuella likheter Mv-Kv

01:37 01:40 01:01 Mv

VA Musikvideon syns i bakgrunden med virtuella artister

LM Sångerskor står i samma position som virtuella artister och gör samma rörelser och gester som i musikvideon till låttexten “we’re gonna wear the crown”

M:H

V:H

P

Mv Musikvideon visar karaktärer som gestikulerar till låttexten “we’re gonna wear the crown” K/DA

01:37 - 01:40 De fyra sångerskorna dansar. I bakgrunden syns musikvideon på en skärm. Sångerskorna dansar samma koreaografi till musikvideon där de virtuella artisterna syns.

03:18 03:19 02:35 Mv

VA Fokus på virtuell artist som har solo. Virtuell artist gör ljuseffekter på scen

LM

M:H Solo-vers

V:H Se visuella effekterna från den virtuella artisten syns på sidoskärmar, musikvideo visas på mittenskärm och visar ljuseffekter effekter. Fyrverkerier skjuts från scenen

P

Mv Karaktären/den virtuella artisten är omgiven av en röd ljusslinga

03:18-03:19 I videon syns den virtuella artisten på scenen. I musikvideon som syns bakom syns samma virtuella artist som gör ljusslingor. Den virtuella artisten på scen skjuter ut ljusslingor. Från scenen skjuts fyrverkerier.

fig. 6.2 fig. 6.5 fig. 6.1 fig. 6.4 fig. 6.3 fig. 6.6

K/DA

03:33 - 03:46 De virtuella artisterna syns på mittenscenen och poserar. Musikvideon i bakgrunden visar de virtuella artisterna som poserar.

03:33 03:46

VA Fokus på virtuella musiker som speglar musikvideon. Fokus på virtuella artister som poserar på mittenscen

LM Sångerskor syns på vardera sidoscen

M:H (Fig. 6.8) Musik klar

V:H Musikvideon spelar på mittenskärmen. Fyrverkerier på scen. Musikvideo visas på mittenskärm. Scenen visas på sidoskärmarna

P (03:47) Publik jublar och apploderar

Mv Karaktärerna/de virtuella artisterna poserar

03:06 Mv

01:18 01:25 01:31

00:30 Mv 00:36 Mv 00:42 Mv

VA Virtuell artist gestikulerar till låttexten genom att visa olika antal fingrar

LM

M:H

V:H (01:16 - 01:41) Endast närbilder på den virtuella artisten

P Publiken sjunger med i vissa meningar

Mv Stillbilder från musikvieo vid samma tidpunk i låten. Karaktär gestikulerar till låttexten genom att Hatsune Miku

01:18 - 01:31 Hatsune Miku gestikulerar med fingrarna till låttexten som räknar upp tre exempel. Denna gest återfinns i musikvideon.

fig. 6.8 fig. 6.11 fig. 6.14 fig. 6.9 fig. 6.12 fig. 6.15 fig. 6.7 fig. 6.10 fig. 6.13

00:51 Mv 00:33

01:13 _{01:30 Mv}

VA

LM Sångare (Damon Albarn) börjar sjunga i ljudförvrängnings-mikrofon

M:H Lugnt passage i musiken

V:H Lugnare ljuseffekter på scenen. Strålkastare endast på sångaren

P Publiken sjunger fortfarande med lite

Mv Stillbild från motsvarande ställe i låten. (Fig. 6.17) Karaktär/virtuell artist 2-D sjunger i megafon Gorillaz

00:33 Damon Albarn sjunger i en mikrofon som förvränger ljudet. Färger och kameravinkel stämmer överens med motsvarande ställe i låten från musikvideon där 2-D sjunger i en megafon. Färgschema mellan konsertvideon och musikvideon är liknande.

01:13 Visar Albarn med ensam spotligt. Han har gult på sig. Scenen är mörk men går i blått. Motsvarande ställe i låten från musikvideon visar en liknande komposition. Bakgrunden är gul. 2-Ds ansikte syns transparent framifrån.

fig. 6.17 fig. 6.16

fig. 6.18 fig. 6.19

01:33 01:34 01:56 Mv

VA 2-D syns på skärmen bakom i musikvideon

LM Rapparna rappar sin vers, motsvarande musikvideon

M:H Rappare säger: yeah yeah! come on!

V:H Musikvideon visar filmat videomaterial av rappare. Tvådimensionell animation och filmat videomaterial

P Publik studsar i takt

Mv De La Soul visas i musikvideon som blandar olika mediatyper; tvådimensionell animation och filmat videomaterial

01:34 Rappare från De La Soul visas med musikvideon i bakgrunden där De La Souls

ansikten syns. Motsvarande ställe från musikvideon passar ihop med det som visas på scenen. Färgskalan är liknande med mörka färger och rött.

fig. 6.21 fig. 6.22

02:17 02:26 02:49 Mv

VA Noodle i musikvideon som syns på skärmen spelar akustisk gitarr

LM Sångare spelar akustisk gitarr. rappare: clap your hands only if you feel good. (02:19) Keyboardistens händer visas under riff

M:H (02:12) Lugnare bit i låten

V:H Lugna scenljus

P Publik jublar. Publik klappar i takt. Extra jubel under keyboard riff

Mv Animerat med både tvådimensionella och tredimensionella element

03:07 03:28 03:40 Mv

VA

LM Rappare gestikulerar hahahaha. Rappare säger: i wanna hear ya, come on y’all

M:H

V:H Rappare vänder mikrofon till publiken

P Publiken rör sig till musiken. Publik sjunger med i låttext för skrattet “ha ha ha ha”

Mv Stillbild från motsvarande tidsstämpel i musikvideon. Filmat videomaterial

02:17 - 02:26 Albarn spelar akustisk gitarr. Motsvarande ställe i musikvideon visar Noodle spela akustisk gitarr. Liknande färger.

03:07 - 03:28 Rappare säger “i wanna hear ya” till publiken. När låttexten är “ha ha ha ha” visas publiken som härmar “ha ha ha ha”. Motsvarande del i musikvideon visar De La Soul som gör stora gester med ansiktet till “ha ha ha ha”.

fig. 6.23 fig. 6.26 fig. 6.24 fig. 6.27 fig. 6.25 fig. 6.28

Visuella avvikelser Mv - Kv

01:48 02:27 02:29 Mv

VA Virtuell artist flyger i luften

LM

M:H

V:H Musikvideon spelas på mittenskärmen. Sidoskärmarna visar scenen med alla levande artister och dansare samt virtuella artister. Karaktären syns endast på sidoskärmarna, inte i musikvideon

P (2:23) Publik i bakgrunden går omkring. Ingen märkbar reaktion från publiken

Mv Musikvideon visar karaktären/den virtuella artisten, som är bortredigerad vid konserten

00:52 00:53 01:02 Mv

VA Delar av Murdock syns

LM

M:H

V:H Kamera zoomar ut, visar hela scenen: en stor videoskärm bakom musikerna och två mindre vid sidorna. Den mittersta visar musikvideon till låten, de vid sidorna visar scenen och musikerna på scen

P

Mv Stillbild vid samma tidpunk i musiken från musikvideon. Bilderna stämmer inte överens K/DA

01:48-02:27 Den virtuella artisten Ahri svävar ovanför scenen. I bakgrunden syns musikvideon på den mittersta skärmen. på skärmen syns ett tomt rum med tvättmaskiner. Motsvarande ställe i musikvideon visar ett rum där Ahri står precis framför tvättmaskinerna. på sidoskärmarna visas scenen med Ahri.

Gorillaz

00:51 - 00:52 Överblick på scenen. Musikvideon syns på den mittersta skärmen i bakgrunden. Den visar bild av delar av karaktären Murdock samt Russels händer när han spelar trummor. Musikvideons motsvarande ställe visar en annan vinkel av Murdock. Russel syns inte alls.

fig. 7.1 fig. 7.2 fig. 7.3

fig. 7.6 fig. 7.5

11 Sammanfattning av analys

För att tydligare kunna besvara forskningsfrågan har analysen sammanfattats genom att svara på de frågor som ställts upp under 9.5 Detaljerade frågor.

Hur presenteras den virtuella artisten?

Gorillaz - I bakgrunden spelas en redigerad version av musikvideon till deras låt Feel Good Inc. Den virtuella artisten stannar under hela framförandet i bakgrunden.

Hatsune Miku – Hon visas som hologramprojektion och är under hela framförandet ensam på scenen. Allt fokus är på henne.

K/DA – De virtuella artisterna visas genom att först introducera deras föregående utseende och sedan avslöja den nya designen. De virtuella artisterna ser i konsertvideon ut att stå på scenen tillsammans med de levande musikerna. Under livekonserten syns de animerade på de två sidoskärmarna.

Vem/vilka finns på scenen?

Gorillaz – Under konserten syns sångaren Damon Albarn, rappduon De La Soul, instrumentalmusiker vid flera instrument och bakgrundssångare på scenen.

Hatsune Miku – Hatsune Miku är i fokus på scen under hela konsertvideon. Efter halva låten visas instrumentalmusikerna vid bas, gitarrister, keyboard och trummor.

K/DA – på scenen syns sångerskorna Soyeon, Miyeon, Madison Beer och Jaira Burns, en stor grupp bakgrundsdansare, musiker vid traditionella trummor och stråkmusiker. De virtuella artisterna syns på scenen i konsertvideon.

Hur återges musikvideon vid livekonserten?

Gorillaz – Eftersom musikvideon visas i bakgrunden finns en tydlig jämförelse mellan musikvideon och konserten. Det syns flera tydliga paralleller mellan musikvideon, vad som filmas på scenen och vad som visas i konsertvideon. Bland annat i färgskala (fig. 6.18 och fig. 6.19), kameravinkel och komposition (fig. 6.16 och fig. 6.17) och objekt som används på scenen t.ex. en akustisk gitarr (fig. 6.23). Gorillaz blandar ofta medie i musikvideorna och annat visuellt material som omger Gorillaz. I musikvideon för Feel Good Inc. används både två- och tredimesionell animation tillsammans med videoinspelningar av människor och artister eller landskap (fig. 6.25) Denna mix av media hjälper Gorillaz att enklare motivera blandningen av det digitala och levande artister även vid livekonserter.

Hatsune Miku – Musikvideon är en fan-animerad video. Miku har Cryptons officiella utseende (Cryton Future Media Inc. u.å.) även om hologramversionen är tredimensionellt animerad. I såväl musik- som konsertvideon har hon andra kläder på sig. Vissa gester som speglar låttexten, som att räkna på fingrarna (fig. 6.10-6.15), är med i både konserten och musikvideon.

version av musikvideon visas i bakgrunden (fig. 7.1-7.6). K/DA följer ett färgschema igenom både musikvideon som konsertvideon. Ahri har rävsvans och rävöron (fig. 7.3) och sångerskan Miyeon har en rosafärgad pälskrage (fig. 6.2). Sångerskornas rörelser speglar genom hela konserten, i olika mån, händelser i musikvideon. Vissa visuella effekter speglas även med hjälp av fyrverkerier (fig. 6.4 och fig. 6.5). K/DAs användning av AR gör att åskådarna inte direkt kan avgöra vad som är verkligt eller vad som är AR. Detta skapar både möjligheter och förutsättningar men även nya svårigheter och utmaningar för de som skapar det visuella materialet. Det krävs med andra ord ett annat sätt att tänka på för att skapa ett visuellt eller grafiskt material som ackompanjerar och förstärker den auditiva upplevelsen.

Hur interagerar artister, såväl virtuella som levade, med publiken?

Gorillaz – De virtuella artisterna har ingen direkt interaktion med vare sig de levande musikerna eller publiken. Däremot finns det många interaktioner mellan levande musiker och publik. Särskilt rapparna från De La Soul motiverar och peppar publiken med utrop och uppmuntrande gester som att klappa händerna eller räcka mikrofonen mot publiken (fig. 6.25). Publiken följer entusiastiskt uppmaningarna genom att härma gester eller sjunga med (fig. 5.7 och fig. 5.8).

Hatsune Miku – Trots att hon är en programmerad animation interagerar hon ofta med publiken. Genom att fråga frågor och vänta den uppskattade tid det tar för publiken att tillsammans svara eller vifta på sina light sticks liknar det en riktig konversation. Även de getser Hatsune Miku gör, som att nicka och blinka, indikerar att hon ”lyssnar” på publiken. Dansen är koreograferad med inkluderande gester, bland annat armrörelser som pekar på publiken eller att hon blinkar med ett öga (fig. 4.5).

K/DA – De fyra virtuella artisterna, trots att de är synliga och närvarande, interagerar aldrig direkt med publiken, som endast vid två tillfällen applåderar, i början vid introduktionen av karaktärerna samt i slutet när låten är färdig. Sångerskorna interagerar inte heller direkt med publiken, bortsett från någon enstaka gång där de får ögonkontakt med kameran (fig.3.3) som filmar det som visas på sidoskärmarna. Den enda direkta interaktionen är mellan den virtuella artisten Akali och sångerskan Soyeon (fig. 3.1), som vid livekonserttillfället endast var synlig på sidoskärmarna.

Interaktionen mellan virtuell artist (VA), levande musiker (LM) och publik (P) sammanfattat: Semiotiska fält i tema-sekvenser Gorillaz Hatsune Miku K/DA

Direkt interaktion VA-LM Nej Nej Ja, få

Direkt intrerktion LM-P Ja, ofta Ja, få Ja, få

Direkt intrerktion VA-P Nej Ja, ofta Nej

Visuella likheter till Mv-Kv Ja, ofta Ja, få Ja, ofta

Visuella avvikelser till Mv-Kv Redigerad Mv Ingen Mv Redigerad Mv

12 Slutsats

de tre virtuella artisterna når ett liknande resultat trots sina olikheter. Tydligt är att det är

möjligt för en virtuell artist att skapa engagemang genom att interagera med publiken. Publiken gör i sin tur konserten till en verklig upplevelse trots att de uppträdande artisterna är virtuella. De tre exemplen visar flera olika användningsmöjligheter av teknologin och hur det digitala återges till livekonserten löses på vitt skilda sätt. Detta öppnar möjligheter för ännu fler

metoder utöver AR, hologramteknologi eller att visa en redigerad musikvideo i bakgrunden på scenen.

Den visuella närvaron av den virtuella artisten är genomgående i de tre konserterna. Direkt interaktion är en viktig komponent för att få respons hos publiken och för att skapa en verklig konsertupplevelse.

12.1 Visuell presentation och den virtuella artistens (VA) plats i konserten

Gorillaz låter musikvideon spela i bakgrunden på en stor skärm, men under konserten är fokus endast på Albarn och De La Soul (fig. 6.18 och fig. 6.20). Gorillaz själva blir endast en bakgrund, som för vilken annan konsert som helst. Genom att Albarn syns på scenen går automatiskt fokus till honom vilket tar kopplingen mellan den virtuella artisten 2-D och ljudet av hans röst ifrån publiken (Rambarran 2016, s. 99, 160). Istället för att vara advokat för Gorillaz blir han själv Gorillaz och sätter därigenom de virtuella artisterna i bakgrunden, vilket reflekteras tydligt i konsertvideon (Rambarran 2016). Hatsune Miku däremot har genom hela konserten totalt fokus på sig själv. Detta förtydligas genom att instrumentalmusikerna först visas efter ungefär halva videon och inte syns på scenen alls (fig. 4.1 och fig. 5.1). Det finns inte heller någon visuell bakgrund eller annat grafiskt material på scenen som tar fokus från den virtuella artisten, med största sannolikhet för att förenkla tekniskt. Förutom Hatsune Miku själv, tar även publikens gröna light sticks en del fokus eftersom de utgör en stor kontrast i den mörka miljön (fig. 4.3). K/DAs framförande lägger stort fokus på de levande musikerna, d.v.s. sångerskorna och dansarna. I konsertvideon tar den virtuella artisten mest plats, till den mån att sångerskorna står på sidoscener medan VA visas på den mittersta delen av scenen (fig. 6.8). Eftersom publiken inte såg händelserna på samma sätt som de visas i konsertvideon är det svårt att säga vad som faktiskt tog mest plats, men det är säkert att anta att den virtuella artisten tog mindre plats under konserten än i konsertvideon.

12.2 Musikvideor anpassade till livekonserten

Både Gorillaz och K/DA visar musikvideor där vissa scener är redigerad, vilket visar intentionen att aktivt kapa en helhet mellan det digitala och livekonserten. T.ex. visas karaktären Russells händer på trummor (fig. 7.8) som inte visas vid samma tidpunkt i

musikvideon. Istället visar den oredigerade musikvideon 2-D i närbild och jag spekulerar att flera scener där 2-D visas har redigerats ut eftersom Albarn istället tar den rollen på scenen. Detta är endast ett antagande då jag inte var på konserten och musikvideon inte alltid syns i konsertvideon. För K/DA syns det i fig. 7.2, där karaktären Ahri är utredigerad ur musikvideon i bakgrunden och istället syns på scenen i konsertvideon. För livepubliken syns hon endast på videoskärmar bakom de uppträdande artisterna. Publiken reagerar möjligen inte på detta

12.3 Konsertertens bakgrund

Gorillaz spelade vid den årliga festivalen Boomtown Fair Festival (2020), Winchester (UK), där en intresserad publik som tog del av festivalen såg framförandet. Hatsune Mikus konsert var del av det årliga eventet Magical Mirai (2018), ett Miku-konvent i Osaka och Tokyo (Japan), där intresserade fans deltog. K/DA introducerades vid öppningsceremonin av världsmästerskapen i LoL, Incheon (Sydkorea), där tävlande och spelintresserade såg konserten. De olika tillfällena och anledningarna till konserten samt vilken publik som deltog öppnar frågor kring konsertkultur och hur rätt publik bidrar till helhetsupplevelsen av en

konsert. Det är särskilt tydligt i Hatsune Mikus konsertvideo att publiken redan innan de går till konserten känner till regler kring hur och när de ska reagera eftersom publiken beter sig otroligt synkroniserat utan ledtrådar från vare sig den virtuella artisten eller de levande musikerna. Publiken vid K/DAs konsert deltar inte nödvändigtvis vid konserten för att se framträdandet, utan är med största sannolikhet där på grund av spelturnén.

Att veta vilken målgrupp som ett event, en kampanj eller information riktar sig till visar sig vara viktigt även för artister. Ett event, bland annat konserter, är beroende av publikens reaktioner och artisterna ser till att med olika medel främja interaktionen. En virtuell artist kan tänkas ha svårt att bjuda in till interaktion med den levande omgivningen, men som de tre exemplen visar är det mycket väl möjligt.

13 Diskussion

Musikvideon är viktig för både Gorillaz och K/DA vid livekonserten. I Gorillaz fall är det den enda kopplingen mellan de virtuella artisterna och de levande musikerna. Däremot är kopplingen mellan Albarn och Gorillaz starkare än hos sångerskorna för K/DA. Med stor sannolikhet är det ett resultat av två faktorer: Albarn skapade Gorillaz för att kunna skriva den musik han ville experimentera med (Rambarran 2016) och när Gorillaz stod på egna ben kunde han ta de virtuella artisternas plats på scenen, i likhet med vad Rambarran (2016) beskriver. Den andra faktorn är de många försök att samarbeta mer med teknik under tidigare konserter, som av fysiska och ekonomiska skäl aldrig gav ett tillfredställande resultat (Rambarran 2016, Kelly 2007). Över tid har den nuvarande, relativt enkla lösningen växt fram. Trots frånvaron av de virtuella artisternas möjlighet att interagera med någon annan part vill jag påstå att de virtuella artisterna istället blir närvarande genom de sceniska detaljer som starkt hänvisar till musikvideon. Att Albarn uppträder i en gul tröja kan ses som oviktigt, men som visas i fig. 6.24 och fig. 6.25 är det för att spegla musikvideons färgschema. Att genom grafiska element så som färg, form och hierarkiska kompositioner ge åskådaren en helhetskänsla är fundamentalt.

13.1 Relevans för grafisk design

Särskilt intressant för området grafisk design blir de upplösta gränserna för hur vi kan arbeta med bild och grafik i både det verkliga och virtuella. Det finns stort potential för visuellt och grafiskt material i kombination av fler medier eller modaliteter, som tydligt framgår i

konsertvideorna. I takt med att ny teknik utvecklas, förändras även landskapet för grafisk design (Papaefstathiou 2019). De som kan anpassa sig kan dra stor nytta av teknologi som tillåter att göra nya, iögonfallande visuella och grafiska verk där illustration, animation och typografiska element kan framställas på sätt som den tvådimesionella ytan, som grafiska designer hittills arbetat i, inte kunnat.

Grafisk design kan övergripande sammanfattas som strategisk kommunikation av information, ofta med hjälp av grafiska och visuella element. Kampanjer och marknadsföring ska fånga målgruppens uppmärksamhet med effekter som är tilltalande och sticker ut från mängden. AR-teknologin tillåter att engagera användare, bland annat med interaktiva appar eller kampanjer. Genom en ny plattform för vart information kan vara synlig kan även instruktioner förenklas. Appar som Artivive förvandlar en utställning med statiska konstverk till en interaktiv och personlig upplevelse med hjälp av användarens mobiltelefon. Med mobilen som mediator kan AR vara tillgänglig för en relativt stor grupp användare.

AR används redan inom många områden och teknologin implementeras mer och mer inom underhållning, som spel eller konserter, men utöver dessa användningsområden kan den användas för strategisk och effektiv kommunikation och informationsutbyte genom att

visualisera information i en verklig miljö eller ovanpå objekt i verkligheten (Mehler-Bicher & Steiger 2014). Detta gör även att områden inom reklam och grafisk design nyttjas av teknologin då strategisk kommunikation, visualisering av data och information är huvudområden inom ämnet. Inom prototyping och produktutveckling används teknologin i viss mån redan. Genom att kunna visuelisera sina prototyper med AR kan kunder lättare förstå produkten. Bland annat bilindustrin satsar på att implementera AR i sina arbetsprocesser, bland dessa även Volvo (Future Mobility 2019).

13.2 Virtuella artister och etiska aspekter

Det finns många studier som undersöker hur spelkaraktärer är representerade, särskilt kvinnliga karaktärer i kontrast till manliga karaktärer (Brenick et al. 2007; Gao & Min & Shih 2017). Att K/DAs gruppmedlemmar är lättklädda och alla har en slående liknande kroppsbyggnad är inte en slump utan ett medvetet designval. Även Hatsune Mikus utseende i förhållande till att hon är helt öppen för alla att skapa sina egna versioner av henne är ur ett sexualiserat perspektiv alarmerande. Att de få fastlagda fakta om henne är hennes vikt och att hon alltid kommer förbli 16 år gammal (Crypton Future Media u.å) öppnar ytterligare frågor. Dessa designval är till följd av en kulturell eller inlärd acceptans och förväntningar (Brenick et al. 2007).

Genusstereotyper påverkar publikens acceptans för skadliga stereotyper (Brenick et al. 2007; Gao & Min & Shih 2017) och särskilt inom spelindustrin är detta ett diskuterat område. Då K/DA består av spelkaraktärer från datorspelet LOL är det ett relevant ämne.

Fenomenet uncanny valley stoppar både Gorillaz och Hatsune Miku från att se mer människolika ut (Conner 2016), trots de tekniska möjligheterna till det, vilket påverkar

karaktärernas design. Uncanny valley är en anledning och möjligen även en ursäkt till att göra dem orealistiska i sin design.

Miku är även uttalad att vara den perfekta idolen; utseendemässigt såväl som att hon inte kan vara involverad i skandaler eller bli trött (Polygon 2014). Som Zaborowski (2016) påpekar kan hon inte kan vara falsk eftersom hon inte är verklig till att börja med.

”Whereas teenage […] idols play carefully defined roles in order to appeal to mainstream ideals, in vocaloid there is no pretence, no fabrication […] the audience makes her real because she sings about things that matter to them.” (Zaborowski 2016, s. 124)

Det finns många aspekter av att virtuellt efterlikna personer som är kontroversiella, det diskuteras även kring hur etiskt det är att hålla postuma konserter med avlidna artister och debatten fortsätter med virtuella artister. Vem vill ge sin röst till förfogan utan kontroll över vad man potentiellt kan säga? Idag är de flesta virtuella artisternas röster inspelade av artisterna som ger deras sångröst, men om virtuella artister skulle bli mer självständiga kommer denna frågan komma upp igen.

13.3 Peer production

Hatsune Miku är digitalt illustrerad och har enligt Crypton Future Media ett fixerat utseende, men på grund av den kreativa öppenheten till användningen av hennes röst, är även hennes utseende och stil fri att förfoga för kreativa fans. Det finns minst lika många utseenden och stilar för Hatsune Miku som det finns fans och ingen av dessa versioner av Cryptons karaktär kan vara fel. Ordet PiaPro, kort för peer production, kommer från just detta; att man skapar musik tillsammans där alla har möjligheten och tillåtelse att ta del av Hatsune Mikus röst. Ett av programmen (PiaPro.net u.å) som kommer med program-paketet Vocaloid3 är uppkallat efter samma namn, vilket tydligt visar Crypton Future Medias idé att skapa en kreativ kultur kring Hatsune Mikus musik och utseende. Vid sina konserter uppträder hon igenkännbart med sina blå hårtofsar (fig. 4.2), men som syns i konsertvideon för World is Mine (2018) byter hon utseende när hon i ett glittrande moln byter till en vit klänning och får vågigt hår med rosett i (fig. 4.5).

Hatsune Miku är tydligt en kreativ kollaboration, då hon är skapad för detta syfte, men även Gorillaz och K/DA har en vag kollaboration med sin publik. Eftersom det finns stora fan-baser och mycket fan-kultur kring karaktärerna vill publiken, som tidigare nämnts, se den virtuella artisten som verkliga artister. Endast genom publikens reaktioner skapas mening för de

virtuella artisterna, och att konserterna är fulla med publik visar att det finns ett intresse och en mottaglig målgrupp för denna typ av evenemang och underhållning. Det gör även de virtuella artisterna varken verkliga eller overkliga. Musiken tillskrivs dem (AllMusic 2020), precis som för en levande artist, trots att de utan mänsklig och teknisk hjälp inte själva kan uppträda. Som inom många kreativa arbetsområden är det en fördel för en grafisk designer att arbeta i ett kreativt team. Frågan kring upphovsrätt och att tillskriva skaparen sina rättigheter blir däremot aktuell med öppnare regler kring vem som får skapa nytt material under någons namn, som bland annat Hatsune Miku som är beroende av programanvändarna.