LiU-ITN-TEK-G--20/052--SE
Att skapa musik med
videoredigering: En
handledning
Niklas Bergner
LiU-ITN-TEK-G--20/052--SE
Att skapa musik med
videoredigering: En
handledning
Examensarbete utfört i Grafisk design och kommunikation
vid Tekniska högskolan vid
Linköpings universitet
Niklas Bergner
Handledare Niklas Rönnberg
Examinator Jonas Löwgren
Upphovsrätt
Detta dokument hålls tillgängligt på Internet – eller dess framtida ersättare –
under en längre tid från publiceringsdatum under förutsättning att inga
extra-ordinära omständigheter uppstår.
Tillgång till dokumentet innebär tillstånd för var och en att läsa, ladda ner,
skriva ut enstaka kopior för enskilt bruk och att använda det oförändrat för
ickekommersiell forskning och för undervisning. Överföring av upphovsrätten
vid en senare tidpunkt kan inte upphäva detta tillstånd. All annan användning av
dokumentet kräver upphovsmannens medgivande. För att garantera äktheten,
säkerheten och tillgängligheten finns det lösningar av teknisk och administrativ
art.
Upphovsmannens ideella rätt innefattar rätt att bli nämnd som upphovsman i
den omfattning som god sed kräver vid användning av dokumentet på ovan
beskrivna sätt samt skydd mot att dokumentet ändras eller presenteras i sådan
form eller i sådant sammanhang som är kränkande för upphovsmannens litterära
eller konstnärliga anseende eller egenart.
För ytterligare information om Linköping University Electronic Press se
förlagets hemsida
http://www.ep.liu.se/Copyright
The publishers will keep this document online on the Internet - or its possible
replacement - for a considerable time from the date of publication barring
exceptional circumstances.
The online availability of the document implies a permanent permission for
anyone to read, to download, to print out single copies for your own use and to
use it unchanged for any non-commercial research and educational purpose.
Subsequent transfers of copyright cannot revoke this permission. All other uses
of the document are conditional on the consent of the copyright owner. The
publisher has taken technical and administrative measures to assure authenticity,
security and accessibility.
According to intellectual property law the author has the right to be
mentioned when his/her work is accessed as described above and to be protected
against infringement.
For additional information about the Linköping University Electronic Press
and its procedures for publication and for assurance of document integrity,
please refer to its WWW home page:
http://www.ep.liu.se/Examensarbete
Att skapa musik med videoredigeringsverktyg
–en handledning.
av
Niklas Bergner
Handledare: Niklas Rönnberg Examinator: Jonas Löwgren
Grafisk Design och Kommunikation 2020-06-15
Sammanfattning
Det finns mer än ett sätt att skapa musik. Vissa sätt är dock mer okonventionella än andra. En särskild metod behöver inga professionella inspelningsmjukvaror eller digitala musikinstrument kompatibla för sammankoppling med datorer. Istället behövs, förutom ett musikinstrument, enbart videoinspelningsutrustning och videoredigeringsmjukvara. Syftet med denna rapport är att undersöka hur väl personer kan -med en instruktionsvideo innehållande tal, grafik och
realtidsinstruktioner- lära sig att skapa egen musik.
En inledande, mindre studie genomfördes för att finna personer (utan tidigare erfarenhet av musikskapande) villiga att göra ett användartest under uppsikt. Det tänkta antalet testpersoner hölls lågt till följd av den rådande covid-19-pandemin, samt det sista användartestets natur. Samtliga tillfrågade var entusiastiska till att genomföra testet att av instruktionsvideon och dess innehåll.
För att besvara syftet utformades, genom en iterativ design- och
redigeringsprocess, en instruktionsvideo. Denna instruktionsvideo visades för samtliga testpersoner varpå de instruerades att redigera samman egna,
förutbestämda, korta musikstycken. Resultatet av de kvalitativa testerna visar att man kan lära sig denna typ av musikskapande förutsatt att vägledningen är
Abstract
There are several ways to create music. Some ways are more unconventional than others, however. One particular method does not require professional audio editing softwares or digital music instruments compatible with computers.
Instead, the only thing required, apart from a music instrument, is video recording equipment and video editing software. The purpose of this study is to examine how well people can –using a video tutorial containing speech, graphical elements and real time instructions- learn how to create their own music.
A small-scale, initial study was conducted to find people (without any past experience of music creation) willing to take part in a supervised user test. The supposed amount of test subjects was kept at a minimum due to a current covid-19-pandemic, as well as the nature of the test itself. Every respondent was enthusiastic about testing the tutorial and its content.
Through an iterative design and editing process, a video tutorial was created with the intent to answer the purpose of this study. The video tutorial was shown to every test subject, whereupon they were instructed to edit their own,
predetermined, short musical pieces. The results of the quality-based tests show that musical content creation can be taught, given that the tutorial is clear, pedagogical and efficient.
Innehållsförteckning
1. Inledning... 6 1.1 Eget arbete ... 7 1.2 Syfte ... 7 1.3 Frågeställning ... 8 1.4 Avgränsningar ... 8 2. Teoretisk bakgrund ... 9 2.1 Retorisk pedagogik ... 92.2 Informationsdesign och rörlig bild ... 9
2.3 Rörlig grafik ... 10 2.4 Modalitetsprincipen ... 10 2.5 Narrativ ... 10 3. Metod ... 12 3.1 Förstudie ... 12 3.2 Skapandeprocess ... 12 3.2.1 Manuskript ... 12 3.2.2 Storyboard ... 13 3.2.3 Redigeringsprocess ... 13 3.3 Användartester ... 13
3.4 Uppföljning och analys ... 14
4. Framställning ... 15 4.1 Berättarröst... 15 4.2 Storyboard ... 15 4.3 Inspelning ... 16 4.4 Redigering ... 17 4.5 Slutlig leverabel ... 18 5. Uppföljning ... 20 5.1 Användartest ... 20 5.2 Testresultaten ... 22
5.3 Slutenkät och analys ... 22
7. Diskussion ... 26
7.1 Teoretiskt ramverk ... 26
7.2 Metod ... 26
7.3 Värdering och analys ... 27
7.4 Vidare arbete ... 27 Referenslista ... 28 Bilaga A... 30 Bilaga B ... 31 Bilaga C ... 36 Bilaga D ... 38
1. Inledning
Musikskapande är inte längre begränsat till de som har tillgång till en fullskalig studio, mixerbord och andra tillbehör. Med gratis programvaror (som kallas Digital Audio Workstations eller DAW förkortat), ett datorkompatibelt keyboard och en mikrofon kan nästan vem som helst skapa musik på helt annat sätt än förut. På en bredare konsumentnivå kom möjligheten att skapa musik från grunden när DAW:en Fruity Loops släpptes 1997. En DAW som är populär än idag, och som varit det föredragna programmet för musikskapare inom
elektronisk dansmusik och dess undergenrer. Några välkända exempel på framgångsrika artister med sånger skapade i Fruity loops (senare FL Studio) är bland andra Basshunter och Avicii (RedBull.com.) Senare 2003 togs ytterligare steg för att göra det enklare för nybörjare inom songwriting när Apple lanserade Garageband (Apple.com). Garageband innehöll förinspelade musikstycken
(loopar) som man kunde enkelt kunde dra och släppa i sin musik-komposition och konstruera låtar utan att vare sig behöva ett instrument att spela med, eller programmets inbyggda synth för komponera helt egna stycken.
2011 kom möjligheten att skapa musik av semi-professionell grad var som helst när Apple introducerade sin egen populära DAW, Garageband, till iOS och iPad (TechCrunch.com). DAW:en är gratis och kompatibel med digitala instrument som kan kopplas in i telefonens 3.5mm line-in.
Lättillgängligheten av dessa program och hårdvara har möjliggjort för många fler att skapa egen musik, och antalet självständiga musiker är fler än någonsin (Forbes.com). Arbetsprocessen för att skapa musik om man innehar allt som nämnts är universellt vedertagen. En melodi spelas på ett instrument, melodin spelas in via DAW:en där den kan redigeras i efterhand. En vedertagen process är dock inte nödvändigtvis den enda processen.
Allteftersom olika DAW:er förfinats och fått fler finesser har flera olika metoder att göra remix:er och skapa musik på nya sätt. En sådan metod är sampling. Ordet sampling kommer ifrån att man tar en liten beståndsdel (ett sampel) från något och gör något nytt med den. I musiksammanhang kan det handlar det oftast om ett stycke från en annan låt. Exempelvis en textrad, ett speciellt sound eller del av en lättigenkännlig melodi. Dessa sampels används sedan för att antingen blanda låtar med varandra (så kallade mash-ups), eller ta dessa mindre beståndsdelar och
skapa något helt nytt. Denna form av remix:ande behöver i grund och botten inte ens en DAW. Vad som helst som kan spela in och omplacera ljud är något man (till varierande grad) kan göra en sampel-remix med. Till och med ett
videoredigeringsprogram.
1.1 Eget arbete
För åtta år sedan gjorde undertecknad ett gymnasialt slutprojekt. En film där musik hade skapats genom att, med ett klaviatur, spela enskilda noter och ackord framför en kamera och sedan klippa ihop materialet till ett musikstycke. Projektet gjordes för att se ifall det ens skulle fungera och för att se hur
slutprodukten kunde se ut. Även om slutresultatet blev en framgång så hade det fortfarande uppenbara brister. Ljudkvaliteten var ibland väldigt dålig (på grund av undermålig kamerautrustning), instrumenten var felaktigt inställda och
klippningsprocessen var väldigt ineffektiv på grund av bristande kunskap om gränssnittet.
En instruktionsfilm (eller ”tutorial” som det ofta brukar kallas) som behandlar såväl klippningsprocessen som inställningen av instrument hade varit väldigt behjälpligt och underlättat väldigt mycket.
1.2 Syfte
Syftet med arbetet är att utforma och skapa en instruktionsfilm som beskriver och förklarar ett optimalt arbetsflöde och strategi för att skapa musik med enbart de nödvändiga instrumenten, en filmkamera och grundläggande filmklippning. Instruktionsfilmen ska beskriva arbetsflödet till en såpass grundlig grad att en användare utan större fallenhet för vare sig musikskapande eller klippning ska kunna återskapa ett liknande resultat.
1.3 Frågeställning
Då detta projekt delvis genomförs mot bakgrund av ett annat som gjordes av undertecknad för åtta år sedan väcks ett par frågor redan där. Bland annat; om Skulle det bli någon kvalitativ skillnad ifall en instruktionsfilm fanns att tillgå? Är denna typ av medieskapande något som man kan ta till sig och lära sig? Samt, öppnar det en möjlighet att skapa musik för någon som inte skulle kunna det med de traditionella medlen? Dessa frågor sammanfattats ned till en konkret fråga:
Kan en instruktionsfilm utformas och simplifieras till den punkt där vilken person som helst med avsedd utrustning kan skapa musik med dess assistans?
1.4 Avgränsningar
Instruktionsfilmen kommer att rikta sig mot nybörjare och personer med viss vana med videoredigering. Då instruktionsfilmen ämnar att framföra fleratlet vitala delar kommer den att bli ganska lång (uppemot 20 minuter), så antalet testpersoner kommer hållas till enbart ett fåtal. Detta är till fördel på grund av den rådande covid-19-pandemin och användartesterna kommer genomföras över en relativt lång tid och under nära uppsikt.
Informationsfilmen kommer inte att använda sig av komplex infografik eller text som förklarar alla steg, utan istället förlita sig på samspelet mellan verbala och visuella realtidsinstruktioner.
2. Teoretisk bakgrund
2.1 Retorisk pedagogik
En viktig sak att beakta om man ska förklara och förevisa ett unikt arbetsflöde är att undvika fackspråk eller överakademisk lingo där det inte behövs. Kortfattat; anpassa budskap efter mottagare (Forsberg, 2013). Speciellt viktigt är det i detta fall, eftersom formen av medieproduktion i detta projekt är något som
överbryggar två helt skilda intresseområden. Mottagaren är i detta fall är användaren som behöver hjälp via en instruktionsfilm att kunna skapa musik. Genom att hålla terminologin konsekvent och enkel anpassar man perspektivet för kommunikation till en brett spektrum av mottagare (användare). Att kunna göra en anpassning till mottagarens synsätt är eftersträvansvärt, också enligt retorikprofessor Anders Sigrell (2008).
2.2 Informationsdesign och rörlig bild
Med ett gott användande av bildspråk, och den tillhörande visuella hierarkin, når information en mottagare enklare. Med grafik och text som överlappar och förklarar så förstärks sändningen av information ännu mer. Enligt Zetterlund (1997) är det speciellt viktigt att placeringen av information är väl genomtänkt för att nödvändig information ska nå fram. Om processen som beskrivs är
komplicerad är det även viktigt att ha uttrycket ”less is more” i åtanke för att det inte ska bli för mycket information på en gång.
Med lager och separering, tillsammans med mikro- och makroavläsningar kan en god visuell hierarki skapas. Det är två av Tuftes (1990) fyra principer om
informationsgrafik som kommer vara mest relevanta för arbetet. De två andra principerna är tid- och rumberättelser samt små multiplar. Lager och separering används för att markera och tydliggöra specifika delar av information genom skillnader i form, färg, storlek, etc. Mikro- och makroavläsningar berättar om hur en helhetsbild byggs upp genom hierarkiska lager där mikroperspektivet
behandlar de mer komplexa detaljerna medan makroperspektivet visar en hel bild.
2.3 Rörlig grafik
När animerad grafik tillsammans med text och filmat råmaterial sammansätts skapas rörlig grafik (Barnes, 2016). Syftet med denna typ av visuella
kommunikation är att vara informerande, underhållande eller ett överlapp som innefattar båda. Detta arbete kommer att nyttja rörlig grafik i hög grad för att uppehålla intresse hos mottagaren och med potential och också vara
underhållande för någon oinsatt i arbetet eller intresseområdena i sin helhet. Tester har genomförts (Yang, Jen, Chang & Yeh, 2018) där det har gjorts jämförelser med hur animerat material har en större pedagogisk potential än stillbilder vilket är väldigt lägligt. Det etablerades också enligt en studie av Kühl, Navratil och Münzer (2018) att animerad kommunikation var effektivare än statisk kommunikation.
2.4 Modalitetsprincipen
Ett fördelaktigt sätt att framföra information är att nyttja det som Clark och Mayer (2016) beskriver; the modality principle, eller som den heter på svenska,
modalitetsprincipen. Den principen bygger på att människans inlärningskanaler är
kognitivt tudelade mellan det visuella och det verbala, men kan samverka och avlasta varandra. Informationsbearbetning med både auditiva och visuella element öppnar således upp för att mer komplex, eller en större mängd information, kan behandlas jämfört med enkelkodad information.
2.5 Narrativ
För att användaren ska kunna ta till sig av informationen och instruktionerna krävs det att innehållet är välstrukturerat och balanserat. YouTube-kanalen
Blender Guru publicerar instruktionsfilmer på plattformen om hur man använder
3D-modelleringsprogram, men publicerade en video (2017) som bryter ned vad som förmodas ha föranlett kanalens stora framgång inom sin genre. (Kanalen har i skrivande stund 1,3 miljoner prenumeranter.) I den videon presenterar kanalen en egen källa (Weissman, 2008) vars narrativ-modell kanalen uppges följa. Kanalen sammanfattar sitt narrativ med en pseudo-matematisk formel för vad som gör en bra instruktionsvideo med visuella och verbala element. Målet är att formeln ska uppnå ett så högt slutvärde som möjligt.
� �� × �� � + � �� ��� + �� � � + ��� � �
-Blender Guru, 2017
Viss tolkning av bokens teori kan ha gott förlorad i formeln, men kanalen bröt ned termerna och faktorerna i den pseudo-matematiska formeln på följande sätt:
Topic: Ämnet som instruktionsvideon är tänkt att handla om. Topic-faktorn är högre om det instruktionsfilmen lär ut är av högt intressevärde.
Result: Resultatet är den andra intresseväckande faktorn, vilket gör de två nämnda faktorerna till en produkt av varandra.
Practice: Mängden övning på att framföra instruktionerna väl är en term inom den pseudo-matematiska formeln. Denna adderas till den första produkten och tillför säkerhet i utförandet.
Clarity: Förmågan att kunna leverera instruktioner på ett pedagogiskt och lättförståeligt vis. Därtill, förmågan att kunna uttrycka sig tydligt och utan misstag.
Delivery: Den sista termen i ekvationen som i mångt och mycket gör en instruktionsfilm lätt att titta på eller ej. Det vill säga, att hålla tonläget i guldlock-zonen mellan monoton och överentusiastisk, och att på samma sätt enbart lagom ambitiös i att rätta sitt uttal om man pratar på ett andraspråk.
3. Metod
Till en mindre grupp av tänkta testpersoner inom en given målgrupp kommer en prototyp av en instruktionsfilm att framställas, varpå deras samlade åsikter och synpunkter kommer att tas i beaktande för att sedan utvärdera ifall den
framtagna instruktionsfilmen har uppnåt sitt syfte.
3.1 Förstudie
En inledande förstudie kommer genomföras för att se om personer är villiga att ställa upp på att sammanställa ett eget kort musikstycke med eget material under ett senare användartest. Förstudien görs med en kort enkät som ämnar att
underrätta respondenterna om deras tänkta uppgifter, hur lång tid användartestet kommer att ta och vad slutresultatet kan bli.
3.2 Skapandeprocess
Skapandeprocessen är de samlade delarna i tillvägagången, från början till slut, med en färdig film som slutresultat.
3.2.1 Manuskript
Då instruktionsfilmen kommer att grunda sig till stor del på auditiva (verbala) instruktioner behövs ett manus. Manuset kommer skrivas iterativt, där det första steget är att gå igenom arbetsprocessens alla delar och skriva ned dessa, i
ordning. Detta görs lättare om hela arbetsprocessen görs från grunden medan varje steg dokumenteras. Då kan eventuella misstag eller onödiga steg elimineras. Senare kommer manuset att bindas samman på ett effektivt sätt, och där det behövs (eller om det kan vara av intresse för mottagaren) kommer steg förklaras mer i detalj varför de utförs eller om man kan göra steget på andra vis. Det är också viktigt att manuset inte heller blir överdrivet formellt och inte lämnar utrymme för att vara personlig när den överliggande berättarrösten skall spelas in. Något som också tas upp av den, i avsnitt 2.5, nämnda Youtube-kanalen Blender
För att instruktionerna ska bli lättare att följa i gränssnittet och för inte behöva använda terminologi på flera olika språk, vilket kan vara en källa till förvirring, kommer manuset till berättarrösten vara skriven helt på engelska.
3.2.2 Storyboard
Ett sätt att säkerställa en välplanerad film med en god struktur där inget väsentligt saknas, samt få en indikation om dess speltid, är att använda
storyboard. Storyboardet kommer i detta fall att mest tjäna som ett komplement till manuset, men finnas som en garant för att det visuella och det verbala skall vara i synkronisering med varandra. Eftersom det med stor sannolikhet skulle ta för mycket tid kommer storyboardet inte innehålla några illustrationer, utan istället kortfattat beskriva med ord vad som ska visas under ett vissa uttalade meningar av berättarrösten. Storyboarding kommer ske i Adobe Illustrator.
3.2.3 Redigeringsprocess
Redigeringen för allt råmaterial kommer ske i Adobe Premiere Pro. Så långt det är möjligt kommer allt rörligt material ha en jämn färgkorrigering och ljudnivåer hållas jämna. Alla animationer som skall tjäna som förklarande komplement kommer att skapas i Adobe After Effects. Dessa animationer kommer innefatta bland annat hur den
musikaliska skalan kommer användas,
samt vilken materiell en mottagare av instruktionsfilmen kan behöva.
3.3 Användartester
Datainsamlingen som slutanalysen kommer grundas på kommer vara ett kvalitativt användartest med en tillhörande enkät som samtliga respondenter skall svara på efteråt. Om respondenterna har vissa förkunskaper inom ämnet
Figur 2) Videoredigeringsmjukvarorna Adobe Premiere Pro och Adobe After Effects
filmklippning, men med viss variation, vilket enbart är positivt. För att få en insikt om huruvida informationsfilmen är väl upplagd och lätt att tolka bakas
användartest och intervju samman. Under användartesterna gavs alla
testpersoner en samling med råmaterial till ett förbestämt kort musikstycke och tillgång till instruktionsfilmen.
Under testprocessen kommer observatören (undertecknad) kontinuerligt ställa sig själv några frågor och anteckna svar under testets gång:
1. Har testpersonen en klar bild om arbetsprocessen efter att ha tittat på instruktionsfilmen?
2. Om testpersonen inte vet vad denna ska göra, sker det på återkommande steg i likhet med andra testpersoner?
3. Verkar det finnas utelämnad –viktig- information som för observatören är underförstådd, men som hade varit till nytta för testpersonen utan att denna vet om det?
4. Artar sig testpersonens slutresultat så bra som det kan? Om nej, vad är det som brister eller saknas?
3.4 Uppföljning och analys
Efter testerna kommer kortare intervjuer om slutresultatet att genomföras tillsammans med testpersonerna. Dessa intervjuer kommer att behandla
huruvida testpersonerna själva är nöjda med sina egna slutresultat, samt vad de själva upplever saknas eller kan förbättras i instruktionsfilmen. Intervjuerna kommer vara av ostrukturerad karaktär där testpersonerna styr samtalet och ventilerar sina tankar fritt. Intervjuerna sker individuellt med varje testperson. Under tiden kommer det göras en enkel transkribering bestående främst av nyckelord, och i efterhand sker en utkristallisering om vad som var bra och dåligt med testet och dess resultat. Fördelen med intervjuer av det slaget är att det är avslappnat och uppmuntrar till att tala helt fritt. Nackdelen med intervjuer av den karaktären är att följdfrågor lär väckas när allt är transkriberat och sammanställt, men dessa intervjuer kommer sedermera agera som grund för en mer utförlig enkät som samtliga testpersoner kommer att svara på. Enkäten kommer uppmana respondenterna att i åtminstone ett par frågor svara utförligt och reflektera mer grundligt.
4. Framställning
4.1 Berättarröst
Till projektet lånades en Zoom H6. En mikrofon med väldigt högkvalitativ ljudupptagning. Denna skulle komma att tjäna väl under framställningen av instruktionsfilmen. Med denna lästes hela berättarröstens manuskript in i ett stycke. Vid varje misstag eller felsägning lästes hela stycket om. Viss tankekraft lades på att rösten inte skulle ha en alltför stark brytning på undertecknads modersmål. Under inspelningen säkerställdes att
upptagningsnivåerna på ljudet inte var vare sig för höga eller för låga.
När allting hade spelats in genomgick ljudet en egen redigeringsprocess där långa pauser, inandningsljud, felsägningar och andra icke önskvärda delar klipptes bort. Kvar blev ca. 25 minuter av användbart material, vilket gav en fingervisning om hur lång hela instruktionsfilmen skulle kunna bli.
4.2 Storyboard
Storyboarding och upplägg för det visuella följde som ett andra steg i framställningen. I figur 5 visas de fyra första rutorna i instruktionsfilmens storyboard. (Fler utdrag är bifogade i bilaga B.)
Manuskriptet delades in i mindre stycken där varje bit
av väsentlig information blev ett eget stycke. Dessa stycken fick sedermera en egen ruta i storyboarden där vad som var tänkt att bli det visuella, parallellt löpande, elementet skulle fastställas. För att göra kategorisering av såväl
storyboard som instruktionsfilmens delar enklare, delades filmen upp i fyra akter. Första akten berättar om det egna arbetet från åtta år sedan som inspirerade detta arbete. Den andra akten berättar om vilka olika typer av materiell
mottagaren behöver vad gäller hårdvara såväl som mjukvara. Den tredje akten behandlar hur man tolkar musikalisk skala och dokumenterar noter, samt hur man skall gå till väga när råmaterialet till ett musikstycke skall spelas in. Den fjärde och sista (tillika den längsta) akten behandlar realtidsinstruktionerna i gränssnittet och hur man redigerar samman musikstycket. Den akten är inte beroende av ett storyboard, då berättarröstens manus i sig beskriver i nära detalj vad
instruktionerna ska bestå av och vad mottagaren ska se.
4.3 Inspelning
Innan inspelningen av råmaterial till musikstycken för såväl demonstrativt syfte som till användartesterna, beslutades att spela in material för korta,
lättigenkännliga musikstycken. Som det sedermera beskrivs i instruktionsfilmen filmades alla unika noter ur några musikstycken för att sedan kunna redigeras. Kameran i en iPhone 6S blev den valda
filmkameran. Ett fullgott alternativ för detta syfte. Kameran monterades i ett upphöjt läge på en bärbar dators uppfällda lock eftersom ett stativ inte fanns att tillgå. Framför denna
uppsättning placerades ett MIDI-keyboard med en framing som enbart tog hänsyn till keyboardet och dess tangenter. På en större monitor bakom kameran fanns en, på förhand,
skriven lista med noter som skulle spelas för att kunna konstruera låtar.
Valet av musikstycke att spela i demonstrationssyfte föll på ledmotivet till claymation-filmerna om Wallace och Gromit. Detta för att det är en välkänd
melodi som inte är komplex och inte består av alltför många unika noter. De andra styckena, som testpersonerna senare fick välja mellan var barnvisan Baby Shark, ledmotivet till spelet Mortal Kombat samt ledmotivet till den populära TV-serien Game of Thrones. Samtliga stycken är av mindre komplex typ och kan konstrueras på en kort tid, vilket är optimalt för att kunna utföra användartest inom en acceptabel tidsrymd och inte tvinga användarna till att utföra en monoton uppgift längre än nödvändigt.
Instruktionsfilmens sista akt med realtidsinstruktioner om hur man konstruerar musikstyckena i Adobe Premiere Pro spelades in i realtid samtidigt som
berättarrösten för densamme för att garantera att varje utförd rörelse och aktion var synkroniserade med varandra. Inspelningen av instruktionerna i Adobe
Premiere Pro gjordes med skärminspelningsprogrammet OBS Studio medan mikrofonen var riggad i undertecknads direkta närhet. Inspelningen var något som tog längre tid än väntat, då fokus på manuset sviktade samtidigt som man skulle utföra något i gränssnittet. Det resulterade i mängder av felsägningar, bristande uttal och delar som behövde klippas bort senare eller tas bort. Lyckligtvis är det inget som påverkade instruktionsfilmens färdiga stadium.
4.4 Redigering
När allt hade blivit inspelat återstod det således att sammanställa allt filmat material och den inspelade berättarrösten. Just som storyboard-exemplet i figur 5 illustrerar är berättarrösten navet i instruktionsfilmen som allt det visuella är strukturerat kring. I redigeringsprojektet var ljudspåret med berättarrösten till stor del oredigerat. Enda gångerna något behövde ändras eller flyttas på var för att låta tittaren hinna ta in den visuella informationen i form av grafiska element eller demonstrationer av olika slag. I instruktionsfilmens mellanakter används animerad grafik som tar hänsyn till Tuftes (1990) principer om informationsgrafik. Främst principen om lager och separering. För att styra vad
informationsmottagaren ska titta på är bakgrunden abstrakt och suddig medan de förklarade illustrationerna är i det främsta lagret. Illustrationerna innefattar bland annat de visuella demonstrationerna om vilken hårdvara som behövs, och hur man kan gör en korrekt set-up med den. Andra delar använder även Clark och Mayers (2016) modalitetsprincip på ett tydligt sätt. Den animerade genomgången av ett pianos skala (C-dur), och vilken tangent som är vilken, visar också hur
klargul färg spelades också tangenternas toner (från lågt till högt). Utöver markeringen skrevs det också ut vilken ton det var. Animationen fortsätter med att förlänga det animerade keyboardet för att innefatta flera oktaver och visa oktavskillnader på ett liknande vis. Detta för att hålla bildspråket konsekvent, och kunna effektivisera
Den sista delen, realtidsinstruktionerna i Adobe Premiere Pro, var redan synkroniserad med det visuella och den inspelade berättarrösten, men krävde extensiv bearbetning för att avlägsna oönskat material i form av felsägningar, inandningsljud och dylikt. För att göra instruktionsfilmen mer tidseffektiv valdes att snabba upp de steg som repeteras om och om igen över en längre tid för att speltiden inte ska bli alltför lång, och undvika att tittaren inte delges ny relevant information eller nya instruktioner. Detta medförde att det inspelade materialets speltid efter redigering sjönk från 90 minuter till knappt 20 minuter.
Efter att hela instruktionsfilmen ansågs vara klar (eller vara i ett färdigt prototyp-stadium) kunde den till slut gå igenom ett användartest.
4.5 Slutlig leverabel
Den slutliga leverabeln, det vill säga instruktionsfilmen i sin helhet, blev 22 minuter och 57 sekunder lång med alla delar sammansatta. De första fyra akterna tjänar som en
introduktion för att vara såväl intresseväckande som ge en indikation på resultatet man kan vänta sig av att följa
instruktionsfilmen, samt visa vad som krävs för att kunna följa densamme. Instruktionsfilmen inleder med historieberättande om arbetets bakgrund och inspiration –gymnasiearbetet beskrivet i avsnitt 1.1. Detta för att ge den som instruktionsfilmen visas för en kontext om arbetet och dess bakgrund. I
instruktionsfilmens efterföljande delar presenteras nödvändig hårdvara, både med rörlig grafik och praktiska exempel, tillsammans med verbal förklaring. Detta
för att ytterligare hålla fast vid modalitetsprincipen (Clark och Mayer, 2016). Alla dessa, rent informativa delar hålls så konkreta som möjligt. Detta för att också förhålla sig till Zetterlunds (1997) princip för att den nödvändiga informationen ska nå fram. All nödvändig information har sin plats i förgrunden rent visuellt och all korrelerande verbal förklaring innehåller enbart väsentlig information.
Den sista delen där
redigeringsprocessen beskrivs i realtid är, i sitt grundutförande, relativt rätlinjig. Alla nödvändiga steg för att kunna utföra den nödvändiga
redigeringsprocessen i musikskapandet behandlas grundligt och inga steg
exkluderas. Detta leder till att den sista delen (som kommer genomgå ett användartest) har en speltid på just under 18 minuter.
Länkar till instruktionsfilmens alla delar: Part 0 – Intro:
https://www.youtube.com/watch?v=fL9jixcfIYo
Part 1 – Rationale & set-up:
https://www.youtube.com/watch?v=ZbhhM9nY6ts&t=17s Part 2 – Constructing: https://www.youtube.com/watch?v=bOZmGunDYRw Part 3 – Recording: https://www.youtube.com/watch?v=71JKKKEW-GQ Part 4 – Editing: https://www.youtube.com/watch?v=QhMLGO57hYs&t=718s
5. Uppföljning
Respondenterna av förstudiens enkät (Bilaga A) samlades under en gemensam visning av hela instruktionsfilmen. Efter det fick samtliga ta plats framför en dator, ladda ned det förberedda materialet och själva börja konstruera sitt valda musikstycke. Materialet som varje testperson fick tillgång till bestod av en film med en pianorulle till det tänkta musikstycket, samt inspelade noter som korrelerade med pianorullen.
5.1 Användartest
Under tyst observation började testpersonerna
konstruera sina musikstycken. Alla tre testpersonerna var kvinnor och angrep uppgiften på vitt skilda sätt. En av de var väldigt metodisk och föll tillbaka på instruktionsfilmen vid varje steg. En annan tog flera steg i taget innan hon föll
tillbaka på instruktionsfilmen, men gjorde alla steg noggrant. Den tredje och sista angrep uppgiften med hög hastighet och fokus på att slutföra uppgiften så snabbt som möjligt. På så sätt kompletterade alla tre användare varandra, vilket enbart är till testets fördel om utfallet är enstämmigt negativt eller positivt.
Samtliga mindes fler detaljer än vad som ursprungligen var väntat, men alla använde sig av instruktionsfilmen att falla tillbaka på. Löpande under
användartesterna hade undertecknad en tyst observatörsroll. Observatören skulle finnas till hands under testet ifall något tekniskt problem skulle uppstå eller ifall någon av testpersonerna skulle ha en fråga rörande uppgiften. Under ett par tillfällen kom observatören med tips om navigation i gränssnittet och vissa kortkommandon, även om det var undantagsfall och inte hade någon egentlig påverkan på testet och resultatet i sig.
Anteckningar fördes av observatören och listan med kontrollfrågor (avsnitt 3.3) som sattes upp på förhand innan användartestet, för observatören att svara på själv, fick utförliga svar allteftersom fler testpersoner slutförde uppgiften. Den första frågan var huruvida testpersonerna hade en klar bild om arbetsprocessen efter att ha tittat på instruktionsfilmen. Där kunde
undertecknad, tillika observatör, konstatera att samtliga testpersoners bild var klarare än väntat. Samtliga ”tänker högt” under processen vilket klargjorde att andra detaljer som observatören ansett som antingen små, eller av mindre betydelse, var ihågkomna av testpersonerna.
Andra frågan behandlar om testpersonerna fastnade på något steg, och ifall testpersonerna fastnade på samma steg. Av observationen att döma fastnade ingen testperson på något steg under arbetsprocessens beskrivning, men samtliga var obevandrade med pianots skala och vilken tangent som var vilken. Efter en ledning om vilken tangent som var den första att bli placerad i deras musikstycken så kunde testpersonerna själva utläsa vilka noter det var som följde.
På kontrollfrågan om det fanns utelämnad viktig information som för
observatören varit underförstådd fanns det ett klart svar. Informationen om pianots skala var inte underförstådd. Information om den delgavs i filmen innan realtidsinstruktionerna, men i retrospekt var det definitivt för mycket begärt av testpersonerna att de skulle komma ihåg den delen i sin helhet. Detta är något som kan undvikas genom att ha en overlay med pianots skala i instruktionsfilmen för att undvika förvirring.
Slutligen ställdes kontrollfrågan om testpersonernas slutresultat var så bra som det kunde, eller om det fanns några brister. Under testet gjordes inga direkta anmärkningar på resultatet. Vid genomlyssning lät alla resultaten bra. Det enda som kan ha påverkat slutresultatet negativt är eventuellt bristande
synkronisering i klippningen mellan noterna till följd av att alla testpersoner inte varit noggranna, eller kunnat lyssna ordentligt under klippningsprocessen. Detta till följd av att alla inte valde att använda hörlurar.
5.2 Testresultaten
Användartesterna resulterade i tre musikstycken som alla följde arrangemangen. Med längre testtid hade det varit fullt möjligt att skapa mer komplexa stycken eller längre stycken. Testresultaten kommer att adderas till en uppdaterad version av instruktionsfilmen för att demonstrera mer direkt vad man kan göra om man följer realtidsinstruktionerna.
5.3 Slutenkät och analys
Användartestet avslutades med en sista enkät (Bilaga D) för att få samtliga testpersoners samlade intryck av instruktionsfilmen och uppgiften efteråt. Den första frågan i enkäten som personerna i användartestet fick svara på var om de tyckte att instruktionsfilmens speltid var rimlig. Två personer tyckte att
speltiden var ”lagom” medan en person tyckte att instruktionsfilmen var ”för lång”. Enligt en enkel majoritetssprincip kan man kalla speltiden rimlig (eller ”lagom” som det var formulerat i enkäten), men det är inte svårt att inse varför instruktionsfilmen kan anses vara för lång. Instruktionsfilmen börjar med en akt av historieberättande och under realtidsinstruktionerna (sista akten) förklaras många funktioner, och dess tillämpningsområden, väldigt ingående. Något som för arbetsprocessens specifika utförande egentligen inte är vital information, men som kan vara till nytta i andra fall.
På frågan om det var till instruktionsfilmens fördel att vara på engelska svarade samtliga personer jakande. Detta rimligtvis för att det håller terminologin
konsekvent med talade språket, och för att det öppnar för många fler personer än svensktalande att ta till sig och lära sig det som instruktionsfilmen vill förmedla. Tredje frågan återknyter till första observatörsfrågan, men testpersonerna svarar själva. På en femgradig skala fick testpersonerna svara på om målet med
användartestet var tydligt efter att ha sett instruktionsfilmen. Samtliga svarade det maximala värdet fem, vilket visar att målet var lika tydligt som observatören själv iakttagit.
Fjärde frågan var om användningen av förklarande rörlig grafik och animation var tillräcklig. Svarsalternativen var en fyrgradig skala och frågeställningen var om grafik och animationer ansågs icke-existerande, mestadels otillräckliga, mestadels
tillräckliga eller fullständigt tillräckliga. Samtliga testpersoner svarade ”mestadels tillräckliga”. Med stor sannolikhet fick frågan det svaret till följd av den bristande informationen om pianots skala vilket hade kunnat lösas enkelt med överliggande grafik i instruktionerna som hade upplyst testpersonerna kontinuerligt.
På frågan om instruktionsfilmen var behjälplig att kunna falla tillbaka på om något kändes oklart svarade samtliga testpersoner jakande.
På den efterföljande frågan uppmanades testpersonerna att elaborera och svara mer ingående. Frågan var; var det något som saknades i form av förklarande grafik, eller ifall det var något viktigt som inte förklarades. Två av testpersonerna betonade, som redan nämnt, avsaknaden av förklaring på vilken not som var vilken. Den tredje testpersonen valde att betona de tidssparande tipsen som undertecknad gav under testerna, samt att man kan uppmärksamma användaren på vad som kan hända ifall ett misstag begås för att göra en felsökning enklare. Det togs upp ett konkret exempel där en användare under testet hade öppnat en filmfil i fel klippningsfönster och namngett ett klipp med fel namn. Detta är något som kan ha undvikits om instruktionsfilmen betonat vikten av att vara noggrann och att ofta lyssna igenom musikstycket under konstruktionen.
På frågan om ifall denna typ av musikskapande skulle vara något flera skulle vilja testa, ifall man visste att den var möjlig, noterades ett samstämmigt jakande svar. En respondent till enkäten utvecklade sitt svar ytterligare och spekulerade om möjligheten att utveckla skapandeprocessen till ett spel där man skapar
successivt svårare låtar, eller som ett stimulerande tidsfördriv.
I slutet av enkäten lämnades ordet helt fritt till testpersonerna om vad de tyckt om hela upplevelsen med användartestet. Den samlade bilden var att
testpersonerna fann testet lyckat, roligt och arbetsuppgiften intressant.
Alla testpersoner hade väldigt överlappande och liknande svar om både det som ansågs bra respektive dåligt, vilket påvisar att det som upplevdes som saknat (i det här fallet; information om pianots skala under realtidsinstruktonerna) verkligen hade behövts. I övrigt var testet en framgång.
6. Slutsats och värdering
Detta arbetes syfte var att undersöka huruvida en instruktionsfilm för musikskapande med videoredigeringsverktyg kunde framställas, och ifall densamme kunde vägleda tittare att framställa egna musikstycken. Syftet har besvarats genom att sammanställa en grupp av testpersoner, framställa instruktionsfilmen och låta testpersonerna göra ett grundligt användartest. Användartestet följdes senare upp med en kvalitativ enkät för testpersonerna att svara på.
Resultatet av arbetet är att den instruktionsfilm som framställdes fullgjorde sitt syfte. Samtliga testpersoner framställde varsitt musikstycke på ett fullgott sätt och behövde enbart begränsad ledning om utebliven information som för undertecknad var underförstådd.
Slutenkäten som besvarades av testpersonerna efter användartestet påvisar att information ska, i så stor utsträckning som möjligt, inte antas som underförstådd. Åtminstone inte när det handlar om information som är direkt nödvändig för att en uppgift överhuvudtaget ska kunna utföras. Enkäten påvisade också att
instruktionsfilmen ansågs, för en av testpersonerna, vara för lång. Det framhäver vikten av ett välformulerat manus och realtidsinstruktioner utan utsvävningar eller alltför långa utläggningar om hur alla funktioner fungerar.
Testresultaten, såväl som svaren i enkäten, visar att detta sätt att skapa musik är ett nytänkande och ett
intressant sätt för en inte helt bevandrad person inom vare sig musikproduktion eller videoredigering att kunna skapa musik och få en
musikvideo som en biprodukt.
Figur 8 visar en bildruta från en av de konstruerade musikstyckenas korrelerande film. Det musikstycke som spelas i just den figuren är ledmotivet till TV-serien Game of Thrones. Den övre sekvensen spelar högerhandens melodiska noter i
Figur 10) Bildruta från ett av de konstruerade musikstyckena från användartesten.
arrangemanget, och i den nedre sekvensen spelas vänsterhandens basnoter i arrangemanget.
För att återkoppla till, och besvara forskningsfrågan; kan en instruktionsfilm utformas och simplifieras till den punkt där vilken person som helst med avsedd utrustning kan skapa musik med dess assistans? Så som instruktionsfilmen framställdes och med resultaten att döma får den frågan ett jakande svar.
7. Diskussion
7.1 Teoretiskt ramverk
Att sätta upp ett teoretiskt ramverk för ett arbete av en karaktär som denna är utmanande då det är ett ganska brett område men samtidigt ett område som inte forskats om alltför mycket. Principer kring samspel mellan ljud och bild, samt hur man ska använda rörlig grafik och informationsgrafik på bästa sätt håller sig lyckligtvis konsekvent över flera medium. Nästan samtliga teorier har blivit publicerade i vetenskapliga tidsskrifter såväl som böcker. Publiceringarna är gjorda av forskare inom såväl kognitiv vetenskap som grafisk design, så det fanns ingen anledning att misstro någon av de teorierna.
Den mest direkt relevanta teorin kom dock ifrån en YouTube-video från en kanal som specialiserat sig på området med realtidsinstruktioner (innehållande både verbal och visuell kommunikation) inom 3D-modellering. Det skulle visa sig att den kanalen, eller upphovsmannen bakom den, inte enbart hade testat sig fram om vad som fungerar vad gäller narrativ, presentation och dylikt. Teorin som presenterades, och som sades vara den som kanalens narrativ och principer vilade på, var högst relevant för detta arbete. Även om teorin i sig inte var publicerad av en forskare inom tidigare nämnda ämnen, samt hade blivit något förenklad för att lämpa sig i en kortfattad Youtube-video, var den ett väldigt gott komplement till övriga teorier för att kunna binda samman dem.
7.2 Metod
Flera delar av arbetet påverkades av den rådande pandemin och covid-19-viruset. Tillgång till materiell som hade planerats att användas blev dessvärre förhindrad, och huruvida det skulle bli så eller ej dröjde flera veckor att få svar på. Detta( medförde att arbetets början fördröjdes lika länge och att arbetet i sig fick skalas ned. Då fysiska möten samtidigt var tvunget att hållas till ett minimum
omplanerades arbetet så att testpersonerna inte skulle behöva spela in eget material. Det enda fysiska mötet skedde i samband med användartestet, och den enda som bistod med material till testerna var undertecknad själv.
Både användartestet och enkäten som följde gav nyttiga insikter om vad en leverabel av detta slag, en informationsfilm med realtidsinstruktioner, behövde för att hålla en god kvalitet. Utfallet av användartestet, och dess
observatörsanteckningar,samt enkätsvar, var till stor del liknande varandra. I sin helhet var samtliga tillfreds med såväl instruktionsfilmen som deras eget resultat, vilket var betryggande. Likaså gällde även de delar som hade vissa
tillkortakommanden. Instruktionsfilmen, om än informationsrik, ånsågs aningen för lång men tydligast var brist på en viktig del av information. Detta är något som senare kan revideras i vidare arbete.
7.3 Värdering och analys
Värderingen, och analysen för denna, var angenämt lättarbetad till stor del, då resultaten från användartesterna är väldigt tydliga. Det möjliga utfallet av de individuella användartesterna tillsammans, enligt hur testerna var upplagda, var i det närmaste binärt. Antingen så fungerade det eller så fungerade det inte. Mer konkret; antingen blev resultatet av varje enskild testpersons test ett
musikstycke liknande det som densamme ämnade att skapa, eller så blev det inte det. Nu blev det ett lyckat resultat i samtliga fall, och i den efterföljande enkäten så lovordade samtliga testpersoner arbetet. Samtidigt var alla tydliga i sin
konstruktiva kritik om tillkortakommanden.
7.4 Vidare arbete
Ett vidare arbete innefattar bland annat att göra något som planerades att göra innan arbetets början. Det vill säga, att testa gränserna för vilken musik man kan skapa med denna form av musikskapande. Exempelvis testa hur komplexa melodier man kan göra, eller se hur många olika instrument instruktionsfilmen skulle kunna behandla.
En annan ambition, som dessvärre blev tvingad att åsidosättas, var att ge personer möjligheten att kunna spela in och arbeta med helt eget inspelat material inför användartestet, istället för att bistå med förberett råmaterial.
Referenslista
RedBull.com. (2019). The history of FL Studio and Ableton Live in 7 songs. Red Bull.
https://www.redbull.com/int-en/history-of-fruity-loops-in-seven-songs [2020-06-11]
TechCrunch.com. (2011). iMovie And Garageband For iOS Announced. TechCrunch.
https://techcrunch.com/2011/03/02/imovie-and-garageband-for-ipad-announced/
[2020-05-16]
Forbes.com. (2011). Why Independent Musicians Are Becoming The Future Of The Music Industry. Melissa Daniels, Forbes.
https://www.forbes.com/sites/melissamdaniels/2019/07/10/for-independent-musicians-goingyour-own-way-is-finally-starting-to-pay-off/#35c267b714f2
[2020-05-16]
Forsberg, Jennie. (2013). Konkretisera mera. Institutionen för medier och kommunikation. Lunds Universitet.
Sigrell, Anders. (2008). Retorikens etik – och progymnasmata. I: Texter om svenska med didaktisk inriktning. Femte nationella konferensen i svenska med didaktisk inriktning. Maria Lindgren et al (red.). Växjö University Press. Växjö.
Zetterlund, Joakim. (1997). Teknikinformation, en outnyttjad konkurrensfördel. Liber ekonomi.
Tufte, Edward R. (1990). Envisioning information. Cheshire: Graphics Press.
Barnes, S. R. (2016). Studies in the Efficacy of Motion Graphics: The Effects of Complex Animation on the Exposition Offered by Motion Graphics. Animation-An
Interdisciplinary Journal, 11(2) ss. 146-168. DOI: 10.1177/1746847716637823 Yang, C., Jen, C., Chang,C. Yeh, TK., (2018). Comparison of Animation and Staticpicture based Instruction : Effects on Performance and Cognitive Load for Learning Genetics, Journal of Educational Technology & Society, 21(4), ss. 1-11. https://eds-aebscohost-
com.e.bibl.liu.se/eds/detail/detail?vid=2&sid=a0e8b9f6-b707-44dd-9a3d-
a7618a22ad2c%40pdc-vsessmgr01&bdata=JkF1dGhUeXBlPWlwLHVpZCZsYW5nPXN2JnNpdGU9ZWRzLWx
pdmUmc2NvcGU9c2l0ZQ%3d %3d#AN=edsjsr.26511533&db=edsjsr [17-03-2020]
Kühl, T., Navratil, S. D. and Münzer, S. (2018) Animations and static pictures: The influence of prompting and time of testing. Learning and instruction, 58 ss. 201-209.
Clark, Ruth. C & Mayer, Richard. E. (2016). E-learning and the science of instruction, proven guidelines for consumers and designers of multimedia learning. 4. uppl., New Jersey: John Wiley & Sons Inc.
https://ebookcentral.proquest.com/lib/linkoping-ebooks/reader.action?docID=4418752
YouTube.com. (2017). How to make a GREAT Tutorial. Blender Guru, YouTube.
https://www.youtube.com/watch?v=o6o_6R2lbE4 [2020-05-20]
Weissman, Jerry, (2008). Presenting to Win: The art of telling your story. New Jersey: Pearson FT Press.
Bilaga A
En simpel förstudie för att säkerställa intresse hos en liten samling av möjliga testpersoner att arbeta med och undersöka deras tidigare erfarenheter.
Hur erfaren / skicklig skulle du kalla dig på att spela piano?
Person X: Kan läsa noter. Person Y: Kan några melodier. Person Z: Kan ett par melodier.
Hur erfaren / skicklig skulle du kalla dig på att klippa film?
Person X: Har grundläggande erfarenhet. Person Y: Har grundläggande erfarenhet. Person Z: Har grundläggande erfarenhet.
Om jag säger att det kan ta mellan en halvtimma eller 45 minuter i total tid att skapa ett kortare musikstycke och få en musikvideo på köpet, skulle du vilja skapa ett?
Person X: Ja. Person Y. Ja. Person Z. Ja.
Skulle ni tänka er att undanvara ungefär 60 minuter av er tid, för att vara med i min fallstudie, och få en ”workshop” i filmklippning på köpet?
Person X: Ja. Person Y: Ja. Person Z: Ja.
Bilaga B
Manus
INTRO
Some eight years ago, I made quite a unique project in high school. I blended video creating and music composing as an experiment to see if it was in anyway usable or if it would even work.
I spent hours of writing down notes from a note sheet or a piano roll, making sure that each note was not written down more than once, hence making a list of every unique note played in the song. After that I spent some time playing each note in front of a camera, playing the entire list of notes and telling the camera out loud which note I was going to play. Then, I painstakingly placed each and every note, in the right order and pace, in a video editing software –constructing a song note for note.
To my amazement, it worked out a lot better than I thought. So good in fact that I decided to take on an entire band ensemble. It technically worked, but it didn’t sound as good as I hoped. No time was spent setting up the instruments properly or to make sure the sound capture was decent. No external microphone was used, and the humming of the video camera (due to it being a camera that recorded to tape) was quite disturbing. And the video editing process: very inefficient.
Now, eight years later, and thousands of hours in various video editing softwares later, I kept thinking back to that particular high school project. I thought to myself; how would it turn out if I did this again? A lot of new revelations have passed and I kept thinking about things I would do differently or more efficiently. Now that the opportunity emerged to test and develop this kind of content creation and at the same time be given the chance to show and teach this to others; I lunged at it. So let’s get started right away.
PART 1 –RATIONALE
There are four vital components needed to make a project such as this. An instrument. A camera (preferably with a good external microphone) and a video editing software supporting at least two simultaneous video tracks. And of course, a song to play.
To guide you through this process, I’m going to use; a piano, a simple smart-phone camera with an external microphone. And Adobe Premiere Pro to edit this
together. And, when choosing a song, I am not going to choose anything complex or anything that requires interpreting a note sheet. I am going to choose a song that has a piano roll readily available, and only show a small portion of it.
PART 2 –SET-UP
There are many ways to go about the camera and instrument set-up. I am going to set the camera up on a tri-pod and face the piano and me towards it. But bear in mind, any set-up will do. When playing and editing the song together, it will almost give the resulting video the impression of it being stop-motion edited. To show how this is done step-by-step, I will play and construct the first part of the renowned theme song to a couple of my childhood heroes. Wallace & Gromit.
PART 3 –CONSTRUCTION BEGINS
A piano roll for this tune is available on YouTube thanks to the absolute legends at the channel Sheet Music Boss. Looking at this chart, you can see that not that many different notes are played, which makes this process easier. Looking at the piano’s typical scale it’s usually described like this: C-D-E-F-G-A-B, and the black keys being C#,D#,F#,G#,A# or Db, Eb, Gb, Ab, Bb. And if any notes are spanning over different octaves, they are separated by numbers. “Blong, Bling”. Also, in the piano roll, note how what the right and left hand are supposed to play is
conveniently separated by color. We will also separate what the left and right hand are playing individually.
So, let’s identify and write all the unique notes down. Right hand: Left hand:
C1 F -1 A#0 A -1, C0 A0 C -1 G0 E -1, G -1 D1 G -2 E1 G -1 F1 A# -1 D -1, G -1 E -1 G -1, C0
Now that we know exactly which notes we need to play. Let’s head over to the piano.
When recording, it is imperative that the sound capture is decent, so in the direct vicinity of the piano, I place a carefully tuned microphone. I set up the camera. And I check every note off as I play them. Also, before I play the note, I speak it out loud. This will make it a lot easier to organize the notes in the project later. This part should not take much time as long as the list is short and bereft of duplicates.
PART 5 –EDITING
And now for the final part that I reckon will take the most amount of time, but also will be the most rewarding. Editing all of this together.
I previously mentioned how an editing software supporting two or more video tracks is essential, but I didn’t elaborate on why. But I will now. The piano roll I used as a reference of what I was going to play; that will come into use once more. The piano roll will serve as a base for the timing of how the notes are supposed to be placed and spliced. I will just get started and take you through it step by step. Bear in mind that this tutorial will make use of Adobe Premiere Pro’s interface, but other softwares, such as Final Cut or Sony Vegas will use the same principles and shouldn’t be too different or difficult to replicate the same end result in. Also, beforehand I have synced and replaced the camera audio with the audio from the external microphone. There are plenty of tutorials on how to do this, so I am going to skip that bit. But, I will say this, I use a program called PluralEyes. In just a few short moments, the program can sync the footage for you. Now, onwards. I have created a blank project matching the setting of my footage with frame dimensions and frames-per-second. I have also imported the piano roll footage right here. In Premiere Pro, if you double-click the video in the project browser, it shows up in a pre-edit window. Here, a clip can be previewed and narrowed down to a specific start- and end-point before placing it in the editing timeline below. I will narrow the piano roll footage down to only span the notes that are going to be placed and played. Then, I will drag that footage down to the timeline and place it above the bottom layer, preferably two layers up, in Video 3. The audio track from the piano roll footage is not necessary to keep in the timeline at all, so I will unlink the audio from the video and remove it completely.
Next, we need to separate the notes we played and recorded into individual small snippets we can place in the timeline. I will create a new sequence and import my recorded and synced footage. I will place it straight into the editing timeline and then… I will listen to myself in the clip stating which note I play. As you heard, that was the C1. I’ll wind that back. *rewind sound* and I’ll step forward one frame at the time until I hear the note being struck. *Step, step, step, step* Okay, right there. I’ll set the start-point, and play the note for a bit. Okay, that’s enough. The
end-point being correct at this stage is not necessary, because the end-point can easily be adjusted afterwards. We will mark this clip with the same name as the note, and put in the browser for later. In Premiere Pro, you do it by simply dragging it to the Project Browser. We will do this for each and every note until we have marked, named and stored every single one. *Fast forward* Now that that is done, we can start constructing the song.
Let’s re-open the first sequence. We will pay a small bit of attention to the clip with the piano roll again. Select the clip in the timeline, open the effect controls and lower the opacity to 50%. In that way, we can place video clips in the layers underneath it and it will be seen through the top layer. To start constructing, I will align the timeline indicator to the first frame where the first note lights up. Now, I will just take the note labelled the same as the one that lights up. In this case, it’s C1. I’ll grab it and snap the note into place. Let’s just listen to how that sounds. *Rewind. Ding.* Perfect, let’s call it done! “Sweet child of mine/credits” No, just kidding, we’re just getting started. But this is about it. Just make sure to match the end-point to each note’s in the piano roll or to the beginning of the next stricken note. Sometimes notes might overlap. Place them in a layer above the note that is already playing, but still under the piano roll. Repeat this process for the entire note string… *fast-forward* -and you got yourself a melody! *Play the melody* Also, during the sequence, many notes are repeated or close to each other. A clip can be copied and pasted just like you would with text. Utilize this, and the editing becomes much more efficient.
Now, create a new, second sequence with the same properties as the others and repeat the process for every note played by the other hand. *Fast-forward* Note how a lot of the notes are played in a repeated pattern. Utilize copying and pasting for the first accurately played notes in the pattern, and this should be quick. *Fast-forward*.
In a third and final sequence; place the two previous sequences in it. Align and match the sequences. And now… let’s see how it sounds. *Play all* I consider that a great success.
[OANVÄNT MANUS]
PART 6 -USER TESTS
What you have just seen was shown to a few other people. They got to pick and choose from a varying assortment of songs that they might want to construct. To make it as efficient as possible, all of the notes had already been written down and
were all ready to be played from the start. It was all recorded. And then, I left them to it. This, is how it turned out.
*SONGS*
So, there we have it! Producing music like this opens up a window to produce (or construct) music if you know your way in an editing software. But how big is this window exactly. We have seen some basic examples of what you can do using this technique of music production. However, I want to delve a bit deeper. I want to see; are there limits to what can be constructed? While having a bit of fun, which is something you have to in a project with several monotonous processes, I took it upon myself to challenge the limits, and find out…
