Interaktiva skisser – Moving Paths

Mina utforskningar och experiment har resulterat i flera praktiskt funge- rande skisser i form av interaktiva taktila, fysiska och audiovisuella installa- tioner som jag och andra kunde undersöka, uppleva och reflektera över. Jag använder genomgående termerna skiss, installation och prototyp för att be- skriva olika nivåer, aspeketer och perspektiv på IM.

Till skillnad från analyser av andras arbeten har skissande som metod den fördelen att det ger möjligheter att prova idéer och utforska hypoteser ge- nom att skapa egna klingande och interaktiva skisser. Det är en fördel att kunna gå runt i skissen och interagera med objekt som ger klingande re- spons eftersom man då på ett konkret sätt kan föreställa sig och göra tolk- ningar genom direkta audiovisuella och taktila upplevelser i situationen. Som kompositör kan man ändra och justera musiken och hur programmet svarar på interaktion i skissen efter de erfarenheter man gör på ett sätt som inte är möjligt att göra med en färdig musikinspelning. Samtidigt som skis- sen är konkret så har den också till skillnad från verket en ofärdighets- och tillfällighetskaraktär. Den är ett försök och befinner sig i ett rum i arbets- processen som håller många möjligheter öppna. Skissen som presentations- form är öppen för att den skapar förväntningar om att vara en av många möjliga framställningar och perspektiv till skillnad från ett slutgiltigt resul- tat. På liknande sätt fungerar ordet installation som ett öppet begrepp inom konsttraditioner sedan 1950-talet.49 Installationskonst är ofta fysisk och rumslig men för övrigt öppen för val av material, medieringar, tolkningar och föreställningar.

Jag använder både skiss och installation för att beskriva kompositionstekni- ker och deras estetiska upplevelsekvaliteter, först och främst för mig själv och mina kollegor i en designfas.

Relaterat till skiss är den inom teknik och design vanligt förekommande termen prototyp. Exempelvis så som den används av interaktionsdesigner Jonas Löwgren.50 En prototyp beskriver ett koncept, en idé, utifrån dess tek- niska funktion och konstruktion. En prototyp kan finnas i olika versioner som har som mål att, i olika skeden i en idés utveckling, sannolikgöra att idén går att realisera. Från ”proof of concept” för att sälja in idén, till en serie av alfa- och betaversioner som testas av professionella och en inter- aktionsmässigt fungerande version som man ofta har som ambition att testa

49

Reiss 1999

50

med användare. Fokus ligger på den tekniska infrastruktur som är nödvän- dig för att realisera konceptet. Mindre tyngd lägger man vanligtvis på pro- totypens upplevelsemässiga, sociala och estetiska dimensioner. Liksom man brukar skilja på skiss och färdigt verk skiljer man på prototyp och produkt. Den senare kräver marknadsanalyser, där kravet är att produkten har ett värde på en marknad där kunder är beredda att betala pengar för att få pro- dukten. Varken skissande, installation eller prototyp har kravet att passa in på en marknad.

Jag använder ordet prototyp för att beskriva den tekniska infrastrukturen och funktionen i IM. Jag kombinerar prototypens tekniska beskrivning med skissandets upplevelse av klingande och konkreta kvaliteter i kompositions- situationen och installationens rumsliga, öppna kvaliteter i en situation. En sådan installation var Moving Paths51 som Cappelen, jag och en grupp andra doktorander utvecklade under en veckas forskarskola på Centrum för användarorienterad it design (CID) på Kungl. tekniska högskolan (KTH).52 Att den var taktil betyder att den gick att ta på och interagera fysiskt med. Att den var fysisk betyder att den var utbredd i rummet. Detta var förutsätt- ningar för att jag skulle kunna utforska interaktiva och taktila egenskaper i kombination med musikaliska kompositionstekniker. Att den var audio-

visuell och interaktiv (s. 9) betydde att man genom att interagera med ett

gränssnitt kopplat till en dator kunde förändra musik och video och på så sätt själv bidra till att variera det audiovisuella uttrycket över tid. Att den var interaktiv, audiovisuell och taktil var viktigt för att få ett komplext, mångtydigt, multimedialt uttryck (grafik, film, musik, skulptur) som kunde motivera andra människor att interagera, skapa och uppleva.

Det vi ville skissa i Moving Paths var ett fysiskt rum där flera människor samtidigt motiverades att interagera genom att skapa musik och rörlig bild. För att prova vad som kunde motivera till interaktion använde vi enkla be- rättartekniker med regler ur leken sten, sax och påse, där stenen vann över saxen, som vann över påsen, som vann över stenen. Utifrån dessa regler skapade Cappelen och John Bowers på KTH ett datorprogram för en situa- tion där tre personer kunde förhandla fram nästa filmklipp. Cappelen desig- nade också tre fysiska, kroppsstora objekt som vart och ett kunde represen- tera sax, papper och påse och som man använde för att förhandla filmklipp. Personerna kunde rulla en stor trumma, böja en stav och dra i en spak. För- handlingen som uppstod när flera personer interagerade med objekten uti-

51

Andersson & Cappelen 2000 s. 162-167

52

HMI-forskarskolan 1999 som leddes av Yngve Sundblad på CID som åren 1995- 2005 satte igång forskning och utbildning på kors av teknologi, konst, design, film och musik, mellan Dramatiska institutet, Kungl. musikhögskolan, Grafiska institutet, Konstfack, KTH, m.fl., http://cid.nada.kth.se/ hämtad 12 mars 2012

från reglerna för sten, sax och påse bestämde sedan hur programmet skulle skapa musik och rörliga bilder. Vi lät musiken ge direktrespons på varje interaktion. Vi gav varje fysiskt objekt en individuell röst med möjlighet att förändra parametrarna tonhöjd, amplitud och klang för varje röst dynamiskt med interaktionen. Bowers komponerade och programmerade tre ljudsyn- tesobjekt så att de påverkades av interaktionen.53 Gradvis ökande aktivitet gav exempelvis ett objekt gradvis högre amplitud och tonhöjd.

Vi projicerade en interaktiv film på en av väggarna så att alla kunde se. Filmen var interaktiv genom att vara klippt i små korta filmklipp som pro- grammet sammanfogade allteftersom någon interagerade, med utgångs- punkt i reglerna för sten, sax och påse. Filmklippen bestod av korta 15-20 sekunders långa scener, eller avslutade berättelser, som var samplade ur dramatiska och komiska långfilmer.54 Cappelen och jag klippte berättel- serna så att de hade en handling som ledde mot en peripeti, eller höjdpunkt och en point-of-no-return, varefter handlingen hade ett givet utfall. Till skillnad från musiken som gav direktrespons på individuella interaktioner ville vi att valet av filmklipp skulle baseras på den gemensamma samman- lagda interaktionen över tid. Detta valde vi att tolka så att val av det kom- mande filmklippet förhandlades fram under senare delen av det filmklipp som just spelade. Programmet valde ett nästa filmklipp med våldsammare eller lugnare händelseutveckling beroende på hur våldsamt eller lugnt per- sonerna interagerade med objekten. På så sätt blev de medskapare i en kol- lektivt framförhandlad andra berättelse där deras interaktion kunde påverka intensiteten i filmens händelseutveckling i nästa och nästa klipp.

En viktig erfarenhet av försöket Moving Paths var att det på en veckas tid gick att designa en fungerande interaktiv, audiovisuell och taktil installation som var en skiss. Frågan var om skissen kunde fungera som utgångspunkt för fortsatta diskussioner, skapande och reflektion? Publiken som bestod av andra doktorander och forskare motiverades att interagera av de stora fy- siska objekten, och av att se andra använda dem för att göra egna historer utifrån filmens fördesignade historier. Att många motiverades av att passivt och på avstånd se på när andra interagerade var en överraskande iakktagelse och bruk av filmerna.

Vidare gjorde vi positiva erfarenheter av att de som interagerade med de fy- siska objekten både var motiverade av att kunna skapa individuellt och ge- mensamt. De som interagerade individuellt var intresserade av den direkta ljudresponsen, taktiliteten i gränsnittet och att lyckas få till byten mellan

53

John Bowers, senare på Central Saint Martins University of the Arts i London, programmerade i Max/Msp, http://www.cycling74.com hämtad 12 mars 2012

54

Vi klippte och använde scener ur filmerna Les Vacances de Monsieur Hulot av Tati 1953 och Pulp Fiction av Tarantino 1999

filmklipp. De som skapade gemensamt var mest intresserade av varandra och de bilder och ljud som knöt samman deras handlingar. Denna dubbel- het, att det inte bara går, men också är motiverande att interagera både på egen hand och med andra samtidigt, gjorde att vi blev uppmärksamma på spelet mellan individuell och kollektiv respons. Tillsammans skapade de en kollektiv andra berättelse, genom att förhandla bland de scener och berättel- ser ur filmerna som redan fanns i varje filmklipp. Detta kombinerat med musiken som kom till genom deras individuella interaktioner. Deras andra berättelse, som systemet satte samman av filmklipp och musik, tillkom därmed i interaktionssituationen som en följd av deras sammanräknade kollektiva aktivitet och skiljde sig från den första berättelsen i filmerna. Samtidigt var det många som upplevde att de blev påverkade av filmklip- pens första narrativa struktur. Inte minst så att många personer synkronise- rade sina aktiviteter med filmklippens narrativa rytm och utveckling över tid. Det skedde ofta genom att personer som interagerade med fokus på det gemensamma ofta ökade aktiviteten som nådde en topp, strax efter peripetin i filmklippets narrativa struktur, före slutet av filmklippet. Utifrån dessa er- farenheter skaffade vi oss kunskaper om hur man kunde klippa varje enskilt filmklipp för att få sekvenser som verkade motivera de som interagerade. Cappelen som arbetade mest med detta fann att det skedde genom att se- kvenserna både hade ett inbyggt narrativ i varje klipp som verkade motivera de som interagerade och samtidigt kunde ingå i längre dynamiskt genere- rade sekvenser av flera filmklipp vilket motiverade på längre sikt genom att skapa variation över tid. Vi fann genom att klippa filmen och prova det praktiskt i skissen att vi kunde använda traditionella linjära musikkompo- sitionstekniker och kontinuerliga filmklippningstekniker55 för att motivera till interaktion. Exempelvis fungerade beprövade klipptekniker som shot-

reversed-shot för att leda också uppmärksamheten hos en som interagerade,

från en persons perspektiv till en annans. Vidare fungerade klippning till svartruta och till rörelser också interaktivt där personer dynamiskt satte samman olika filmklipp. Detta gällde både i de fall där personer interage- rade individuellt och många samtidigt. Det gällde också för olika interak- tionstyper som för någon som interagerade aktivt och för en annan som stod och såg på.

Inspirerade av detta arbete med den rörliga bilden drog jag också slutsatsen att det fanns stora möjligheter att utveckla kompositionen av kontinuitet i musiken. Den musik vi använde i Moving Paths var stimulus-responsbase- rad i den meningen att den alltid gav samma svar på en typ av handling. Om man exempelvis drog i spaken med en viss hastighet lät det likadant varje gång. Detta begränsade kompositörens insats till bli instrumentbyggare (s. 12). Utvecklingsmöjligheterna, som jag såg det, låg i att komplettera denna

55

enkla stimulus-responskoppling mellan handling och ljudrespons med att experimentera med musikaliska variationsprinciper.56 Det vill säga hur musikaliska och narrativa strukturer kunde variera musikresponsen och skapa musikalisk kontinuitet över tid. Detta för att undersöka om och i så fall hur musikalisk variation kunde motivera till interaktioner, på liknande sätt som filmklippens variation från lugnt till våldsamt. Denna, om man så vill, musikaliskt tillfredsställande variationens möjligheter inom IM, intres- serade mig och jag ville utforska hur det kunde vara motiverande för andra som interagerade.

Det viktigaste var kanske inte resultaten i installationen utan att jag fått er- farenhet av experimentellt och utforskande arbete med praktiskt skissande och komponerande av IM, interaktiv filmredigering och interaktionsdesign. Viktigt var också för mig att se att detta var en lyckad metod för mig att ut- forska mina frågor. Vi hade på bara en veckas tid lyckats sätta upp fråge- ställningar och skapa en konkret fungerande interaktiv och ljudande installation. Vi hade fått svar på hur man kan skapa en interaktiv audiotaktil och visuell installation där flera personer motiverades att interagera till- sammans. Svaren skapade egentligen bara fler frågor. Emellertid fungerade skissandet och det praktiska designandet i den meningen att det gav svar som jag inte hade kunnat komma fram till vid skrivbordet med uteslutande analytiska metoder.