Designa för interaktion

Jag började med att fundera på design av interaktion (s. 9). På något sätt skulle människor kunna kommunicera och ge impulser till ett datorsystem. Och på något sätt behövde jag som kompositör finna sätt att beskriva hur jag ville att den interaktionen skulle vara designad.

På Dramatiska institutet hade jag 1997, med Dan O’Sullivan,175 från Inter Telecommunication Program (ITP) på Tisch School of Art på New York:s universitet som lärare, gjort mina första erfarenheter av att designa fysisk datormedierad interaktion för installationer utifrån sensorer kopplade till en

BasicStamp mikrodator.176 Den var så liten och enkel att den kunde byggas in i saker och kläder, drivas med batteri och användas för att göra inter- aktiva mobila skisser och prototyper. Den positiva erfarenheten av detta be- rodde på att jag upptäckte en för mig helt ny värld. Jag hade tidigare tänkt på gränssnitt mellan datorer och människor som verktyg, eller instrument. Nu fanns fler och andra möjligheter. Jag vidgade min syn på gränssnitt som verktyg genom att jag fick möjlighet att utforska en rad olika analoga och

175

O'Sullivan 2004

176

digitala, sensorer som kunde ta in information från rörelser, förändringar i ljus, ljud, temperatur, etc. I tillägg till att ta in värden kunde mikrodatorn kontrollera och skapa ljus, ljud, värme, rörelse med motorer, etc. Man kan säga att jag blev introducerad till datorn som en kroppsligt närvarande och personlig aktör. I många fall suddades gränsen i gränssnittet ut mellan min egen kropp, miljön, ljudlandskapet, scenografin och maskinen vilket ska- pade andra möjligheter, design-, spel- och upplevelsemässigt, än ett ratio- nellt verktygsperspektiv.

Dessa erfarenheter tog jag med mig till Malmö där jag satte upp ett arbets- bord för att kunna fortsätta experimentera med fysisk interaktion, mikro- datorer, sensorer och ljudrespons. Jag undersökte tillsammans med några studenter på programmet i interaktionsdesign möjligheterna att bygga app- likationer för fysisk audiotaktil interaktion. Deras mål var att komma bort från användningen av datortangentbord, skärm och mus. De ville snarare bygga in datorer i objekt och miljöer så att datorn blev osynlig.177 Detta som inom interaktionsdesign idag är vedertaget var fortfarande i sin linda när jag kom till K3 på Malmö högskola. Det är lätt att glömma hur fort utveck- lingen har gått. Då var fokus fortfarande på stationära datorer och grafiska gränssnitt. Inte på estetisk upplevelse av ljud och interaktion med fysiska objekt. Gör-det-själv experimentplattformar som Arduino för hårdvara och

Processing för web grafik och ljud var inte påtänkta.178 Dessa har sedan dess spridit kunskap och färdigheter i att designa interaktion utanför tek- niska gemenskaper och därigenom möjliggjort estetiskt och upplevelse- mässigt nytänkade. Viktiga forskningsgemenskaper hade ännu inte mobili- serat sina krafter inom fysiska och musikaliska gränssnitt, taktil interaktionsdesign och mobila datorer.179 Jag var intresserad av att prova kopplingen mellan musik och interaktion i det fysiska rummet och gjorde enkla skisser 1998-1999.

Bland annat provade jag att i en skiss göra så att man kunde interagera och spela ljud genom att ta på bladen på 6 stycken palmväxter i Berättarstudion. När man tog på bladen utlöste det en tilt-sensor, som när man stötte till bla-

177

Weiser 1991

178

Arduino utvecklades 2005 http://www.arduino.cc, Banzi 2009, Processing utvecklades 2001 http://www.processing.org, hämtade 10 aug 2011

179

kollegorna Birgitta Cappelen och Ylva Gislén från Berättarstudion deltog tillsammans med mig på den första konferensen för Handheld and Ubiquitous

Computing (HUC) i Karlsruhe 1999. Det första mötet i New Interfaces for Musical Expression (NIME), en gemenskap av musiker som designade innovativa

ljudgränssnitt ägde rum 2001, http://www.nime.org. Första konferensen inom

Tangible and Embedded Interaction (TEI) hölls 2007, http://www.tei-conf.org

det, skickade en signal till en mikrodator med midi-koppling och vidare till en synt som spelade upp ljudet. De olika bladen hade olika tonhöjd. Ton- höjden för alla växterna varierade med dagsljuset över dagen och sjönk med avtagande ljus. Det jag fann var att människor började uppleva växterna som en slags deltagare eller aktörer i rummet. Detta kan ha berott på att växternas kroppslighet kombinerat med att de gav ifrån sig ljud när de blev berörda. Och detta fastän responsen i huvudsak var stimulus-responsbase- rad, i den meningen att samma rörelse alltid gav samma svar. Skissen var på detta sätt begränsad genom att förhålla sig till i huvudsak rummet och repe- tition, istället för mer varierade och rytmiska svar över tid.

Jag frågade mig hur jag skulle kunna använda musikens rytmiska och tids-

baserade möjligheter för att motivera till interaktion? Jag valde att prova på

rytmisk interaktion från dans där man interagerar genom att röra fötterna över ett golv av något slag. Men hur skulle jag kunna prova detta i en miljö som var lämplig? Jag tog hjälp av studenterna på interaktionsdesignpro- grammet med att göra tester med skisser och prototyper för rytmisk inter- aktion över kartongbitar. I samma tidsperiod formades Berättarstudions grupp och vi förde breda diskussioner om narrativa strukturer för berättande genom interaktion. Ur de diskussionerna valde industridesigner och inter- aktionsdesigner Birgitta Cappelen och jag att prova våra idéer om rytmisk interaktion i praktiken. Vi hade bägge erfarenheter av att bygga gränssnitt med sensorer från Dramatiska institutets kurser i physical computing. Cappelens och mina diskussioner ledde sedan till Moving Paths skissen (s. 26). Det vi sökte efter i skissen var att undersöka en miljö med multimedial kommunikation som utsträckte sig i såväl rum som tid. Vi fann några första ledtrådar till kompositionstekniker och hur det skulle kunna fungera i bruk i en sådan miljö. Men gick det att designa interaktion som förändrade sig över tid och var så flexibel att det fungerade i flera situationer? Gick det att se interaktion som ett material180 med möjligheter att ge fysisk audiotaktil

respons, som kunde minnas och förändra sig över tid?

Jag frågade mig vad ett sådant tankesätt om interaktion som ett material som kunde ge respons, minnas och förändra sig fick för konsekvenser för designen av systemet. Hur skulle systemet vara uppbyggt för att kunna an- passa svaren efter om människor som upplevde interaktionen lyssnade eller utforskade gränssnittet på jakt efter bekräftelse, komponerade i enskilldhet, eller om de var flera som samarbetade?