Det finns en mängd olika digitala instrument och system som presenterar en auditiv företeelse visuellt. De vi undersökt närmare är det ljudmässiga analysverktyget spektrogrammet, visualiseringsapplikationen Lumisonic samt Paola Faoros grafiska notationssystem – alla tre samtida systematiserade verktyg.
6.2.1 Spektrogram
Ett spektrogram åskådliggör ett mönster av frekvenser och intensiteter som förändrar den akustiska signalen över tid (Goldstein 2007: 288). Frekvensen visas längs med den vertikala axeln medan tidsförloppet visas längs med den horisontella axeln (http://cslu.cse.ogi.edu). Intensiteten indikeras genom svärta, där mer svärta innebär högre intensitet. De vertikala linjerna i spektrogrammet redovisar
trycksvängningarna i luften som uppstår till följd av vibrationerna från stämbanden (Goldstein 2007: 288).
Goldstein redogör för hur den akustiska signalen påverkas av hur vi använder oss av munnen i vår process att forma bokstäver. Bland annat exemplifierar han genom att belysa skillnaden mellan att forma bokstäverna d och f, där man vid det amerikanska uttalet av d placerar tungan på ovantändernas baksida, medan man placerar underläppen mot de övre framtänderna vid uttalandet av f. (Ibid.). Detta medför väsentliga skillnader i hur luften passerar genom munnen, vilket i sin tur direkt påverkar vilket ljud som uppstår. Dessa och liknande rörelser med tungan, läpparna, tänderna etc. skapar specifika mönster i den akustiska signalen, som man sedan kan fånga upp och analysera genom ett spektrogram.
Ett spektrogram är som tidigare nämnt väldigt omfattande vad gäller att
presentera information, vilket gör det ytterst svårtytt (Grierson 2008: 362). Azar och Abou Saleh (2007: 16) framhåller emellertid att det faktiskt är möjligt att läsa ord direkt från ett spektrogram utefter dess mönster, men betonar också att det är en komplex uppgift som kan liknas vid att lära sig ett nytt språk.
Goldstein belyser en aspekt som ytterligare, i förlängningen, försvårar tolkandet av ett spektrogram som konstruerats genom talspråk. Vissa människor har naturligt en hög ton i rösten medan andra har en låg, vissa talar med dialekt, vissa talar oerhört snabbt medan andra talar extremt långsamt etc. Dessa vida variationer i talet innebär att olika människor har olika uttal, eller ljuduttryck, vilket får till följd att den akustiska signalen för ett specifikt fonem eller ord kan vara helt olika (Goldstein 2007: 290). Detta medför givetvis i sin tur att ett och samma ord kan ta sig helt olika uttryck på ett spektrogram, beroende på vem som uttalar det.
En av talperceptionsforskningens olösta problem har varit just att identifiera en invariant acoustic cue i den akustiska signalen. ”An invariant acoustic cue is a feature of the acoustic signal associated with a particular phoneme that remains constant even when phonemes appear in different contexts or are spoken by different
speakers.” (Goldstein 2007: 291). Eftersom dessa i princip inte är synbara i ett normalt spektrogram, har man arbetat fram nya sätt att analysera den akustiska signalen. Ett av dessa tillvägagångssätt är att genom ett short-term spectrum (Ibid.) visuellt uppvisa den akustiska signalen. Denna skapar en detaljerad bild av
frekvenserna som uppstår inom en mycket kort tidsperiod. Fördelen med detta är att det bidrar till en exakt och detaljerad bild av den akustiska signalen. En sekvens av dessa spektrum kan vidare kombineras för att skapa en running spectral display (Goldstein 2007: 292) som visar hur frekvenserna inom den akustiska signalen förändras över en viss tid.
6.2.2 Lumisonic
6.2.2.1 Kort bakgrund
Inom den experimentella filmen skapades det redan på 1920-talet många ansedda försök till ljud- och musikvisualisering (Grierson 2008: 362). I vissa fall har ljudinformation översatts till situationsbestämda förändringar i en visuell form och struktur, i ett försök att återspegla upplevelsen av ljudet. ”Oskar Fischinger’s silent film Spiralen (Fischinger, 1924) uses a number of concentric and spiral formations in what can be described as an early attempt at producing a visual metaphor for the experience of sound.” (Grierson 2008: 364). Denna visualiseringsmetod uppstod genom idén att olika element av vår ljudupplevelse bör kunna uttryckas visuellt, vilket gör metodansatsen intressant ur ett empiriskt perspektiv. Förhållandet mellan de visuella representationerna av ljudet och det faktiska ljudet, har i filmerna emellertid alltid varit förhållandevis godtyckligt och således inte innehållt någon detaljerad ljudinformation. Visualiseringarna inom den experimentella filmen är alltså inte genomgående logiskt indexerande.
6.2.2.2 Användning och utseende
Lumisonic är en nyutvecklad applikation gemensamt framtagen av Sound and Music, Storbritanniens huvudorganisation för ny musik och ljud, Whitefield Schools and Centre, Europas största specialskola för elever med bland annat sensorisk funktionsnedsättning och inlärningssvårigheter och London Philharmonic Orchestra, en av världens mest erkända orkestrar. Lumisonic är en ljudapplikation som
visualiserar ljud i realtid på ett sätt som tillåter hörselskadade individer att interagera med en specialdesignad och grafisk representation av ljud.
(http://soundandmusic.org)
Applikationens visuella utseende kan beskrivas som ljusa cirklar mot en mörk bakgrund som expanderar, kontraherar och omvandlas på allehanda sätt utefter ljudets egenskaper. Kort förklarat översätter applikationen ljudvågor till cirklar som tar sitt uttryck på en skärm.
Applikationen indikerar förutom volym och ton även ljudkvalitet och texturen på ljudet. När tonen höjs så expanderar cirklarna, medan de kontraherar vid
tonsänkning. Ju större cirkel, desto högre ton. Det är vidare möjligt att tala direkt in i applikationen, så att man i realtid kan se talarens röststruktur- och kvalitet, vilket medför att man, om man exempelvis är hörselskadad, visuellt kan se hur andra människor uppfattar rösten. I en intervju med hörselskadade elever vid Whitefield Schools and Centre bekräftas detta. Bland annat tecknar en flicka: ”I could relate the circles to the vibrations from the loud speakers.” (http://news.bbc.co.uk). Hon
fortsätter: ”Normally when I watch TV I can’t see sound waves, so it’s really interesting – especially as I have a hearing aid to help.” (Ibid.). En annan
hörselskadad elev vid Frank Barnes School i norra London beskriver hur Lumisonic möjliggjorde för henne att relatera till ljud på ett helt annat sätt än vad tidigare varit möjligt (Ibid.).
I en BBC-intervju med Mick Grierson, Lumisonics skapare, framhåller han karaktäristiska aspekter rörande applikationen. Han menar att det enklaste sättet att förklara processen på är att man fångar upp ett ljud och gör en frekvensanalys av detta, liknande ett spektrogram. Han konstaterar vidare att det finns en mängd olika sätt att göra detta på. Den utmärkande skillnaden med Lumisonic är emellertid att man alltid får exakt samma visuella bild, så länge ljudet är detsamma. ”What we wanted to do was to create something that gave you reliable information.” (Ibid.). Vidare liknar Grierson applikationen med en grafisk equalizer som uppvisar ljuds frekvenser, med den avgörande skillnaden att Lumisonic begränsar de visuella uttrycken till vad som anses vara relevant för vardagliga ljud, framförallt ur talsynpunkt. Han talar om barnen vid Frank Barnes School och säger att ”it seems that it gave the kids […] some sort of indication […] of understanding their own soundmaking.” (Ibid.).
Utöver talaspekten kan applikationen tillika användas för att producera musik och ljud. Genom att lära sig diverse specifika gester kan användaren, exempelvis genom en Nintendo Wii-kontroll, förändra visualiseringens utseende ögonblickligt varefter denna konverteras till hörbart ljud (Grierson 2008: 361). Dessa ljud inträffar perceptuellt samtidigt som visualiseringsskiftningarna. Härigenom kan man således omvandla rörelser till visuella tecken, vilka i sin tur ger upphov till
överensstämmande ljud. Detta innebär alltså i förlängningen att människor med hörselskador och dylikt kan både skapa, uppfatta och reagera på ljud som de annars inte skulle haft möjlighet till (http://soundandmusic.org).
Figur 6.7 Fem foton av en Lumisonicvisualisering. 6.2.2.3 Ett förtydligande
Vad Lumisonic gör är att sammanlänka den upplevelsebaserade visuella representationen av ljud, däribland de symboliska och indexerande former man stöter på inom det experimentella filmskapandet, med filtrerad och raffinerad spektrumanalys – för att erhålla en representativ visualisering. Grierson (2008: 363) betonar dock att vissa delar av den spektrala informationen utelämnas för att åstadkomma en inte bara representativ visualisering, utan också en begripbar. Informationen presenteras sedan genom digitala cirklar vilka är icke-linjära ur vetenskaplig synpunkt; de förhåller sig inte till det representerade ljudets verklighet utan är istället anpassade för att mer precist spegla den mänskliga
uppfattningsförmågan och dennes radie av hörbara frekvenser. När cirklarna presenteras på den digitala displayen är de således olikformiga i förhållande till det reella ljudet. Alltså presenterar de inte ljudinformationen på ett korrekt visuellt sätt sett ur ett vetenskapligt perspektiv. Grierson (2008: 364) framhåller emellertid att detta inte på något vis är en nödvändighet, så länge som den visuella
representationen förhåller sig perceptuellt relevant. 6.2.2.4 Valet av cirkelformen
Ända sedan tidigt 1900-tal har man kunnat finna tydliga exempel på att den koncentriska cirkeln är en passande representation av musik och ljud i allmänhet, både inom filmskapande och allehanda animation. Ett exempel på detta är ovan nämnda Spiralen. Dessa och liknande representationer har sedan dess tillika förekommit i olika typer av datorgrafik med syfte att visualisera ljud. Grierson (2008: 364) framhåller emellertid att användandet av den koncentriska cirkeln inte uteslutande är vad som används för dessa syften, dock att ”the iterative tunnel effect which it produces fits with the forms that continually appear in this canon.”
Detta historiska faktum är emellertid inte den enda anledningen till varför man valde cirkelformen. Ytterligare belägg som stödjer detta val återfinns i
neurovetenskapliga studier samt perceptionsstudier (Grierson 2008: 365). Grierson (Ibid.) hänvisar till Bresslof et al. (2001) som konstaterar att ett antal visuella gestaltningsmönster är beständiga oavsett typen av visuell upplevelse där de förekommer på grund av deras matematiska relation med strukturen på vårt syncentrum. Dessa visuella gestaltningsmönster kan delas in i fyra kategorier – tunnlar och kanaler, spiraler, galler samt spindelnät. Den visuella representation som Lumisonic frambringar överensstämmer framförallt med den första kategorin. Grierson (2008: 365) poängterar dock att visualiseringen, beroende på vilket ljud som representeras, kan överensstämma med fler kategorier, även om tunnelkategorin generellt sett är den överlägset mest förekommande.
I ett helt annat sammanhang redogör Azar och Abou Saleh (2007: 3) för olika rapporter som berör ljudvisualisering, bland annat Landay et al. (2003) som undersöker och analyserar de tekniker som döva människor använder sig av för att uppfatta ljud, bland annat genom intervjuer med målgruppen, med syftet att framställa en effektiv metod för ljudvisualisering. Baserat på intervjuerna kunde man konstatera att de viktigaste aspekterna av denna visualisering är att inkludera ljudkällan samt att visuellt uppvisa ljudet som vågor och cirklar (Azar och Abou Saleh 2007: 3).
Således kan man konstatera att det finns en stabil och omfattande grund för valet av cirkelformen. Detta både inom den abstrakta visualiseringen sett till historien, såsom inom den experimentella filmen, men också inom neurovetenskapen samt perceptionsforskningen, vilket i kombination ger tyngd åt valet av
visualiseringsutseende.
6.2.3 Grafisk sångnotation
Den brasilianska musikern och grafiska designern Paola Faoro har utvecklat en notation speciellt för sång. Hon hade som mål att den skulle vara läsbar både för sångarna och för att underlätta förståelsen av musiken för en insatt publik (Noble och Bestley 2005: 128-130). Trots att systemet ämnade underlätta notläsningen för
sångare är det inte meningen att systemet ska kunna förstås utan några förkunskaper – liksom med de flesta system krävs det att man lär sig det innan man kan använda det (Noble och Bestley 2005: 130). Noble och Bestley (2005: 128) noterar att “the project does not attempt to interpret the music in a personal or subjective way, but attempts to find an objective way to notate the sounds, pitch, duration and harmonies of the female acapella composition.” Faoro har inkorporerat aspekter såsom
typografi, färg, form och linje-/rutsystem för att uttrycka de olika aspekterna inom stämsång.
Bilaga 3: En typografisk framställning av sången har fördelen att den visar både text och framföringssätt med samma tecken. Stämmorna kategoriseras genom färg (detta gäller för alla Faoros lösningar). Tonhöjden uttrycks diastematiskt, vilket vill säga att en högre ton placeras högre upp i notsystemet. Systemet rymmer en hel oktav samt fyra toner i oktaven under plus två toner från oktaven över, sammanlagt alltså 14 toner. Dock inräknas också halva toner i systemet vilket rymmer 25 linjer. Styckets takter gestaltas inte med taktstreck utan med nummer.
Bilaga 4: Genom att visa tonens duration med hjälp av linjer tydliggörs musikens struktur och samlade uttryck.
Bilaga 5: De olika stämmorna har fått olika svärta, men också olika storlek på sina markeringar. På ett effektivt sätt skildras skillnaderna mellan när flera stämmor ska sjunga exakt samma ton (då markeringarna är placerade ovanpå varandra) och då de ska framföra marginella skillnader i tonhöjd.
Bilaga 6: Stämmornas noter samlas kring en mittlinje, varifrån de tar ansats uppåt eller nedåt. Då man vid acapellauppträdanden inte har några instrument som kan precisera tonhöjden kan det vara verkningsfullt att på detta sätt tydliggöra tonskillnaden med avstamp i stämgaffelns a. Sångarna har alltså möjlighet att koppla samman den fysiska storleken på tecknet med den tonala avvikelsen från tonen a – ju närmare tonen a, desto minde är tecknet. Ju större tonhoppet är, desto större, eller högre, är symbolen. I detta system visas också tonens duration genom horisontell utbredning.