Examensarbete 15 hp – kandidatnivå Medie- och kommunikationsvetenskap
Läsa ljud
Att formulera en texts auditiva kvaliteter visuellt
Lina Hultberg Mattias Sahlén
Reklam, grafisk design och visuell
Abstract
Authors: Lina Hultberg & Mattias Sahlén
Title: Reading Sound – To Express a Text’s Auditive Qualities Visually Level: BA Thesis in Media and Communication Studies
Location: Linnaeus University Language: Swedish
Number of pages: 55
In printed text, sound is a somewhat forgotten aspect. The recitation of text is vital in areas like poetry and oratory, but still has no distinct technique of being
communicated. Emphasis of a word might be expressed through italics, but no canonic character set or system for vocal delivery of texts exists. With this essay we are creating a foundation for a development of such a character set or system. By studying existing visualisations of sound and comparing these with semiotic and perception-based theories we obtain useful insights for a prospective system for visualisations of vocal sounds.
We conclude that the aspects of sound one wants to visualise must be carefully defined since the viewer cannot process infinite amounts of information. A sound visualisation system does not have to consist of multiple characters or signs to be effective, but had better be built around a strong code to manage the signs into a working system. Creating a context for the signs is also recommended in order to be able to compare signs with eachother.
Keywords: perception, audio visualisation, semiotics, sensation, notation, synesthesia, character set, recitation.
Innehåll
1! Inledning ______________________________________________________ 6! 2! Forskningsproblem ______________________________________________ 7! 2.1! Syfte_______________________________________________________ 7! 2.2! Frågeställningar ______________________________________________ 7! 2.3! Avgränsningar _______________________________________________ 7! 2.4! Hypotes och förväntat resultat___________________________________ 7! 2.5! Koppling till medie- och kommunikationsvetenskap _________________ 8! 3! Bakgrund ______________________________________________________ 9! 3.1! En betydelsefull skillnad mellan tal- och skriftspråk _________________ 9! 3.2! Att höra ljud_________________________________________________ 9! 3.3! Begrepp ___________________________________________________ 10! 4! Utförande _____________________________________________________ 11! 4.1! Material ___________________________________________________ 11! 4.2! Metod_____________________________________________________ 11! 4.3! Metodkritik ________________________________________________ 11! 4.4! Källkritik __________________________________________________ 12! 5! Teori _________________________________________________________ 13! 5.1! Perception _________________________________________________ 13! 5.1.1! Definition och motivering _________________________________ 13! 5.1.2! Influerande faktorer ______________________________________ 13! 5.1.3! Mot semiotiken__________________________________________ 14! 5.2! Semiotik___________________________________________________ 15! 5.3! Socialsemiotik ______________________________________________ 18! 5.4! Synestesi __________________________________________________ 18! 5.4.1! Definition ______________________________________________ 18! 5.4.2! Visuellt perspektiv _______________________________________ 19! 5.5! Hierarkisk kunskap __________________________________________ 19! 6! Empiri _______________________________________________________ 21! 6.1! Musiknotation ______________________________________________ 21! 6.1.1! Melodi ________________________________________________ 22! 6.1.1.1! Diastematik _________________________________________ 22! 6.1.1.2! Neumer ____________________________________________ 23! 6.1.1.3! Notraden ___________________________________________ 26! 6.1.2! Rytm __________________________________________________ 26!
6.1.2.1! Koralnotskrift _______________________________________ 27! 6.1.2.2! Dagens notsystem ____________________________________ 28! 6.1.3! Tid ___________________________________________________ 28! 6.1.4! Volym_________________________________________________ 30! 6.2! Digitala representationer ______________________________________ 31! 6.2.1! Spektrogram ____________________________________________ 31! 6.2.2! Lumisonic______________________________________________ 32! 6.2.2.1! Kort bakgrund _______________________________________ 32! 6.2.2.2! Användning och utseende ______________________________ 32! 6.2.2.3! Ett förtydligande _____________________________________ 33! 6.2.2.4! Valet av cirkelformen _________________________________ 34! 6.2.3! Grafisk sångnotation _____________________________________ 34! 6.3! Litteraturvetenskapliga medel __________________________________ 35! 6.3.1! Metrik _________________________________________________ 35! 6.3.2! Manus _________________________________________________ 36! 6.3.3! Ekfonetisk notation ______________________________________ 36! 7! Analys________________________________________________________ 40! 7.1! Estetiskt uttryck – hur ser det ut och varför?_______________________ 40! 7.1.1! Tecken och variationer ____________________________________ 40! 7.1.2! Komposition och layout ___________________________________ 41! 7.1.3! Mängd och typ av information ______________________________ 41! 7.1.4! Antal och typ av tecken ___________________________________ 42! 7.2! Kopplingen mellan tecknet och dess betydelse
– hur kommunicerar det och vad betyder det? _____________________ 43! 7.2.1! Kulturell inverkan _______________________________________ 43! 7.2.2! Kontext ________________________________________________ 44! 7.2.3! Försök till ikonisk representation____________________________ 45! 7.2.4! Två olika kunskapstyper __________________________________ 46! 7.2.5! Ursprung och utveckling __________________________________ 46! 8! Slutsats _______________________________________________________ 48! 9! Diskussion ____________________________________________________ 50! 9.1! Förslag till vidare forskning ___________________________________ 51! 10! Källförteckning _______________________________________________ 52! 10.1! Tryckta källor _____________________________________________ 52! 10.1.1! Litteratur_______________________________________________ 52! 10.1.2! Artiklar ________________________________________________ 53! 10.1.3! Rapporter och avhandlingar ________________________________ 53!
10.1.4! Uppslagsverk ___________________________________________ 54! 10.2! Elektroniska källor__________________________________________ 54! 10.3! Sekundärkällor_____________________________________________ 54!
Bilagor
1 Varianter av notation 2 Bysantiska neumer
3 Notation för acapellasång, Paola Faoro 4 Notation för acapellasång, Paola Faoro 5 Notation för acapellasång, Paola Faoro 6 Notation för acapellasång, Paola Faoro 7 Ekfonetisk notation
1 Inledning
Tecken finns överallt omkring oss, har alltid funnits och kommer alltid att finnas.
Tecken har hjälpt oss att förstå vår omvärld samt föreviga, förtydliga och förvara densamma sedan urminnes tider – både medvetet och omedvetet. Vissa tecken behöver man lära sig för att förstå, andra är fundamentala. Vissa tecken är kulturellt bundna medan andra är socialt betingade. Vissa tecken avbildar något, andra indikerar något annat medan ytterligare andra symboliserar något tredje. Den gemensamma nämnaren mellan alla tecken, vilket paradoxalt nog i förlängningen tillika är det som åtskiljer dem, är att de kommunicerar – dock på olika sätt.
Skrivna tecken, sammansatta i ord och meningar, är vad som karaktäriserar en skriven text. I Lines – a brief history beskriver Tim Ingold (2008: 13) en skriven texts egenskaper. Han jämför med hur ett urtida samhälle kunde skapas ”in the space of colonial rule”, eller hur städer skapas ”in the space encompassed by the plan”, och liknar dessa med att en text på samma sätt skapas ”in the space of the page.”
Texten är en artefakt; något fabricerat, som är skapad på en plats där det tidigare inte fanns något, liksom i fallet med samhället eller staden.
Idag ser vi som nämnt texter som något konstruerat och ur en auditiv aspekt saknar dagens skrivna texter generellt sätt ljudmässiga kvaliteter, detta även om de exempelvis är referat från ett politikertal, vilka i realiteten ofta är fyllda med auditiv karaktär. Under medeltiden fick texterna däremot per automatik ett auditivt uttryck på grund av att högläsning var betydligt mer förekommande än vad det är idag. Man ansåg inte texten som något skapat för ögat, utan för örat (Certeau 1984: 136-7).
Litterära människor under medeltiden gjorde motsatsen till vad vi gör idag när vi läser: ”Instead of using their ears to look, they were using their eyes to hear, modelling their perception of the written word upon their experience of the spoken one, rather than vice versa.” (Ingold 2008: 13-14).
Ingold (2008: 2) resonerar kring att det för tillfället sker en förändring i sättet att förstå skrivkonsten – man går från att se det som en ”manual inscription” till ”an art of verbal composition.” Det är inte längre något manuellt hantverk, utan alltså snarare en verbal kompositionskonst. Det vi vill göra är att vidga möjligheterna för denna kompositionskonst. Vi vill skapa möjligheter att ge texten en karaktär; en röst – vi vill göra den talande, liksom medeltidens texter, inom ”the space of the page.”
”If writing speaks, then to read is to listen.” (Ingold 2008: 14).
Vi vill emellertid inte åstadkomma en liknande talandeaspekt som den som medeltidens texter frambringade, utan snarare betrakta frågan genom ett modernt synsätt. Om man exempelvis i dagens samhälle nedtecknar en talares ord, så är de enda egenskaperna man tillskriver texten ordval samt ordföljd; alltså vad talaren säger samt i vilken ordning. I en skriven text är det nämligen svårt, ofta omöjligt, att redogöra för talarens ljudmässiga kvaliteter. I övergången från verbal formulering till visuell konstruktion går många betydelser förlorade på grund av det visuella mediets otillräcklighet. Det finns exempelvis ingen alltomfattande visuell konvention för att redogöra för egenskaper såsom röstkvalitet, tonfall, volym, tempo, satsmelodi, rytm, betoningar etc. – egenskaper som idag lämnas åt läsaren själv att interpretera. Detta är något vi vill titta närmare på. Vi vill skapa en grund för att kunna tillskriva texten; ”den verbala kompositionskonsten”, dessa
egenskaper, och därigenom ge texten dess rättmätiga, otvetydiga, auditiva karaktär.
2 Forskningsproblem
2.1 Syfte
Vi vill arbeta fram en grund att utgå ifrån i utvecklandet av ett visuellt teckensystem för talljud. Vi vill därför granska befintliga visualiseringar av ljud och dra lärdomar av dessa samt undersöka hur visualiseringarnas egenskaper skulle kunna appliceras i ett sådant nytt teckensystem. Genom att syna existerande visualiseringar med hjälp av semiotiska och perceptionsmässiga teorier vill således undersöka hur ett visuellt uttryck på effektivast vis kan formulera en auditiv företeelse.
2.2 Frågeställningar
• Vilka aspekter måste man ta hänsyn till för att kunna utforma ett visuellt teckensystem med potential att uttrycka ljudmässiga kvaliteter?
• Hur skulle befintliga system kunna hjälpa oss i utvecklandet av ett nytt system?
• Finns det något som talar för att specifika visuella redskap är bättre lämpade än andra och i så fall vilka och varför?
2.3 Avgränsningar
För att göra vårt arbetsområde översiktligt kommer vi att begränsa vårt empiriska material utifrån vissa premisser. Vi kräver att vårt empiriska material är:
- Systematiserat. Teckensystemen måste bestå av flera tecken vilka kan kopplas samman genom en specifik kod. En enskild målning föreställande en visuell tolkning av ett ljud kommer således inte att inkluderas, inte heller ensamma tecken som inte ingår i något överordnat kodsystem.
Med specifika reservationer kräver vi tillika att vårt empiriska material är:
- Statiskt. Tecknen bör inte ha variabler i den temporala dimensionen, dvs.
vara rörliga. Därmed utelämnas animerade, flexibla eller föränderliga tecken.
Undantag görs dock för rörliga tecken som är systematiserade samt rörliga vilka man genom en momentan stillbild av kan utläsa adekvat information ur.
- Tvådimensionellt. De tecken vi analyserar ska vara tryckbara på papper.
Dock utesluts inte djup som en parameter.
2.4 Hypotes och förväntat resultat
Genom vår undersökning hoppas vi kunna finna teoretiska och empiriska grunder som direkt eller indirekt kan leda till praktiskt tillämpningsbara insikter inom ljudvisualisering. Att visuellt utrycka delar av vår verbala kommunikation är idag svårt och kan ofta medföra problematik och missförstånd, och vi hoppas därför att kunna peka på möjligheter som skulle kunna understödja hur ett visuellt uttryck av mottagaren kan översättas till det av sändaren avsedda auditiva ditot. Vi vill finna visuella uttrycksätt för auditiva upplevelser, exempelvis volym och takt, och genom att syna dessa med hjälp av ett teoretiskt raster skapa en grund för att i framtiden kunna vidareutveckla ett visuellt språk med möjlighet att appliceras på texter med stor del auditiva kvaliteter – däribland lyrik och retorik. Kvaliteter som idag går förlorade genom överföringen till text.
2.5 Koppling till medie- och kommunikationsvetenskap
Vår undersökning av visuella representationer av ljud är ett försök att förstå hur ljudbaserad kommunikation kan fungera genom ett visuellt medium. Eftersom vårt valda medium är just visuellt måste meddelandet formas därefter, trots att
meddelandet initialt besitter auditiva anspråk. Processen att koda och avkoda ett kommunikativt meddelande inom visuell kommunikation är självaste kärnan i den perceptionsmässiga läsningen och förståelsen, vilket gör vårt ämne väldigt intressant och relevant ur ett visuellt kommunikationsperspektiv.
3 Bakgrund
3.1 En betydelsefull skillnad mellan tal- och skriftspråk
Strömqvist (2009: 69-78) resonerar på både detaljnivå samt övergripande om skillnaden mellan talat och skrivet språk och uppenbarar denna skillnad bland annat genom några exempel. Ett exempel han tar upp är att när vi i skrift vill visa att en större informationsenhet är slut gör vi detta genom en punkt efter det sista ordet i meningen, medan vi i tal signalerar meningsslutet genom en intonationsrörelse som ofta kombineras med ett sjunkande taltempo samtidigt med det eller de sista orden i meningen (Strömqvist 2009: 75). Markerar vi istället att en mening innehåller bakgrundsinformation; i betydelsen inte primär information, gör vi i skrift detta med hjälp av parentestecken före och efter informationen. Motsvarande
bakgrundsinformation markerar vi i tal med ett mer återhållsamt röstomfång, samt ett något högre tempo, samtidigt som vi artikulerar informationen. En avgörande skillnad mellan tal- och skriftspråk är således att talet tenderar att fördela uttrycksdragen både linjärt och simultant, medan skrivet språk huvudsakligen fördelar uttrycksdragen linjärt. Strömqvist (2009: 76) betonar emellertid att det inte är omöjligt att fördela uttrycksdrag simultant i skrift och exemplifierar genom möjligheten att kursivera ord. De simultana uttrycksdragen är dock mycket begränsade.
3.2 Att höra ljud
Evens (2005: 1) konstaterar inledningsvis att ”to hear is to experience air pressure changing.” Tryckvågor fortplantas från ljudkällan vilket får lufttrycket i det
närliggande området att börja svänga fram och tillbaka, i takt med vågornas ökande och fallande svängningar. Dessa tryckvågor vandrar genom luften, in i örat, vilket medför att örats trumhinna börjar vibrera i samma takt. Ju högre fluktuation, alltså ju fler svängningar, desto högre ton. Evens betonar dock att man inte kan förnimma lufttryck som sådant, bara dess förändring över tid, vilket skapar en paradox: ”To hear a pitch that does not change is to hear as constant something that is nothing but change, up-and-down motion. To hear is to hear difference.” (Ibid.).
Vad örat bidrar med i upplevelsen av ljud, således, är vad man skulle kunna kalla för en kontraktion eller sammandragning. ”Hearing takes a series of compressions and rarefactions and contracts them, hears them as a single quality, a sound.” (Evens 2005: 1-2). Vidare skriver Evens att alla ljud kan brytas ner till sinusvågor eftersom varje specifikt ljud har en regularitet och faktiskt till och med är inget annat än just en regularitet. ”Sound at a given point in space is nothing but the changing
amplitude of the air pressure at that point.” (Evens 2005: 4).
3.3 Begrepp
Auditiv ljudmässig
Bysantisk från Bysans, romarrikets namn under medeltiden Deklamation uppläsning, ofta av lyrik
Diastematisk att inom musiknotationen visuellt försöka
gestalta tonernas höjningar och sänkningar genom deras vertikala position
Fonem ett språkljud; det talade språkets minsta betydelseskiljande enhet (exempelvis i:et i ”bil” respektive å:et i ”bål”)
Fraktur en typsnittsgrupp som utvecklades i Tyskland i början av 1500- talet (eng. blackletter)
Ideogram ett tecken som avbildar något abstrakt (exempelvis en känsla eller en idé)
Koncentrisk med gemensam medelpunkt (används framförallt i geometri om cirklar och klot)
Metrik lyrikens verslära
Piktogram ett tecken som avbildar något fysiskt (exempelvis toalettsymbolerna för man respektive kvinna) Polyfoni flerstämmighet
Recitation uppläsning; högläsning Temporal tidsmässig
Versfot den minsta enheten i versbunden lyrik (består av minst två stavelser varav en vanligen är betonad)
4 Utförande
4.1 Material
För att få en solid grund att arbeta vidare utifrån samlade vi information från ett flertal olika medier. Vi ville att forskningen vi tog del skulle vara så aktuell som möjligt och lät därför rapporter och avhandlingar samt webbpublicerade källor utgöra en del av grunden för den empiriska undersökningen, då det är där man enklast finner den nyaste forskningen. Dock baserades det empiriska materialet också i hög grad på litteratur. I litteratur fann vi även merparten av grunden till valda teorier. Vissa delar av teorin hämtades tillika ur vetenskapliga artiklar.
Vår förhoppning var att, genom denna variation av källor, skapa en synergi i materialet och därigenom frambringa en mer omfångsrik och mångfacetterad analys.
4.2 Metod
Eftersom vi försökte finna djupgående och rotade mönster hos diverse texter och inom specifika områden så ansåg vi oss vara nödgade att genomföra kvalitativa analyser. I kvalitativa analyser gör man djuplodande undersökningar gällande relationer, processer och kvalitativa egenskaper (Ekström och Larsson 2000: 17). Vi valde därför att utforma detta arbete som en kvalitativ litteraturstudie. Vi gjorde djupdykningar inom specifika områden som på olika sätt berörde ljudrelaterad visuell representation, såsom spektrogram och notationer, och inom dessa områden fokuserade vi på de artegna angelägenheter som var intressanta ur vårt perspektiv.
Vi valde att inte genomföra några kvantitativa undersökningar, då vi utifrån vårt syfte inte ansåg att dessa skulle tillföra studien något. Inte om man såg till den förmodande tidsåtgången och hur denna i proportion istället kunde spenderas på ytterligare kvalitativa studier – vilket vi med övertygelse ansåg skulle vara mer givande.
De områden vi valde att studera närmare var resultatet av väl avvägda strategiska resonemang och beslut. Vi tog hänsyn till det faktum att vårt valda ämne var oerhört vidsträckt och korsade en mängd olika vetenskapsgränser – alltifrån psykologi till litteraturvetenskap. Därför valde vi särskilda delar ur olika vetenskaper och fokuserade inte uteslutande på vad man på förhand skulle kunna förvänta sig av en liknande studie. Detta eftersom dessa specifika delar kunde bistå med olika
synvinklar och insikter. Trots ämnets komplexitet hade vi emellertid genomgående vårt syfte i åtanke och drevs aldrig bort från den övergripande sakfrågan. Det faktum att vi gjorde djupdykningar och undersökte inom olika discipliner erbjöd följaktligen en djupare inblick och förståelse samt möjlighet till eftertanke.
4.3 Metodkritik
Det vi först och främst vill framhäva är att valet att använda oss av en kvalitativ metod föll sig fullständigt självklart, dock utan att vara felfritt ur en formalistisk synvinkel. För precis som alla metoder har även de kvalitativa negativa aspekter.
Krippendorff skriver om just den kvalitativa processen och menar att ”this process severely limits the volume of texts that a single researcher can analyze consistently and according to uniforms standards.” (Krippendorff 2004: 88). Givetvis är
Krippendorffs konstaterande en uppenbar brist i metoden. Enligt oss var det dock en brist med, för vår undersökning, minsta möjliga felmarginal i jämförelse med om vi
exempelvis bara hade använt oss av kvantitativa metoder, vilket med all sannolikhet hade gett en bred missvisning och inte erbjudit något djupare insikt.
Vi anser vidare att det finns en övergripande metodkritik värd att belysa, som återfinns i bokstavligt talat alla undersökningar – nämligen den selektiva
perceptionen. Eftersom vi hade vårt givna syfte, våra givna frågeställningar samt vår idé om vad vi ville åstadkomma, fanns risken att vi bara skulle hålla våra sinnen öppna för fakta som vi ansåg stödja våra resonemang, vilket skulle kunna vara en fara för studiens faktiska relevans och trovärdighet. Generellt sett anser vi att detta kan skapa en outtalad och omedveten felmarginal i de allra flesta undersökningar som görs, oavsett forskningsområde. Vi var emellertid ytterst medvetna om detta redan från upptakten och försökte, med alla medel, minimera en påverkan orsakat av detta fenomen.
4.4 Källkritik
Forskning överlag kräver att argument och slutsatser är giltiga och tillförlitliga.
Giltigheten syftar till argumenten man använder och huruvida dessa har med saken att göra eller inte, medan tillförlitligheten handlar om huruvida uppgifterna som anges är korrekta (Ekström och Larsson 2000: 12-20). Utifrån dessa parametrar anser vi att det material vi tagit del av till stor del uppfyller kraven för kvalitativ forskning. Vi vill dock betona en specifik källkritisk ståndpunkt till
socialsemiotikkapitlet. Inte på något vis för att informationen saknar giltighet eller tillförlitlighet, men på grund av att socialsemiotiken som sådan är en relativt ny analysmetod som få forskare fördjupat sig i. Således är detta kapitel det teorikapitel där minst källor har funnits att tillgå, vilket gör att vi ändå måste ifrågasätta
tillförlitligheten – utan att för den delen avfärda informationen som inkorrekt. Vi vill vidare belysa en liknande källkritisk ståndpunkt till Lumisonickapitlet – det
empirikapitel där minst källor funnits att tillgå.
Under den senaste tioårsperioden har det skett en uppluckring av gränserna mellan producent och konsument när det gäller skrivet material. Detta gäller i synnerhet Internet. Begrepp som tidigare karaktäriserat alla skrivna faktatexter – såsom korrekturläsare, förlag och ansvarig utgivare, har minskat i betydelse och omfattning (www.skolverket.se). Följden av detta är kort sagt fler publicerade texter än tidigare, vilket ur en demokratisk synvinkel givetvis är positivt. Dock är det inte lika positivt ur en vetenskaplig synvinkel, ur trovärdighets- och kvalitetssynpunkt.
Vi har därför genomgående i detta arbete förbisett material som inte haft en trovärdig avsändare. De internetbaserade källor vi använt är därför uteslutande sådana som vi fördjupat oss i och säkerställt tillförlitligheten kring i den mån vi varit kapabla till, alternativt väletablerade aktörer, såsom BBC – världens största
organisation för TV- och radioverksamhet.
5 Teori
5.1 Perception
5.1.1 Definition och motivering
Perception beskrivs kortfattat i The New Oxford American Dictonary som ”the ability to see, hear, or become aware of something through the senses.” Således är perception i allra högsta grad relevant för vår uppsats, både ur ett visuellt och auditivt perspektiv.
Grundförutsättningen för vår visuella perception är ljus, skriver Jamieson (2007:
13). Vidare delar han in perceptionen i fyra steg (Jamieson 2007: 15-26). Det första steget är just ljuset och ögats funktioner för att uppfatta detta. Vad och på vilket sätt vi uppfattar det vi ser kan emellertid påverkas av en rad faktorer, bland annat vår motivation och sinnesstämning. Ögat uppfattar därmed vissa saker och avfärdar, medvetet och omedvetet, andra. Det andra steget är hjärnan och hur denna behandlar informationen som ögat uppfattar. Det tredje steget är den psykologiska aspekten av perceptionen. Jamieson nämner bland annat att tecken och symboler kan skapa både konsonans och konflikter i en bild. Det är själva relationen mellan tecknen och vad de refererar till som uppfattas och tolkas av läsaren och om dessa inte harmonierar eller är motstridiga så uppstår en förvirrande disharmoni. Det fjärde steget är den sociokulturella dimensionen som handlar om vilken kultur vi lever i och hur detta påverkar vår perception och tolkning.
Som man kan uttyda ur The New Oxford American Dictonary och Jamieson (2007: 15-26) är perception en oerhört omfattande vetenskap som berör en mängd olika discipliner – alltifrån ögats fysiologiska uppbyggnad och hjärnans egenskaper till interaktionen mellan olika sinnen och vår sociokulturella bakgrund. Därför kommer vi framförallt att fokusera på de angelägenheter som är intressanta ur vårt perspektiv, och således utelämna andra delar. Ett exempel på en
perceptionsangelägenhet som vi kommer att utelämna är just ögats fysiologiska funktioner, eftersom detta inte är relevant för vårt ämne.
5.1.2 Influerande faktorer
Goldstein beskriver de karaktäristiska dragen hos perceptionen och betonar att den är extremt komplex. Utifrån detta konstaterar han följande paradox:
Perceptual experiences such as recognizing objects; seeing light, color, and spatial layout; hearing pitch and music; perceiving the locations of sounds […] represent the actions of extremely complex, and still not completely understood, mechanisms. Yet for all the underlying complexity of these mechanisms, we perceive easily, usually with little effort or conscious awareness of the mechanisms involved. (Goldstein 2010: xxvii).
Trots vår perceptions extremt komplexa karaktär kan man ändå konstatera vissa typiska egenskaper hos olika delar av vår perception. Vår visuella perception är exempelvis resultatet av en samverkan mellan just vårt direkta seende och våra mentala scheman genom vilka vi filtrerar det vi ser. ”Common to all aspects of visual perception is its dynamics, it is a continual process of structuring, of
structures made in the first instance from the resources of the sensory systems, and secondly from the mental frameworks acquired from social/cultural conditioning.”
(Jamieson 2007: 19). Med detta i åtanke är det viktigt att belysa att det vi uppfattar med vår syn således inte är allmängiltigt, utan filtreras genom våra mentala scheman som är influerade av sociala och kulturella erfarenheter. Redan på 1800-talet
konstaterade James (1890: 103) att ”whilst part of what we perceive comes through our senses from the object before us, another part (and it may be the larger part) always comes out of our head.” Trots att synen som sådan är en universell fysisk process och generellt sett är samma för alla människor, är hur vi använder den och vad vi uppfattar genom den följaktligen väsentligt olika. Schirato och Webb (2004:
1-2) bekräftar detta genom att förklara att synen som sådan är en helt naturlig process, medan receptionen och perceptionen av visuella element påverkas av en rad faktorer, däribland vår kulturella bakgrund, den aktuella kontexten samt våra
intressen. ”Looking and seeing, we argue, are neither straightforward nor natural – and they are far from universal.” (Ibid.). De konkluderar genom konstaterandet att
”every perception and meaning is the product of psychological, physiological and, above all, cultural contexts.” (Schirato och Webb 2004: 15).
Schirato och Webb (2004: 58) förtydligar ytterligare detta resonemang genom att citera konsthistorikern Bates Lowry: ”‘We are not born with a knowledge of how to see, any more than we are born with a knowledge of how to speak English. We are born only with the ability to learn how’.” Vidare konstaterar man sammanfattande tillika: ”What we make of what we see is determined by our cultural context, our own habitus, what we know about how meanings are made in our culture and the particular field in which we are ‘seeing’.” (Ibid.).
5.1.3 Mot semiotiken
Masseroni (2002: 215) menar att det finns vissa specifika egenskaper som karaktäriserar hur man avläser just grafiska element: ”The perception of graphic elements does have some specific features […]. These differentiate the perception of graphics from ordinary perception.” Han menar att när vi exempelvis observerar ett träd utanför fönstret eller en penna på bordet, så är vi kort och gott medvetna om att vi ser ett träd, en penna etc. Men när vi ser på grafiska element, exempelvis en skiss på ett papper, uppfattar vi givetvis skissen men inser samtidig att denna skiss representerar något annat än sig självt (Ibid.). I avläsningen av grafiska element är man således medveten om att någon har utformat dessa på ett visst sätt på grund av ett visst syfte och att de alltså i förlängningen representerar något annat än sig själva.
Jamieson (2007: 19) berör detta och menar att både den som skapat dessa grafiska element samt den som avläser dem är deltagande i kommunikationsprocessen och framförallt konstruktionen av meddelandet. Det som skiljer de båda parterna åt är att skaparen är aktiv i denna konstruktion medan avläsaren är passiv.
Smith et al. (2005: 56) uppger vidare att mycket talar för att hjärnan
konstruerades för att processera visuella bilder med hög hastighet och även reagera på dem oerhört kvickt. Evolutionen tog dock inte samma hänsyn till att utveckla hjärnans förmåga att kunna processera skrivna symboler på samma sätt. ”Brains were not built to read”, skriver Gazzaniga (1998: 6). Han fortsätter: “Reading is a recent invention of human culture. That is why many people have trouble with the process and why modern brain imaging studies show that the brain areas involved
with reading move around a bit. Our brains have no place dedicated to this new invention.” (Ibid.).
Vilken typ av bild; dess uppbyggnad, utseende, kontext samt vilka tecken den består av, påvekar givetvis också ens förmåga att processera densamma. Gordon (2004: 118) exemplifierar genom att siffran 13, skrivet på ett visst sätt i ett specifikt sammanhang, kan uppfattas som bokstaven B, och vice versa. ”Interpretation of the patterns is affected by their context.” (Ibid.).
Figur 5.1 Perceptionen påverkas av kontexten.
Många av de betydelser vi förvärvar oss i tillvaron är baserad på och genom vår perception (Day 2002: 5). Vår världsuppfattning; våra idéer om vår omvärld, tankarna vi erhåller genom vår uppfattningsförmåga samt meningen vi tillskriver dessa tankar, är influerade av vår kropps struktur och funktioner, vilka
genomsyrande formar hjärnans egenskaper (Ibid.). Semiotiken försöker undersöka hur och genom vilka koncept vi förvärvar oss ovan nämnda betydelser som formas och tolkas i dessa kroppsliga processer, samt hur dessa koncept opererar, utvecklas och interagerar (Ibid.).
5.2 Semiotik
Semiotik är läran om tecken och koder; tecken som används till att producera, överföra och interpretera meddelanden, samt koderna som styr denna
kommunikation (Smith et al. 2005: 227). Dessa tecken är överallt omkring oss; i böcker, på TV, i mataffären, på vägskyltar etc. och semiotiken är helt enkelt
vetenskapen som försöker få ett svar på vad allt detta betyder för oss. Danesi (2004:
3) förklarar:
Semiotics is the science that attempts to answer the following question: What does X mean? The X can be anything from a single word or gesture, to an entire musical composition or film. The ‘magnitude’ of X may vary, but the basic nature of the inquiry does not.
Inom semiotiken är ett tecken något som hänvisar till något annat än sig självt (Hoopes 1991: 141, Eco 1986: 15). Den europeiske semiologins fader, Ferdinand de Saussure, förklarade detta förhållande som en förbindelse mellan ett ljud eller en bild, som han kallade signifier, samt idén som det hänvisar till, som han kallade signified (Smith et al. 2005: 228). ”The signifier is the form in which the content is expressed – the word, sound, picture, smell, or gesture.” (Ibid.). Vidare konstaterar
även Danesi (2004: 4) att ett tecken kan vara vad som helst som hänvisar till något annat än sig självt. Han exemplifierar genom ordet röd, som kvalificerar sig som ett tecken eftersom det, snarare än att peka på ljuden r-ö-d som ordet innefattar, hänvisar till färgen röd.
Enligt Peirce är begreppet tecken en generaliserande term, vilken man ytterligare kan dela upp. Detta gör han också genom att konstatera tre olika typer av tecken;
ikon, index och symbol. Dessa förhåller sig till de tre olika sätt genom vilket tecknet kan relatera till sitt objekt (Jamieson 2007: 35-36, Barnard 2001: 147). En ikon liknar sitt objekt och är ofta avbildande. Ett index pekar på det som det står för på ett kausalt vis – det indikerar något. Exempelvis kan fotspår i snön vara ett index på att någon nyss har gått där. Den tredje gruppen av tecken, symbolerna, kommunicerar på ett visst sätt för att vi genom konventioner och överenskommelser beslutat att dessa ska kommunicera på just det sättet. Ett exempel på detta kan vara trafikljus (vars färger egentligen är innehållslösa) som kommunicerar för att vi kommit överens om de mentala reglerna kring detta.
Vidare kan man dela in tecken i två olika men relaterade nivåer; nämligen tecknens denotativa samt konnotativa nivå:
Denotation is often explained as the ’literal’ meaning of an image. Connotation is slightly more complex. Connotation is often explained as the thoughts, feelings and associations that accompany one’s perception of an example of visual culture.
(Barnard 2001: 149).
Enkelt förklarat skulle man kunna kalla den denotativa nivån för den direkta betydelsen och den konnotativa nivån för den indirekta (Gripsrud 2002: 142).
”Denotation is the direct, specific, or literal meaning we get from a sign.” (Smith et al. 2005: 231). Den denotativa nivån är det elementära innehållet i en bild, medan den konnotativa hänvisar till vad vi tillskriver bilden i vår egen mentala process;
genom våra tankar, tolkningar och sammankopplingar. ”Connotation is meaning that is evoked by the object, that is, what it symbolizes on a subjective level. […]
connotation reflects cultural meanings, mythologies, and ideologies.” (Smith et al.
2005: 231). Gripsrud (2002: 143) understryker dock att konnotationer inte är detsamma som associationer, eftersom de sistnämnda är individuella och högst personliga, medan konnotationerna är kulturellt betingade och kodifierade. ”A connotative meaning is the ‘cultural baggage’ attached to or associated with the object.” (Smith et al. 2005: 231).
Även Danesi skriver om de kulturella skillnaderna som finns när det gäller avläsningen av tecken. Med färg som resonemangsbas diskuterar han förhållandet mellan västerländsk och afrikansk kultur:
When an English speaker refers to something as blue, a Shona speaker might refer to it as either cipswuka or citema, and a Bassa speaker as hui. If we refer to something as yellow, orange or red, the Bassa speaker would see it as Ziza, and so on. (Danesi 2004: 71)
Med detta som grund konstaterar han att ens verklighet är just vad man hävdar att den är. Vi kallar en färg blå, medan andra kallar samma färg antingen cipswuka eller citema, och så vidare. Således är verkligheten kulturellt flerdimensionerad.
Danesi (2004: 74) konstaterar i sammanhanget att det vore ytterst opraktiskt att ha ett namn för varje faktiskt enskild färg, om man har i åtanke att exempelvis färgen blå har tusentals olika versioner, liksom alla andra färger:
Color terms are verbal signifiers that predispose people to attend primarily to the hues they encode. This is a practical strategy; otherwise, millions of terms would need to be invented to classify the spectrum accurately.
Han konstaterar vidare att färger över hela världen används för konnotativa syften och att det faktiskt till och med är så att de historiskt känslomässiga kopplingarna vi har till färger i själva verket kan vara källan till färgnamnen själva, samt hävdar att det finns starka belägg för detta. ”In Hebrew, the name of the first man, Adam, meant ’red’ and ’alive,’ and still today, in many languages, red signifies ’living’ and
’beautiful.’” (Ibid.).
Han menar vidare att vi använder oss av färger för konnotativa syften mer än vad vi tror. Detta exemplifierar han genom uttryck som grön av avund, blått blod och så vidare. ”Such expressions reveal that we perceive color as much more than a phenomenon involving pure visual perception.” (Ibid.). Han konstaterar tillika den betydelsefulla insikten: ”In all societies, colors play a critical function in the realm of symbolism.” (Ibid.).
Danesi (2004: 76) skriver vidare om visuell presentation och hur man, med minsta möjliga ansträngning, kan kommunicera effektivt. Han illustrerar sitt resonemang genom att uppvisa att man med endast tre linjer kan forma alltifrån en triangel eller bokstaven ”H” till ett ikoniskt picnicbord.
Virtually everything we see can be represented by a combination of lines and shapes:
for example, a cloud is a shape, a horizon is a line. Other elements include value, color, and texture. Value refers to the darkness or lightness of a line or shape. It plays an important role in portraying dark and light contrasts. Color conveys mood, feeling, atmosphere. This is why we speak of ’warm,’ ’soft,’ ’cold,’ ’harsh’ colors. As we saw above, connotatively, color has culture-specific symbolic value – in our culture yellow connotes cowardice, in China it connotes royalty. Texture refers to the sensation of touch evoked imagistically when we look at some surface. (Danesi 2004: 76).
Vidare skriver Danesi om hur otroligt det är att en simpel visual signifier,
exempelvis en sick-sack-linje, kan påminna om och förnimma en taktil känsla. ”This is strong evidence that semiosis is intermodal, involving more than one sensory modality at once.” (Ibid.). Termen för detta fenomen är synestesi, vilket vi senare kommer att behandla djupare.
Kress och van Leeuwen (2006: 19) påpekar dock en ytterst viktig aspekt, framförallt med vårt uppsatsperspektiv i åtanke: ”each medium has its own possibilities and limitations of meaning. Not everything that can be realized in language can also be realized by means of images, or vice versa.”
Smith et al. (2005: 229) belyser även de en synnerligen viktig angelägenhet genom att ställa en fråga som för oss är av yttersta vikt att resonera kring i detta arbete: ”how does something come to stand for something else or how is the signifier connected to the signified?” I sammanhanget konstaterar och definierar avslutningsvis Danesi (2004: 67) på ett enkelt vis vad denna signified egentligen är:
”A mental image, obviously, is a conceptual version of some physical or emotional sensation.”
5.3 Socialsemiotik
Socialsemiotiken är en mer praktiskt disciplin än den klassiska semiotiken. Man har här förflyttat sig från att fokusera på tecknen till att se den semiotiska processen ur ett praktikerperspektiv och istället fokusera på vad vi faktiskt gör när vi skapar och tolkar betydelser (Ekström och Moberg 2008: 27). Koncentrationen ligger på vad man kallar semiotiska resurser vilket innebär betecknande handlingar och objekt som besitter semiotiska potentialer. ”Genom att tala om semiotiska resurser undgår vi från att fastna i föreställningen att ett tecken står för något givet, något som inte påverkats av historien eller av sin användning i olika kontexter.” (Ibid.). Således beskriver socialsemiotiken inte semiotiska uttryck som om de hade inhysta vedertagna betydelser, utan koncentrerar sig på hur man istället använder sig av semiotiska resurser i olika specifika sammanhang. Ekström och Moberg (Ibid.) betonar emellertid samtidigt att semiotiska resurser, trots att de inte har några objektiva betydelser, inte heller godtyckligt kan betyda vad som helst.
Nära relaterat till begreppet semiotiska potentialer är begreppet affordance, vilket står för ”the potential uses of a given object” (van Leeuwen 2005: 4), samt hur och för vad detta objekt skulle kunna användas. Vår perception är selektiv och därför kan olika människor upptäcka olika affordances hos ett specifikt objekt utifrån personliga intressen och erfarenheter samt den aktuella kontexten (van Leeuwen 2005: 4-5).
Ytterligare två centrala begrepp inom socialsemiotiken är inramning (framing) och ursprung (provenance.) (Ekström och Moberg 2008: 28-29, van Leeuwen 2005:
6-19) Inramning handlar om på vilket sätt man ramar in olika element i bilder samt hur man delar upp eller håller samman dem med hjälp av färger och linjer etc.
Ursprung behandlar det faktum att socialsemiotiken lägger stor vikt vid det historiska perspektivet och ser den semiotiska evolutionen utifrån densamma. ”Att studera hur en betydelse uppstått är ett sätt att komma ifrån tanken att det rör sig om en naturlig utveckling att saker och ting är som de är.” (Ekström och Moberg 2008:
29). Man söker istället efter kontextuella förklaringar och speciella orsaker till betydelsen och dennes ursprung – orsaker som vi idag kanske inte längre är medvetna om och istället bekvämt avfärdar genom att hävda att det rör sig om en naturlig utveckling.
5.4 Synestesi
5.4.1 Definition
Fenomenet att hjärnan kopplar ihop ett eller flera sinnesintryck kallas synestesi (http://synestesi.se). Begreppet kommer från grekiskans syn som betyder
”tillsammans” och aisthesis som betyder ”perception” (Ramachandran och Hubbard
2003: 54). Dixon et al. (2000: 365) beskriver synestesin kortfattat som processen genom vilket ”ordinary stimuli elicit extraordinary experiences.” Jewanski et al.
(2009: 293) utvecklar: ”Synaesthesia is a rare condition in which a stimulus (e.g., a sound or a word) evokes an extra perceptual quality not normally associated with that stimulus (e.g., sound-color or word-taste.)”
Många (se bl.a. Ramachandran och Hubbard 2003, Cytowic 2002, Vester 2004) beskriver vidare synestesi som en specifik egenskap hos vissa människor, men att denna inte nödvändigtvis måste vara universell, utan snarare tvärtom. Exempelvis så upplever en person med synestesi kanske siffran 2 som röd, medan en annan
upplever den som blå etc.
5.4.2 Visuellt perspektiv
Ramachandran och Hubbard (2003: 58) skriver att människor har inbyggda klassificeringar för att associera ljud med vissa specifika visuella former och resonerar även kring att detta kan ha varit ursprunget till våra urtida förfäders utvecklande av den gemensamma vokabulären. Specifika delar av hjärnan som bearbetar visuella former, bokstäver och siffror samt ordljud, kan nämligen aktivera varandra även hos icke-synesteter, vilket kan medföra att folk i allmänhet förväntar sig att kantiga former ska ha ”skarpa” namn (Ibid.). Levin och Lieberman (2004: 1) beskriver hur Wolfgang Köhler redan 1927 konstaterade att människor tenderar att förknippa specifika ljud med vissa former. I hans experiment skulle de tillfrågade koppla ihop två uttryck med två olika visuella former. Resultatet blev att nästintill alla tillfrågade kopplade ihop uttrycket maluma med en rund och mjuk form, medan uttrycket takete ansågs beskriva en kantig och hård form.
Två typer av nervmässiga kopplingar stödjer denna idé. Den första av dessa är att hjärnans känsloområden för att bearbeta visuella former samt hörseln, som sitter bak i hjärnan, kan aktivera vissa specifika delar i hjärnans front där talförmågan sitter. Att exempelvis plötsligt få ett visuellt intryck av en rund form påverkar hjärnans område för talet att producera en likvärdig form med tungan i gommen.
”The brain seems to possess preexisting rules for translating what we see and hear into mouth motions that reflect those inputs.” (Ramachandran och Hubbard 2003:
59).
Den andra typen är att överblivna signaler uppstår mellan två närliggande områden i hjärnan; mellan de som kontrollerar muskelrörelserna för handgester respektive munnen. Ramachandran och Hubbard (Ibid.) kallar detta för synkinesia och exemplifierar genom att påpeka att ibland när vi klipper genom ett papper med en sax så tenderar vi att bita ihop och forma munnen undermedvetet, för att spegla saxens rörelse. Ytterligare ett exempel på detta fenomen skulle kunna vara ett barns tendens att grimasera när det ritar.
5.5 Hierarkisk kunskap
En modell för hur våra intryck byggs upp hierarkiskt presenterar Keith Swanwick (1994: 28) i boken Musical Knowledge – Intuition, Analysis and Music Education.
Modellen är Croces och avser hur olika sorters kunskaper relaterar till varandra hierarkiskt. Vår kunskap delas in i intuitiv/estetisk och logisk/intellektuell kunskap, där den förstnämnda mer direkt följer på våra sinnesförnimmelser – det vill säga
exempelvis syn eller hörsel – medan den logiska kunskapen ligger i ett andra led efter den intuitiva kunskapen. Swanwick (Ibid.) skriver:
Croce places intuitive or aesthetic knowledge at a more fundamental and prior level than conceptual or intellectual knowledge. In spite of the apparent polarisation [...] the two forms of knowledge are not symmetrically balanced by Croce but should be thought of as hierarchical in relationship. Aesthetic knowledge can stand alone but conceptual knowledge depends upon a basis of intuitive knowledge.
Figur 5.2 Modell över hierarkisk kunskap.
Vi tar alltså till oss även mer komplicerade system, eller koncept, först genom en basal estetisk perception. ”In essence, intuitive knowledge is the bridge of imagination between sensation and analysis”, skriver Swanwick (1994: 42).
6 Empiri
Vad kan vi då finna för redan existerande visuella tecken för ljud idag? Vissa områden har på grund av ett pressande behov utvecklat egna teckensystem för auditiva företeelser. Bland annat är musik, digitala ljudmätningar och
litteraturvetenskap ämnen där man tvingats uppfinna metoder att uttrycka ljud i olika former anpassade för ögat istället för örat.
Grierson (2008: 362) menar att det finns en mängd olika standardiserade metoder för visuell representation, vilka man förenklat kan dela in i tre olika typer:
symbolisk representation, nivåindikation samt spektrumanalys. Dessa karaktäriseras av olika egenskaper men har en sak gemensamt; de är alla, ur olika perspektiv, bristfälliga i att kommunicera en helhet.
Symbolisk representation, såsom musiknotationer, förmedlar bara en viss del information. De kan användas till att beskriva hur ett ljud förändras över en viss tid, samt eventuellt vilka toner det innehåller, men inte hur ljudet faktiskt låter eller hur det upplevs.
Nivåindikatorer, exempelvis decibelskalan, redovisar förändringar i ljudsignalen.
20dB, 35dB, 100dB – alla pekar de på olika ljudnivåer. Mängden information som kommuniceras är emellertid begräsad till en dimension, nämligen amplituden. I sammanhanget är kategorin överlag dock irrelevant, eftersom nivåindikatorerna baseras på ett siffersystem och således inte erbjuder några faktiska visualiseringar av ljud. Följaktligen kommer de inte att diskuteras vidare.
Spektrumanalys är en omfattande metod för ljudvisualisering som fungerar genom att bryta ner ljud till olika fragment och presentera dessa genom sinuskurvor som markerar de olika amplituderna på en graf. Således är spektrummetoder väldigt omfattande vad gäller att presentera information.
6.1 Musiknotation
En självklar likhet till vad vi letar efter finns att hitta i musikens notation. Med hjälp av notationen presenteras visuellt den auditiva företeelse som är musik, däribland melodi, rytm och i viss mån även ljudvolym.
Paralleller mellan musik och recitation dras både hos Sällström (1991: 27), Sloboda (1997: 68) och Ingold (2008: 1). Sällström (1991: 27) skriver: ”Musik är, i likhet med [...] deklamation, en ögonblickets konst. Den tillhör 'tidskonsterna', de som står i förband med själva tidens väsen och aldrig kan förete sig som något statiskt.” Precis detta söker dock musiknotationen göra. Att översätta musikens ljudform till något visuellt är inte bara att förflytta sig från ett medium till ett annat, understryker Sällström (1991: 41); det gäller att transkribera något som förflyter i tiden till något som existerar i rummet, något temporalt till något spatialt. Han skriver:
noterna bildar [...] i viss mening en gestalt, nämligen en visuell gestalt, en entydd kursform. Men detta är en rumslig gestalt, till skillnad från melodins tidsgestalt. Den visuella gestaltens beståndsdelar föreligger simultant inför mina ögon; melodin klingar ton för ton (Ibid.).
Musikens notationssystem kan sägas vara av både bild- och språkkaraktär. Sällström (1991: 25) noterar att den är “regelmässigt uppbyggd av givna grundsymboler och avsedd att ‘läsas’”, trots att den inte är en “enkel uppradning av tecken”, likt vanlig skrift. Han skriver vidare: “Likväl är den inte bild av någonting – hur skulle musiken, denna osynliga, ständigt föränderliga och blott hörbara företeelse, kunna
‘avbildas’?” (Ibid.). Således bör observeras att notationen inte skall betraktas som piktogram; avbildningar av en fysisk företeelse, utan snarare som ideogram, det vill säga idémässiga, abstrakta symboler. Notbilden är inte, i Sällströms (1991: 46) ord
”något slags diagram, visande tonhöjdens variationer mot tidens gång.”
Notsystem över musik har alltså inte ett enkelt eller på något vis givet utseende.
“A[n] important aspect of music notation to observe is that, like language, it selects some aspects of sound for preservation and discards others.” (Sloboda 1997: 248).
Olika noteringssystem fokuserar på olika kvaliteter i musiken och kan sålunda också endast uttrycka vissa utvalda avseenden av de ljud som finns eller kan frambringas.
Dagens notationssystem har utvecklats utifrån den västerländska traditionen och dess fokus på bland annat melodi, takt och polyfoni. Många tonsättare har funnit detta notsystem begränsat för vad de velat uttrycka och utvecklat komplicerade system som givit utrymme för kompositörens egna ljudbilder. Hambrœus (1970: 12) understryker att ”En musikalisk notering fungerar som ett filter i
kommunikationskanalen mellan tonsättaren och exekutören (och i sista hand
lyssnaren)”. Notationen bör betraktas som just ett filter som “silar” ljudet och skapar en koncentrerad, eller förtätad, avbildning på pappret.
Det finns tre övergripande grupperingar inom historisk notskrift. Hambrœus (1970: 16) skriver: ”Enligt en sedan länge accepterad indelningsmetod klassificerar man notskrifternas teckenmaterial i bokstavs- och sifferskrifter, accentskrifter och mensuralskrifter.” Bokstavs- och sifferskrifterna innebär, som namnet också
antyder, att olika ljud, toner eller grepp på ett musikinstrument har märkts med olika bokstäver. Att benämna oktavens toner med c, d, e, f, g, a, b, c eller bruket av Do- Re-Mi-Fa-So-La-Ti-Do är sprunget ur detta system. Accentskrifterna har utvecklats ur språkets accenttecken (mer om detta nedan) och mensuralnoteringarna anger på olika sätt tidsvärdesrelationerna mellan nottecknen – här är vårt “vanliga” notsystem ett bra exempel (Hambrœus 1970: 16).
6.1.1 Melodi
Viktigt att notera gällande ett musikstyckes melodi är att den, oavsett vilken ton man börjar på, fortfarande bibehåller samma melodi; “melodin är 'invariant' i förhållande till tonhöjdsläget”, skriver Sällström (1991: 41). Detta innebär att melodin inte är bunden till noterna, utan kan framföras i vilken tonart som helst och ändå accepteras som samma melodi. Detsamma gäller även för uppläst text: den kan ha samma
“melodi” oberoende av vem som läser den; vare sig om den läses med ljus eller mörk röst kan den följa en viss tongång. Till exempel skulle Winston Churchills tal Blood, toil, sweat and tears kunna framföras med samma satsmelodi av en
kvinnoröst, trots att detta skulle resultera i en ljusare tonart.
6.1.1.1 Diastematik
Att musiknotation är diastematisk innebär att den visuellt på pappret försöker gestalta tonernas höjningar och sänkningar genom deras vertikala position. Noterna
placeras fysiskt högre eller lägre på raden beroende på om tonen är högre/ljusare eller lägre/mörkare. En hög ton översätts alltså genom en not placerad högt upp på notraden medan en lägre ton placeras längre ned på notraden. Eller som Sällström (1991: 33) förklarar det: diastematisk skrift “uttnyttjar den vertikala dimensionen för att åskådliggöra melodilinjen.” Sällström framhåller dock att den vertikala
dimensionen på en notation inte är detsamma som en exakt motsvarighet till tonhöjd och inte heller den horisontella dimensionen en motsvarighet för tid. Sälltröm (1991:
52) skriver:
Jag har [...] velat hävda att den horisontella dimensionen i notskriften inte primärt är (eller varit) en kronometrisk koordinataxel, lika litet som den vertikala dimensionen skulle vara en koordinataxel för tonhöjd. Nej, sin tvådimensionella uppbyggnad till trots är notskriften inte en på geometrisk analogi grundad representation av musiken, utan en symbolskrift, ett ideogram.
Vi får alltså inte luras till att tro att den diastematiska notskriften skulle vara precis lika med den musik som framförs. Det diastematiska notsystemet är en estetisk tolkning av ljud i form av ideogram, inte ett exakt matematiskt diagram.
Notskrifter som inte är diastematiska åskådliggör melodins förlopp på andra vis;
chieronomisk notskrift antyder melodins gång, men preciserar inte intervallerna mellan tonerna. I lineär notskrift skrivs alla tecken på en och samma rad utan hänsyn till diastematik (Hambrœus 1970: 16).
6.1.1.2 Neumer
Redan på 400-talet använde man sig i Europa av teckensystem för enstämmig sång.
Detta notationssystem är för oss intressant att titta närmare på då det inte angavs någon bestämd tonhöjd utan enbart den melodiska linjens höjning eller sänkning, vilket är desto viktigare för vårt syfte. Notsystemet byggde således huvudsakligen på antydningar, så kallade neumer (av det grekiska ordet för vink, åtbörd eller tecken) och gav inga precisa angivelser (Sällström 1991: 30-33). Neumer kan klassificeras till den tidigare nämnda kategorin accentnotskrifter, som har utvecklats ur språkets inneboende betoningar (Hambrœus 1970: 48). Då systemet är sprunget ur språket är tonförrådet helt och hållet ett resultat av vokala konventioner – det har ingen instrumental anknytning såsom dagens rådande system har (Hambrœus 1970:49).
Det finns ett vitt spektra av neumatiska notationssystem. Vi tar upp några av de för oss intressantaste.
Av de tidiga neumiska notationssystemen finns två huvudsakliga inriktningar:
accentneumer (inte att sammanblandas med accentnotskrifter, som är en hel notskriftskategori) samt punktneumer (Bent 1995: 335). Den avgörande skillnaden mellan accentneumerna och punktneumerna är att ett tecken av de förstnämnda kan representera åtskilliga toner, medan varje streck eller punkt i punktneumatisk notation indikerar en separat ton (Emerson: www.oxfordmusiconline.com).
Accentneumerna (se bilaga 1) bestod av symboler huvudsakligen utformade av raka och böjda streck vilka representerade den stigande och fallande melodin (Bent 1995: 335). Tecknen kunde antingen vara enkla; motsvarande en enkel ton eller förenade; bestående av flera sammansatta toner (Corbin 1995: 129). Utöver enkla
och förenade neumer fanns även ornamentala; metoder för att utsmycka sången med vibrato och liknande (Corbin 1995: 130).
Accentneumerna tyds på följande vis:
en ton
ton som hålls längre än “standardtonen”, dvs. punktsymbolen.
tonen är högre än den som ligger före eller efter tonen hålls ut
Den bysantiska accentneumatiska notationen var något annorlunda i sin utformning och byggde på fyra grupper i vilka neumerna kategoriserades (se bilaga 2)
(Velimirovi! 1995: 146). Dessa kategorier kan vara givande att titta närmare på då de skapar en förenklande struktur att hänga upp symbolerna på, och gör dem mer översiktliga.
• Kroppar, vilka innebär en mindre höjning eller sänkning, en så kallad conjunct movement, alltså en efterföljande ton som ligger en eller en halv ton över eller under den föregående. Den bysantiska notationen innefattade en enda symbol för en fallande ton samt inte mindre än sex symboler för stigande, där stigningen också inbegrep olika extrakvaliteter (Ibid.).
• Andar: större hopp – det vill säga att efterföljande ton ligger mer än en (hel) ton högre eller lägre än den föregående. En ande måste ta avstamp i en kropp (Ibid.).
• Övriga tecken: sådana tecken som varken är kroppar eller andar och där många har med rytm eller tempo att göra (däribland accelerando, ritardando, förlängning samt upprepning) (Ibid.). Dessa tecken anvisar också högläsaren om olika manér i utförandet (Hambrœus, 1970b: 15).
• Förenade tecken: tecken sammansatta av två symboler från några av de tre ovan nämnda kategorierna (Velimirovi! 1995: 146). Dessa tecken medförde att man med bibehållen exakthet kunde uttrycka flera aspekter av musiken med ett fåtal tecken och var således mycket utrymmeseffektiva (Hambrœus 1970: 58).
Hambrœus (1970: 57) skriver om det bysantiska systemet: “Med denna notskrift kan såväl exakta intervall som utförandetekniska detaljer anges med en rationaliserad noggrannhet och en enkelhet, som det knappast har funnits motsvarighet till i Västerlandet varken då eller senare”. I senare utveckling av det bysantiska systemet (1300-1800-tal) skrev man ofta de övriga tecknen, det vill säga de som uttrycker rytm och manér, i rött ovanför de med svart bläck tecknade kropparna och andarna (Hambrœus 1970: 58).
Accentneumerna skrevs på en (icke utskriven) horisontell linje ovanför
textraderna (Corbin 1995: 129). Dessa är alltså inte diastematiska, det vill säga tonen representeras inte av notens/tecknets vertikala position på sidan. Punktneumernas placering på sidan är däremot mer flexibel och skapar en relativt tydlig visuell representation över hur tonen stiger och faller (Ibid.). Punktneumerna drar sålunda mot det diastematiska hållet. “Dessa båda typer markerar också en viktig skillnad i uppfattningen av musikens förlopp och utförande”, betonar Hambrœus (1970: 60);
med accentneumer “är det den melodiska rörelsen som fixeras” och med punkneumer “är det de isolerade tonerna och inte rörelsen mellan dem som
noteringen tar sikte på.” (Se bilaga 1). Corbin (1995: 137) anser punktneumerna vara
“the most precise and easy to read” av de olika neumatiska notationssystemen, på grund av denna tonhöjdsrepresenterande placering.
Då punktneumatisk notering är skriven för en ensam stämma betyder tre punkter ovanför varandra inte ett simultant ackord, utan tre toner i följd. Tonerna ska framföras i fallande succession då punkterna är placerade lodrät ovanför varandra – en stigande tonföljd tecknas i en snett uppåtlutande rad (Hambrœus 1970: 67) (se bilaga 1). Från att på boksidan ha placerats in campo aperto; “på öppet fält”, infördes i slutet av 1100-talet en utskriven linje att placera noterna efter, vilket blev en föregångare till dagens femlinjiga system. “This facilitated reading, but still gave no precise indication of the intervals”, skriver Corbin (1995: 137).
Figur 6.1 Punktneumer (“MS658” från schoyencollection.com).
Utöver dessa två huvudinriktningar inom neumatisk notation, kan även nämnas det tibetanska systemet. Detta utvecklades förmodligen under 1000-1100-talen och har tydligt indiskt påbrå (Helffer 1995: 151). Det finns inte mycket kunskap om denna sorts notation, men kan vara gynnande att beröra då det har en mycket speciell och genomtänkt layout på pappret.
Den information som finns tillgänglig på det tibetanska notbladet inbegriper följande, eller delar av följande: titeln på texten som framförs, eventuellt titeln på melodin samt själva sångtexten. Ovanför texten ligger i form av neumer en
indikation på hur stycket ska uppföras (Ibid.). Neumerna har en mycket specifik stil som av Helffer (Ibid.) beskrivs som “curved lines and undilations of varying amplitude.” Man finner även kommentarer skrivna med mindre bokstäver placerade över eller under sångens textrader som är länkade till denna genom en prickad linje.
Kommentarerna inbegriper för det första hur stämman ska låta (det vill säga exempelvis högtidlig och mättad, avslappnad eller gäll och tunn), och för det andra den melodiska rörelsen – jämn, stigande, fallande, konvex eller med tvära kast (Ibid.).
På notbladet finner man utöver detta även ornament; hur sången ska
“utsmyckas” – till exempel med vibrato eller tremolo (där tonen sjunges med små, snabba tonhöjdsförändringar) (Ibid.). Specifika tecken (ett kors eller liten cirkel) markerar trummans eller cymbalens ingång i sången. Rytmen indikeras bredvid titeln.
Tolkning av denna notation har endast påbörjats och en full redogörelse för hur den ska tydas finns ännu inte (Ibid.).
Figur 6.2 Tibetanska neumer (“MS5280” från schoyencollection.com).
6.1.1.3 Notraden
Guido av Azerro var den som under 1000-talet introducerade att teckna noterna på linjer för att precisera vilken ton det handlade om. Här kommer vi sålunda ännu närmare en tydligt diastematisk notation. Hambrœus (1970: 68) skriver att själva idén med linjesystemet växte fram ur en levande praxis och var egentligen inte ett resultat av teori. Systemet användes helt enkelt för att underlätta inlärningen av noterna i musikundervisning (Ibid.). Själv beskrev Guido sin uppfinning på detta sätt: ”Ordningen är sådan att varje ton, hur ofta den än upprepas i en melodi, alltid finns på sin bestämda plats, i sin bestämda rad.” (Sällström 1991: 33). Tonerna blir nu alltså behändiga enheter som alltid låter likadant oavsett vilken ton de följer på.
Det handlar inte lägre om antydningar utan om något mätbart, något som med ett instrument kan upprepas med samma klang igen och igen.
Varje linje markerar ett tersavsånd till nästa linje, det vill säga att på första linjen ligger ton (1), på andra linjen (3), tredje linjen (5) och så vidare. I mellanrummen hamnar ton (2), (4) etc. På en c-durskala:
Figur 6.3 C-durskala. Ton (1), (3), (5) och (7) ligger på linjen.
6.1.2 Rytm
Frank Armstrong beskriver i sin artikel “Hearing Type” (www.aiga.org) rytm på följande vis: “Rhythm is a temporal pattern formed by various durations of rests (silence) and tones with different degrees of emphasis (accented or stressed beats).”
Sloboda (1997: 259) gör det på ett liknande sätt: “rythmic patterns are made up by selecting time intervals asymetrically from a larger set of small equal time intervals, [...] rythmic patterns tend to repeat in such a way as to mark off time into equal segments.” En rytm är sålunda en puls, ett återkommande taktslag som genom sin upprepning bildar ett mönster. Vi kommer att beröra den visuella representationen av rytm i två olika notsystem, koralnotskriften och dagens rådande system. Nämnas kan dock att rytmen inom de neumatiska notsystemen huvudsakligen tros ha visats medelst de tomma utrymmena mellan neumerna samt genom språkets egna betoningar (Corbin 1995: 132).
6.1.2.1 Koralnotskrift
Koralnotskriften var en direkt konsekvens av neumsystemets korsning med notradssystemet (Hambrœus 1970: 70). Efter införandet av notrader krävdes en förgrovning av noterna från neumernas tunna streck till breda svarta rektanglar för att de tydligt skulle avteckna sig mot linjerna (Ibid.) (se bilaga 1). Då koralnoterna på ett mer medvetet sätt började inkorporeras i den grafiska bilden på boksidorna krävde de också en mer lämpad form för att samverka bättre med den gotiska formen på manuskripten och dess typografiska frakturer (Corbin 1995: 132, 134).
Systemet är speciellt utformat för enstämmig sång och formas runt fyra notrader och används än idag inom gregoriansk körsång (Sällström 1991: 34). Det är också detta system som ligger till grund för dagens rådande notsystem (Hambrœus 1970: 70).
Vad som är speciellt intressant med koralnotskriften är att det nu började angivas längd på noterna (eller snarare, det är först här forskarna är någorlunda ense om hur noternas längd avläses). Till skillnad mot dagens system, där noternas längd uttrycks med flaggor och färg (halv- och helnoter är ofyllda, medan övriga är svarta), anger koralnotskriften tonens duration med hjälp av själva noternas form. Brevistecknena, det vill säga de längre noterna (brevis betyder paradoxalt nog “kort” på latin), är rektangulära medan de kortare, semibrevis (latin för “en halv ’kort’”), har en rombisk form (Hambrœus 1970: 73). Där en hel stavelse ska sjungas med en ton används de rektangulära brevistecknen. Skall sångaren däremot skifta ton under en och samma stavelse gestaltas det i notsystemet med fler korta semibrevistecken (Ibid.). Hambrœus (1970: 76) framhåller dock att koralnoternas utseende inte ger oss några säkra uppgifter om exakta tidsvärden, då dessa i ännu större utsträckning än dagens noter var beroende av stycket i vilket de var inordnade i, för riktlinjer över hur länge de skulle hållas ut. Takten antas ha anförts av en dirigent som med sänkningar och höjningar med handen angav styckets rytm (Hambrœus 1970: 77). I övrigt baserades sångerna skrivna med koralnotskrift ofta på förutbestämda rytmiska mönster likt litteraturvetenskapens metrik (vilket behandlas mer ingående under litteraturkunskapskapitlet nedan). Takterna byggde alltså på sångtextens betonade och obetonade stavelser, där en betonad stavelse var lång och en obetonad kort (Hambrœus 1970: 83-84). Styckets rytm kunde inte kopplas loss från sångtexten som framfördes, då det var textens uttal som utgjorde grunden för musikens taktart,
“the essential musicality of song was held to lie in the intonation of its words”, skriver Ingold (2008: 21). Här är viktigt att understryka att forskarnas teorier går isär angående likheten med litteraturens metrik, och man kan alltså inte vara riktigt säker på denna punkt (se bl.a. Hambrœus 1970: 85).