Kapitel 3: Metodologi och design
3.3 Validitet, reliabilitet och etik
I detta sista avsnitt för jag resonemang om validitet och reliabilitet i undersökningen, samt tar upp ett par etiska spörsmål.
3.3.1 Validitet
Som jag tidigare resonerat kring, har jag valt metod för att skapa så hög validitet i studien som möjligt. Fokussamtalen görs i en naturlig kontext: i deras egen musiksal tillsammans med klasskompisar, utifrån en videoinspelning av eget ensemblemusicerande. Därigenom ökar trovärdigheten att de uttalanden de gör, väl motsvarar uttalanden de skulle gjort i en vanlig
klassrumssituation. Ett alternativ hade självklart kunnat vara att använda observation som metod och spela in hela lektioner. Men eftersom målet varit att få fram elevbeskrivningar av musikalisk kvalitet, så hade det krävt ett enormt stort antal observationer för att komma upp i de över 600 utsagorna i mitt datamaterial. Fokussamtal har fördelen av att, som namnet anger, kunna fokusera på det du som forskare vill ha data kring. Detta kräver i gengäld reflektion över hur du arrangerar samtalen så att de kommer så nära det autentiska sammanhanget som möjligt, vilket jag försökt göra.
Larsson(1993) för fram att validiteten i forskning är avhängigt studiens interna logik, relationen mellan resultatens innebördsrikedom och struktur samt dess teoretiska bidrag till forskarsamhället. Mitt cirkelogram och min kvantitativa analys i resultatdelen är en strävan att nå just struktur. Mitt teoretiska bidrag finns också i de avslutande kapitlen som bland annat syftar att ta fram metoder för utveckling inom området, både forskningsmässigt och i själva skolverksamheten som sådan.
I sex av sju samtal har elevernas egen betygssättande lärare varit samtalsledare, det vill säga jag själv. Detta tillvägagångssätt kan ifrågasättas. Skapar det inte en beroendeinställning för eleverna och en benägenhet att säga det som antas vara politiskt korrekt, till och med betygsmässigt taktiskt riktigt? Mot sådan kritik har jag två invändningar. Till och med aktionsforskning, där forskaren själv är en del av datamaterialet, är numer allmänt accepterat. Detta under förutsättning att forskaren är medveten om sin bias och problematiserar sin roll i studien och den eventuella påverkan den kan ha på
resultatet, något jag gör på flera ställen i denna uppsats. Istället menar exempelvis Kvale att en fördel vid en kvalitativ intervju är just det faktum att informanterna känner förtroende för intervjuaren. Situationen känns mer bekväm för alla inblandade, stämningen blir öppen och svaren mer obesvärade. Jag känner igen sådana beskrivningar när jag tänker tillbaka på samtalen. Just pilotstudien på andra skolan var stelare och trögare än de med mina egna elever, på grund av det faktum att vi var mer obekanta med varandra. Ändå hade jag träffat även dem vid ett flertal tillfällen före intervjun. Som insider-forskare har du dessutom mycket större chans att tolka diskursiva faktorer under samtalet, du har så kallad "kontextuell kunskap" (Kvale, 2009, s 323). Detta gäller exempelvis den tidigare nämnda företeelsen, att elever ibland hänvisar till saker på
videoinspelningarna som absolut inte finns där. Bristande uppmärksamhet eller förutfattade
meningar kan tyckas vara rimliga förklaringsmodeller, men som jag kommer visa senare är det i vissa ensembler rimligare att tolka det som en vilja att få en kompis att framstå i bättre dager – det vill säga smicker. Därav uppsatsens titel: " Bedöma eller berömma?". Att tolka svårförklarliga uttalanden och underförstådda signaler mellan eleverna, delvis icke-verbala, kan vara närmast omöjligt för en utomstående forskare. Då har den undervisande läraren mycket lättare att göra rimliga tolkningar. Min andra invändning har även den en koppling till uppsatsens titel. Det stora validitetsproblemet för olika uttalande ligger enligt min mening inte i relationen mellan elev och lärare/forskare, utan i samspelet elev/elev. Vid många tillfällen är det tydligt att en informants beskrivning av musikalisk kvalitet påverkas av kompisars tidigare svar eller förväntade reaktioner. Detta grupptryck och sociala spel är dock samma verklighet som de har att hantera på en vanlig lektion i musik, då de enligt kursplanen ska kunna ge omdömen om eget och kamraters musicerande. Utifrån ett mer
sociokulturellt perspektiv är detta samspel rent av själva utgångspunkten vid alla samtal; att såväl informanter som samtalsledare påverkar och påverkas av varandra. Det behöver alltså inte alls ses som ett validitetsproblem, men måste beaktas noga av forskaren vid tolkningen av enskilda utsagor. Rent praktiskt har jag själv gjort detta genom att väga varje uttalande mot den kontext som den har fällts i. Med den programvara jag använt har det varit enkelt att plocka fram citaten i sitt
textsammanhang. Dessutom var det ett effektivt språkligt knep att använda "gitarristen" och han/hon istället för namn/du/jag när vi samtalade om videoinspelningarna. Det var uppenbart att många elever vågade prata mer obehindrat, både om andra och sig själv på grund av detta. Sen blev ovanan att kalla kompisen/sig själv för "hon/han" också en vanlig källa till fnitter och roliga
situationer under samtalens gång, vilket i sin tur gav en mer avspänd atmosfär.
I vissa avseenden liknar mitt arbete aktionsforskning, när jag på ovan nämnda sätt både tar rollen som deltagare och forskare. Det viktiga ur validitetssynpunkt är i detta sammanhang att jag ständigt kopplar mina resultat till andras teorier och arbeten.
Ett problem av helt annan art är att uppsatsens elever var den sista årskullen som gick ut med den gamla läroplanen/betygssystemet. Hur ska det tillämpas på de nya spelregler som gäller nu? Betygsmässigt har inte skillnaderna mellan systemen någon praktisk betydelse, då jag i princip bara delat in eleverna i låg-, normal- och högpresterande. Samma indelning skulle kunna göras i vilket betygssystem som helst. Vad gäller kursplaneinnehåll, så står ensemblemusicerande i fokus både i den förra kursplanen och i den nuvarande. Enstaka kunskapskrav har blivit mer konkretiserade i Lg11, vilket inte inverkar på resultatet i min forskning, men delvis på diskussionen i uppsatsens
kapitlet kommer jag också argumentera för olika praktiska tillämpningar som uppsatsens resultat kan ge upphov till. Detta är enligt "pragmatiska kriterier" (Kvale, 2009, s 265) ytterligare ett sätt att höja validiteten på min studie, nämligen det faktum att den kan komma till nytta i skolvardagen för musiklärare.
3.3.2 Reliabilitet
Det räcker dock inte att forskningen verkligen mäter det den utger sig för att mäta. Vid sidan av validitet krävs reliabilitet, att läsaren kan avgöra trovärdigheten och generaliserbarheten i de slutsatser som dras. Särskilt i en kvalitativ studie krävs att forskaren hela tiden motiverar och
analyserar sina val, så andra kan följa forskarens tankegångar. Merriam (2002) menar att reliabilitet i kvalitativ forskning handlar om att tolkningar måste vara i överensstämmelse med data och att läsaren ska kunna följa analysen steg för steg i en obruten verifieringskedja.
Vidare ska en utomstående person kunna undersöka om beskrivningskategorierna går att återfinna i datamaterialet. Studiens design ska vara så väl beskriven att den kan upprepas (Bryman, 2004). Min studie visar därigenom hög reliabilitet, då alla intervjuer och videoklipp finns dokumenterade på band, liksom att allt analysarbete och all nyckelordskodning finns enkelt tillgängligt via Transana-filer. I resultatdelen finns ett urval citat från intervjumaterialet för att illustrera och exemplifiera
beskrivningskategorierna. Det ger möjlighet för läsaren att själv bedöma tolkningarna av utsagorna. En utomstående person kan därför genomföra en egen analys av det insamlade materialet och jämföra med mina tolkningar. Vid fokussamtalen var jag också noga med att hålla en låg profil och inte styra elevernas tankar, utan jobbade med öppna frågor.
En avslutande reflektion gäller det begränsade antalet informanter. 35 elevers utsagor känns helt tillräckligt för att fylla utfallsrummet i den fenomenografiska delen av studien. Jag har fått fram en tillfredsställande bredd på olika beskrivningar av vad musikalisk kvalitet är för en niondeklassare. Som jag tog upp i informantavsnittet så känner jag mig också trygg i att ha hittat ett mycket brett och representativt urval av elever. Däremot måste jag vara mycket mer försiktig med att dra långtgående slutsatser av den kvantitativa delen. Hur olika faktorer styr elevernas beskrivningar ger min forskning en del ledtrådar till, men för att kunna göra några säkrare tolkningar hade det krävts ett betydligt större underlag.
3.3.3 Etiska frågor
Samtliga informanter som valt att delta fick ett brev med sig hem där jag förklarade syftet och innehållet med min forskning, liksom att deras anonymitet var skyddad. Eleverna och deras föräldrar skrev under detta brev och tillät genom det att eleverna deltog i studien. Vid transkriptionen har alla informantnamn ersatts med nummer (1-35). Jag har avstått att ge informanterna möjligheten att läsa genom den färdiga analysen av samtalen för att kunna komma med kommentarer eller invändningar. Med tanke på det stora antalet informanter ansåg jag det som en orimlig stor procedur inom ramen för en mastersuppsats.
Vid den kvantitativa analysen har jag gjort ett medvetet val av vilka faktorer jag tagit med som kan påverka elevernas uttalanden. Jag har t ex valt att inte göra någon analys av uttalandena utifrån faktorn etnicitet. Med min långa erfarenhet från invandrarskolor finner jag det tveksamt både etiskt och begreppsmässigt att dela in elever som "svenskar" eller "invandrare". Verkligheten är mycket mer komplicerad än så. De flesta invandrare är födda i Sverige, och en elev med danska föräldrar har oftast mer gemensamt med infödda svenskar än en nyinflyttad arabisk kompis, trots att båda
statistiskt är just invandrare. Dessutom har jag under mina år som musiklärare inte kunnat urskilja några kvalitativa skillnader i musiksalen mellan olika etniska elevgrupper eller mellan invandrarskolor och mer svenskt segregerade områden.
Figur 4.1 Cirkelogrammet