Trots att det finns många olika begrepp och metoder för att bedöma kvaliteten i vetenskapliga arbeten är det i slutändan du som läsare som ytterst bedömer om studiens metod och resultatet är tillförlitliga. Ovanstående presentation av såväl metodologiska utgångspunkter som tillvägagångssätt är därför tänkt att ge dig som läsare möjlighet att bedöma kvaliteten på studiens resultat.
Traditionella mått för fallstudien
Kvalitativa studier och traditionella mått för att bedöma tillförlitligheten i vetenskaplig forskning är ett omdiskuterat område. Det handlar främst om problem att mäta och utvärdera kvalitativa metoder. Utan att gå djupare in på problematiken men ändå ge lite mer perspektiv på kvalitetsarbetet kring studien så har jag valt att presentera fyra kvalitetsmått varav tre är mått på validitet och ett avser reliabilitet som Yin (2003) hävdar är bra utgångspunkter för att reflektera över kvaliteten hos fallstudier. Nedan beskrivs de olika måtten tillsammans med några inslag om hur jag arbetat för att möta dem i studien. I övrigt är det upp till dig som läser att tolka huruvida studien möter dessa kvalitetsaspekter.
Construct validity
Construct validity fokuserar på om forskaren har lyckats att upprätta ett funktionellt mått för de koncept som ska studeras. För att möta kraven på construct validity måste forskaren dels precisera vad det är; vilka förändringar eller detaljer som ska studeras och dels visa att resultatet speglar det som hon avsåg att studera. Rent praktiskt i fallstudien kan det innebära att man samlar in information från flera källor. Forskaren ska också aktivt försöka skapa en stark beviskedja som går att följa exempelvis baklänges från slutsatser till
intrervjufrågor och forskningssyfte eller tvärtom. En tredje väg för att stärka construct validity är att låta studiens informanter läsa och bedöma ett utkast till rapporten. (Yin, 2003)
Det sistnämnda kallas ibland för ”member checking” (Stake, 1995, s. 115) och syftar till att låta informanten bedöma om den bild som forskaren fångat stämmer överens med hennes bild av det studerade. Det kan jämföras med hur resultatet av efter den första analysnivån lämnades ut till informanterna för att de skulle kunna påpeka eventuella felaktigheter som borde rättas till för ge en så verklighetstrogen bild av fallet som möjligt. För att skapa en konceptuell grund som Yin (2003) efterfrågar använder jag inledningsvis de av mig definierade forskningsfrågorna som preciserar vad som ska studeras. Under studiens gång utvecklas i detta undersökningsprotokoll, intervjuguider och slutligen i intervjusituationen där informanternas inifrånperspektiv preciserar vad som är intressant i fallet.
Intern validitet
Begreppet intern validitet behandlar frågan om det som undersökes verkligen är det som man tror eller om det kan vara andra saker som står utanför vår kontroll som påverkar resultatet. Yin (2003) menar att den interna validiteten endast är av betydelse för fallstudier då man försöka hitta kausala samband mellan händelser eller då man gör slutledningar baserade på sådant som framkommit i dokument eller intervjuer men som man ej haft möjlighet att observera själv. Problemet som man ställs inför är om den information man får täcker alla aspekter av det
studerade eller om det finns något betydelsefullt som gått förbi forskaren. För att hantera problem med den interna validiteten menar Yin (2003) att det är viktigt att utgå från en generell analysstrategi och tillämpa väl utarbetade tekniker i datainsamling och analys. Merriam (1998) beskriver sex olika strategier som kan förbättra den interna validiteten varav en är triangulering mellan källor, metoder och forskare. Det är något som Stake (1995) också förespråkar för att generellt
säkerställa en högre kvalitet hos fallstudier. I studien har jag utgått ifrån egenutvecklade strategier för både datainsamling och analysarbete där material från intervjuer och andra typer av skriftliga dokument ingått för att belysa fallet. Vidare menar Merriam (1998) att member checking som berörts tidigare stärker den interna validiteten. Datainsamlingen kan också äga rum över en längre tid så att forskaren har större chans att observera fler detaljer. Peer-review, dvs. att be kollegor eller andra forskare kommentera resultaten under processens gång eller till och med involvera flera människor i att analysera och skriva stärker också den interna validiteten. Slutligen menar Marriam (1998) att det är viktigt att forskaren beskiver sin egen bakgrund och förhållande till det studerade fenomenet för att läsaren ska kunna bedöma hur forskaren själv kan ha påverkat studien. I beskrivningen av forskningsstrategin har jag försökt att kortfattat poängtera kopplingar mellan mina tidigare erfarenheter, bakgrund och det studerade.
Extern validitet
Detta tredje validitetsbegrepp handlar hur generaliserbart resultatet är och i vilken grad det kan överföras till andra situationer (Merriam, 1998). Den externa
validiteten är problematisk för kvalitativ forskning (Merriam, 1998) och så även för fallstudier (Yin, 2003) då man studerar ett eller ett fåtal fall. I fallstudier handlar det dock inte om den traditionella statistiska generaliseringen utan snarare om analytisk generalisering (Yin, 2003). För att kunna utföra generaliseringen krävs dock att flera fall uppvisar samma resultat.
För att stärka förutsättningarna till generaliserbara resultat bör fallet beskrivas i detalj och relateras till liknande fall så att läsaren kan bedöma hur fallet matchar andra situationer. Genom att använda flera fall med olika karaktär förstärks också möjligheten till generaliserbara resultat. (Merriam, 1998) Här har jag försökt möta validitetskriteriet genom att ge en så detaljerad och verklighetstrogen bild av fallet som möjligt. En bild som bygger på kategorisering av det insamlade materialet med så få egna tolkningar som möjligt för att låta läsarens egna erfarenheter ligga till grund för naturlig generalisering.
Reliabilitet
Ur ett kvantitativt forskningsperspektiv beskriver Olsson och Sörensen (2001, s. 73) reliabiliteten som ”…graden av överensstämmelse mellan mätningar med samma mätinstrument, dvs. man får samma resultat varje gång man mäter”. Precis som de övriga kvalitetsbegreppen är reliabiliteten problematisk när det gäller kvalitativ forskning eftersom forskaren utgår från mänskliga erfarenheter och beteenden som kan tolkas och uppfattas olika beroende på situation och person (Merriam, 1998). Men forskarens insats kan precis som mätverktyg förbättras genom övning och erfarenhet och data kan samlas in från olika källor och analyseras utifrån olika tekniker för att stärka resultatens reliabilitet (Merriam, 1998). Målet med reliabiliteten är att minska eller eliminera möjliga felkällor som påverkar resultatet (Yin, 2003). För att åstadkomma detta ser Merriam (1998) att forskarens förhållande till det som studeras måste tydliggöras; triangulering mellan olika metoder eller tekniker för datainsamling och analys är lämpligt samt att studiens procedurer beskrivs i detalj. Yin (2003) understryker också kravet på dokumentation för att kunna reproducera studien. I fallstudiesammanhang handlar det dock inte om att återskapa resultatet utan snarare att göra samma fallstudie igen.