Objektivitet/ intersubjektivitet
Då total objektivitet är ett ouppnåeligt mål gäller det att åstadkomma en forskningsdesign som i möjligaste mån undviker bias och strävar mot konsekvent genomförande. För att uppnå så hög objektivitet och intersubjektivitet som möjligt behöver man först och främst använda
urvalskriterier som leder till ett så representativt urval som möjligt.140
30
A priori design
”all decisions on variables, their measurment, and coding rules must be made before the observation begins”141
Att frångå detta leder till inkonsekvens i datainsamlandet, bias, systematiska systemfel och låg validitet.
Då undersökningen för denna uppsats är en totalundersökning måste Neuendorfs krav på a priori
design frångås. Det var inte möjligt att på förhand föreställa sig alla möjliga typer av källor som
kunde tänkas dyka upp i materialet då det bygger på en nyhetshändelse under utveckling. Den a priori design som gjordes före den allra första testkodningen visade sig dock vara relevant och endast mindre förändringar skedde under undersökningens gång, då nya variabler i form av källkategorier infogades i kodboken.
A priori design åstadkoms inom kvantitativ innehållsanalys genom operationaliseringar genom ett kodsystem. Den kodbok som detta resulterar i ger i sin tur kodarna gemensamma ramar.
Kodboken skall vara konstruerad så att en variabel som förekommer i kodboken är matchad så att dess motsats också finns representerad i kodboken, annars har man byggt in en slagsida i metoden som förvränger resultaten och leder till låg validitet. Den kodbok som användes för denna undersökning innehåller inte matchade variabler som representerar varandras motsats. Då det rör sig om en totalundersökning är samtliga källor införda i de kategorier som förekommer i kodboken förutom de 19 (av 1324) som återfinns under variabeln ”övrigt”.
Reliabilitet
Det finns inget sätt att räkna ut huruvida variablerna överensstämmer med verkligheten. Men det går att räkna ut intersubjektiviteten – överensstämmelsen mellan hur olika kodare bedömt
materialet.142. Analysresultaten får högre reliabilitet ju utförligare kodboken och riktlinjerna för
kodning är utformade. Kodboken och riktlinjerna (kodmanual) återfinns i bilagor. Neuendorf menar att:
”There is growing acknowledgement in the research litterature that the establishment of intercoder reliability is essential, a necessary criterion for valid and useful research when human coding is employed”143.
141 Neuendorf, Thousand Oaks, 2002:11
142Østbye, Knapskog, Helland och Larsen, Malmö, 2003:225 143 Neuendorf, Thousand Oaks, 2002:142
31
Intercoder reliabilitet
För att motarbeta att en individs subjektiva tolkningar av variablerna snedvrider resultatet bör minst två kodare koda materialet och ett ”reliability sub-sample” kodas i blindo, och därefter jämförs de olika kodarnas resultat så att reliabiliteten kan bedömas. Det finns olika statistiska formler som mäter ”intercoder” reliabiliteten. Måtten bedömer ”agreement” och
”covariation”.144 Agreement mäter graden av överensstämmelsen mellan kodarna. Neuendorf
citerar Ellis (1994) som menar att:
”correlation coefficients exceeding 0.75 to 0.80 indicate high reliability”145.
I undersökningen för denna uppsats blindkodades 60 enheter, antalet källor var i detta reliability sub-sample 170 stycken. Enheterna var slumpvis utvalda från alla de undersökta tidningarna med spridning över hela den undersökta perioden. Av de 170 källorna hade de två kodarna kodat samma 10 källor under olika variabler. Detta visar på en överensstämmelse, ”percent agreement”, på 94,1%, det vill säga en korrelationskoefficient på 0,94.
Validitet
”Are we measuring what we want to measure?”146
Validitet uppnås i innehållsanalys genom en djupgående förståelse för forskningsmålen. Att fördjupa sig i relevanta och angränsande ämnen/information/innehåll, detta kallar Neuendorf
”immersion in the message pool”147. Se litteraturförteckning för kringläsning. Samt att noggrant
välja ut lämpligt material att analysera.
Generaliserbarhet
Generaliserbarhet syftar på till vilken grad man kan applicera forskningsresultat från en
undersökning för att uttala sig om ett större underlag än vad som analyserats, eller för att uttala sig om ett liknande men inte identiskt underlag. Man försöker till exempel att använda resultat från en fallstudie för att få generell kunskap. När det gäller innehållsanalys kan det till exempel röra sig om till vilken grad resultaten från en studie går att applicera på det totala medieutbudet.
144 Neuendorf, Thousand Oaks, 2002:144
145 Neuendorf, citerar Ellis (1994), Thousand Oaks, 2002:143 146 Neuendorf, Thousand Oaks, 2002:112
32
Avgörande för en hög grad av generaliserbarhet är att urvalet för analys är tillräckligt stort och
representativt och att studien genomförs metodologiskt noggrant.148
Ansträngningarna för att uppnå metodologisk noggrannhet har varit omfattande vid framtagande av material och kodbok, samt vid kodning och analys. Fallstudien utgörs dock av ett mycket begränsat material. När det kommer till variabler som bygger på förekomster av källor som förmedlas genom sociala medier kan de tänkas vara överrepresenterade jämfört med annat nyhetsmaterial på grund av att användningen av sociala medier stod i fokus under rapporteringen (Revolution 2.0, internetrevolution, etc.).
Replikerbarhet
Ett forskningskriterium är möjligheten för forskare att kunna upprepa och bekräfta eller utmana en studies resultat. Möjlighet till detta uppnås genom utförlig redovisning av metod och material. Forskaren måste vid innehållsanalys noggrant designa och dokumentera procedurerna vid kodning för att möjliggöra en upprepning av studien. Detta behöver redovisas: Kodbok, instruktioner och riktlinjer för kodare, kodmetod vid användning av mänskliga kodare,
program/mjukvara som använts samt allt underlag, alla data som använts för att nå resultaten.149
Urvalsförfarande
Enligt Newbold et al. består urvalsförfarande för innehållsanalys av tre steg. De är val av medium och genre, val av period, och val av relevant innehåll. Urval bör ske så objektivt som möjligt för
att möjliggöra hög grad av reliabilitet. 150
Operationalisering
Operationalisering innebär processen att utarbeta mått lämpliga för undersökningen. Det vill säga
konstruktionen av en konkret mätteknik.151 Eftersom denna undersökning är en explorativ
totalundersökning och saknar hypoteser är operationalisering inte relevant. Variablerna är framtagna enligt vad som anges i ”metodbeskrivning”.
148 Neuendorf, Thousand Oaks, 2002:115 149 Neuendorf, Thousand Oaks, 2002:115 150 Newbold et al, London, 2002:80 151 Neuendorf, Thousand Oaks, 2002:118
33