3.5.1 Reliabilitet
Reliabilitet handlar i huvudsak om tillförlitlighet till en undersökning, och berör faktorer som påverkar huruvida en studie kan ge samma resultat om den upprepas under andra förhållanden (Eliasson 2013; Denscombe 2016). Lundahl och Skärvad (1999, s. 152) för ett liknande resonemang och nämner att “en undersökning med god reliabilitet kännetecknas av att själva mätningen inte påverkas av vem som utför mätningen eller de omständigheter under vilka den sker”. Vad gäller tillförlitlighet vid innehållsanalys betonar exempelvis Denscombe (2016) vikten av att källan som analysenheten hämtas från bland annat bör besitta auktoritet och trovärdighet. För studien avser källan Retriever Business, en databas som besitter dels auktoritet med sin begränsade tillgänglighet och rekommendation från högskolor och universitet, dels trovärdighet med en seriös webbplats, ett legitimt syfte, samt då de erhåller årsredovisningarna direkt genom Bolagsverket. Värt att nämna är däremot den risk som medförs i och med att vi undersöker årsredovisningar från 2018, men utgår från en urvalsram baserad på noterade företag på Stockholmsbörsen vid tidpunkten för 15 april 2020. Risken är att vissa företag i urvalsramen inte fanns på listan 2018, i och med att Nasdaq Inc (u.å.) redogör för att fler än fem företag växer från “First North GM” till “Main Market” varje år.
Fortsättningsvis kan bedömningen av en studies tillförlitlighet brytas ned i tre mindre beståndsdelar; intern reliabilitet, interbedömarreliabilitet, samt extern reliabilitet, vilka presenteras nedan.
Intern reliabilitet
Vid intern reliabilitet blir den viktiga frågan om indikatorerna som utgör en skala eller ett index är pålitliga och följdriktiga (Bryman & Bell 2017), samt behandlar huruvida variabler är högt korrelerade med varandra (Drisko & Maschi 2016). För att beräkna detta används Cronbach’s alfa (ibid), vilket redogörs för i tabell 6. I och med att de typer av variabler och kategorier som undersöks i innehållsanalysen skiljer sig åt i flera avseenden, har Chronbach’s alfa beräknats för flera olika grupper av variabler. Drisko och Maschi (2016, s. 48) beskriver
Tabell 6. Cronbach’s alfa.
Testade kategorier Kolumn Cronbach's alfa
Totalt A-L 0,0000008
För de fem ämnesområdena H-L 0,66
För de sex specifika förklarande faktorerna tillsammans A-F 0,0000008 För de två förklarande faktorerna för företagsstorlek B-C 0,000001 För de två förklarande faktorerna för hållbarhetsrapportens struktur E-F 0,052
att “an alpha value of .61 is considered adequate, while alpha values of .81 or greater are considered strong”. Detta medför att variablerna för de fem ämnesområdena undersökta genom kolumn H-L är delvis korrelerade (0,66) men på en godkänd nivå. Bland de övriga testade kategorierna föreligger ingen korrelation.
Interbedömarreliabilitet
När det handlar om subjektiva bedömningar finns det alltid en risk att olika personer tolkar företeelser olika, exempelvis vid en innehållsanalys där flera forskare individuellt ska översätta data från ett innehåll till kategorier (Bryman & Bell 2017). För att minimera denna risk bör undersökningen enligt Eliasson (2013) förberedas väl, där tydliga rutiner för samtliga involverade skall formas. I studien har därför kodningsmanualen varit särskilt intressant vad gäller noggranna riktlinjer uppsatta inför datainsamlingen kring granskningen av hållbarhetsrapporterna. Vidare har en pilotstudie genomförts, där vi individuellt beprövat kodningsschemat tillsammans med kodningsmanualen på två hållbarhetsrapporter i syfte att jämföra huruvida tolkningarna förhållit sig till varandra. Detta för att följa Denscombe’s (2016) rekommendation att internt observera våra tolkningar. I samband med pilotstudien har diskussioner förts kring olika typer av potentiella tolkningar, vilka resulterade i en vidareutveckling av ytterligare detaljer och specificeringar till kodningsmanualen.
Extern reliabilitet
Extern reliabilitet, eller replikerbarhet, handlar om huruvida en undersökning är möjlig att upprepa av andra under skiljande omständigheter (Krippendorff 2013; Bryman & Bell 2017;
Lundahl & Skärvad 1999). Replikerbarheten ökar om forskaren tydligt redogör för hur tillvägagångssättet i studien har gått till (Bryman & Bell 2017). Lundahl och Skärvad (1999) exemplifierar detta med att forskare genom välutvecklade standardiseringsförfaranden kan säkerställa att mätningen genomförs på bästa, möjliga, identiska sätt. Vidare innebär en korrekt genomförd innehållsanalys som datainsamlingsmetod i princip direkt replikerbara resultat (Krippendorff 2013; Denscombe 2016), vilket vi ämnar att uppnå i studien. Av dessa anledningar är bland annat urvalsprocess, operationalisering, samt utformning av innehållsanalys väl definierat och beskrivet vad gäller metodval och tillvägagångssätt, i syfte att uppnå en hög grad av replikerbarhet.
3.5.2 Validitet
Validitet berör bedömningen av om de slutsatser studien kommit fram till hänger ihop eller inte (Denscombe 2016; Bryman & Bell 2017), samt huruvida relevant operationalisering och variabler som lett fram till resultatet är (Drisko & Maschi 2016). Enligt Drisko och Maschi (2016, s. 46) menar många forskare att validitet generellt för innehållsanalyser är starkt, och nämner att “since the data are most often described in detail using well-established methods, validity is not questioned”. I likhet med resonemanget har studien noggrant genomgått operationalisering och väsentlighet för konstruering av kodningsschemat, samt utformandet av tydliga riktlinjer och beskrivningar i kodningsmanualen med ständig hänsyn till syfte och forskningsfrågor. För att fortsättningsvis behandla validitet diskuteras två typer av det nedan, vilka är intern- och extern validitet.
Intern validitet
Intern validitet handlar om noggrannheten och precisionen i den data som insamlas, och huruvida relevant den är för studiens forskningsfråga och syfte (Denscombe 2016). Detta
genomförts på ett relevant och enhetligt sätt så att de överensstämmer med varandra (Lundahl
& Skärvad 1999). Å ena sidan menar Denscombe (2016) att innehållsanalysens begränsning är att det finns en tendens att lyfta ut de teoretiska delarna och deras betydelse från dess kontext, ett fenomen som för studien undvikits genom en noggrann process för val av teorier och dess variabler för innehållsanalysen. Å andra sidan menar Krippendorff (2013) att innehållsanalysens styrka är den automatiskt uppnår hög validitet i och med sitt tydligt definierade tillvägagångssätt metodmässigt.
Extern validitet
Extern validitet berör generaliserbarhet, det vill säga huruvida resultatet av en studie är möjligt att generalisera för hela populationen (Denscombe 2016). Vid ett slumpmässigt urval blir den externa validiteten hög (Drisko & Maschi 2016; Bryman & Bell 2017; Denscombe 2016; Lundahl & Skärvad 1999), och denna studien utgörs av ett obundet slumpmässigt urval, vilket tillhör urvalskategorin för representativa urval, således urval representativt för populationen. Av den anledningen kan den externa validiteten bedömas som förhållandevis hög, men viktigt att beakta är att generaliseringen endast är möjlig i förhållande till studiens begränsningar och forskningsfrågor. Därmed är fastställda och signifikanta resultat endast tillämpliga för företag på Nasdaq Stockholm.