Studiens validitet och reliabilitet

Validitet kan sägas innebära att forskaren förvissar sig om undersökning mäter och fångar in det som studien avser att undersöka och därmed kan göra säkra uttalanden utifrån resultatet (Flyvbjerg 2006). I kvalitativ forskning rör reliabilitet enkelt uttryck aspekter av undersökningens tillförlitlighet, trovärdighet, överförbarhet och generaliserbarhet (Bryman 2018). Vad gäller synen på kvalitativa studier, och specifikt dess generaliserbarhet, ger Smith (2018) ett antal rekommendationer för hur kvalitativa studier kan förhålla sig till forskningskrav om reliabilitet och generaliserbarhet. En av ståndpunkterna handlar om att kvalitativ forskning inte nödvändigtvis måste ställas i relation till kvantitativ forskning, ”it is a mistake to write in

a journal article that a weakness or limitation of qualitative work is its lack of generalizability.”

(Smith 2018:14). Smith argumenterar alltså för att genererad data, givet den kontext inom vilken forskningen bedrivs, kan vara mycket värdefull utan att vara generaliserbar.

Vidare på en större detaljnivå argumenterar Tracy (2010) för sammanlagt åtta kvalitetsmarkörer för kvalitativ forskning: (a) worthy topic, (b) rich rigor, (c) sincerity, (d) credibility, (e)

resonance, (f) significant contribution, (g) ethics, and (h) meaningful coherence. I det följande

förs ett resonemang om hur den aktuella studien förhåller sig till dessa kvalitetsmarkörer. Vad gäller den aktuella studiens relevans och signifikans har argument förts fram för varför ny kunskap inom detta område är ett viktigt kunskapsbidrag. Vad gäller studiens val av metod motiveras valet att använda en kvalitativ sådan av den komplexitet som omgärdar forskningsfrågornas fokus, dvs. en djupare förståelse för lärarnas uppfattning och tillämpning. Att välja en kvantitativ metod, exempelvis enkäter, skulle också ge värdefull information och tjäna andra syften som att kartlägga attityder eller förekomsten av svårhanterade fall. Förmodligen skulle kvantitativa data däremot ge sämre underlag för en tolkning av de bakomliggande processerna för lärarnas resonemang och uppfattning av den nya förordningen (jmf Descombe 2016:271).

Vidare har kritiska röster höjts mot kvalitativ forskning och användbarheten av fallstudier med ett begränsat antal deltagare (Flyvbjerg 2006). En invändning mot den aktuella studiens metod

för datainsamling skulle därmed kunna vara att den är baserad på ett begränsat antal individer. I en forskningsstudie av liknande karaktär (Jönsson & Klapp 2020) använder två forskare semistrukturerade intervjuer med sammanlagt 21 personer där intervjuerna varade i genomsnitt 23 minuter. Utifrån givna ramar och studiens omfattning har dock ett lägre antal deltagare än så bedömts som rimligt i denna studie. Dels genomförs denna studie av en individ, dels var upplevelsen under insamlingens slutfas en viss mättnad i lärarnas utsagor. Exempelvis märktes redan vid den tredje intervjun att diskussionerna drog åt liknande håll som tidigare intervjuer, i synnerhet i relation till studiens första forskningsfråga. Idealiskt vore givetvis att fokusgrupperna inte haft bortfall på grund av sena återbud, men att genomföra ytterligare intervjuer under eskalerande pandemi bedömdes som orimligt. Av dessa anledningar sammantaget har antalet fokusgrupper och det totala antalet deltagare bedömts som tillräckligt för den aktuella studiens omfattning, syfte och fokus.

Att urvalet för denna studie skett utifrån en upparbetad intresselista där lärare tidigare själva aktivt uttryckt sitt intresse att delta i provrelaterade arbetsgrupper skulle kunna ge intrycket av att de är mer kunniga på området än andra lärare (ett engagemang som skulle kunna stärka validiteten i studien). Det kan dock lika gärna vara så att lärarna som sökt sig till enheten för nationella prov i geografi aktivt söker fortbildning. Eftersom denna studie aldrig gör anspråk på att skapa generaliseringar för hur alla lärare i Sverige resonerar har deltagarnas engagemang och intresse inte bedömts som varken skadligt, gynnsamt eller problematiskt för studiens tillförlitlighet.

Vidare, för att stärka tillförlitligheten och precisionen i studiens metod användes en intervjuguide. För utprövning och utvärdering av denna genomfördes också en pilotstudie. I pilotstudien framkom flera värdefulla insikter, exempelvis att vissa perspektiv upplevds ta för lång tid i anspråk utan tydlig bäring för syfte och frågeställning samt att frågornas ordning behövde justeras. Resultatet blev en tematiskt strukturerad intervjuguide (se Bilaga 1). Intervjuerna genomfördes vid samtliga tillfällen under likartade former. Diktafon tilläts av deltagarna och hela upptagningen och transkriberingen skedde i anslutning till respektive intervju. Transkriberingen har varit ordagrann och har i det närmaste återgivit talspråket. Detta tillvägagångsätt kan enligt Trost (2010) anses vara betydelsefullt för en hög reliabilitet. Att genomgående redovisa utsagor i resultatet är också något som rimligtvis stärker studiens trovärdighet och förmåga till resonance (jmf Tracy 2010:884ff).

Ytterligare en aspekt med relevans för både validiteten och reliabiliteten är den så kallade intervjuareffekten (Kvale 2006). Exempelvis kan det vara så att deltagnara upplevt det bekvämare att svara något som de uppfattat att intervjuaren efterfrågat, eller att de känt sig obekväma att vara kritiska till nationella prov. Samtidigt får forskarens bakgrund här antas vara en fördel när det kommer till förförståelse för studiens fokus och lärarnas praktik och vardag. I denna studie har det dock inte skett några uppföljande samtal eller diskussioner kring en faktisk bedömningssituation. Det går därmed inte att verifiera eller följa upp om det läraren ger uttryck för också är det som läraren tillämpar i sitt praktiska bedömningsarbete. Huruvida lärarna är mer eller mindre kunniga inom området har heller inte gått att verifiera inom ramen för denna studie. Det kan dock antas att lärarna precis som intervjuaren besitter en relevant och god bakgrundsförståelse.

Sammantaget är bedömningen att studien, givet rådande förutsättningar, beaktar de kvalitetsmarkörer som diskuteras av Tracy (2010). Vad gäller generaliserbarheten ska studiens resultat inte utläsas som en generalisering med representativitet för alla So-lärare och alla möjliga sätt att resonera, utan tolkas som kvalitativt relevanta fynd och indikationer. Resultatet är således ett kunskapsbidrag för hur uppfattningen och tillämpningen av förordningen kan te sig för ett större antal lärare än de som ingick i studien.