Analys

Analysen av det insamlade materialet har skett med olika statistiska metoder. I det här avsnittet kommer de välkända statistiska standardmetoder som använts inte att beskrivas närmare utan utrymmet lämnas helt åt den mindre kända huvudmetoden, flernivåanalys. Innan redogörelsen för flernivåanalysen kommer dock ett avsnitt om hur betygen transformerats till numeriska värden samt valet mellan olika typer av mått.

Det är inte självklart hur de svenska betygen ska översättas till numeriska värden när de behöver behandlas statistiskt. En möjlighet är den metod som är fastslagen när meritvärdet för antagning till gymnasium och högre utbildning beräknas och en annan är att direkt ordna betygen. Se tabell 2.

Tabell 2. Två huvudmetoder för översättning av de svenska betygen till numeriska värden.

Grundskolebetyg Meritvärdesmetoden Direkt skala

Ej uppnått målen 0 0

Godkänt 10 1

Väl godkänt 15 2

Mycket väl godkänt 20 3

Båda metoderna finns representerade i den tidigare refererade litteraturen kring kvantitativa studier av likvärdighet i betygsättningen. Det finns dock knappt någon diskussion kring varför den ena metoden valts framför den andra. Meritvärdesmetoden är representerad i bland annat Lindahls studie av kopplingen mellan kön och etnisk bakgrund samt avvikelse mellan provresultat och betyg.129 Även Stenhag använder meritvärdesmetoden. Metoden med direkt skala återfinns till exempel i Gustavsson och Yang-Hansens översikt av resultatutvecklingen i svensk skola.130

En skiljelinje mellan de båda metoderna verkar vara att meritvärdesmetoden huvudsakligen använts av ekonomer i kretsen kring IFAU medan pedagogerna på Göteborgs universitet liksom Skolverket i sin beräkning av nettoavvikelse använder den direkta skalan. I en artikel från kretsen

129 Lindahl (2007) s. 4.

31

på Göteborgs Universitet av Thorsen och Cliffordsson om den predikativa validiteten hos grundskolebetygen förekommer också en av de mest uttalade motiveringarna för den ena eller den andra metoden. I en mening nämns att den direkta skalan används för att inte skillnaden mellan godkänt betyg och ej uppnådda mål ska bli dubbelt så stor som skillnaden mot väl godkänt.131 Även Stenhag motiverar sitt val. Han hänvisar till att det börjar bli vedertagen praxis i forskningssamhället, vilket dock min genomgång av de mest aktuella studierna delvis motsäger.132

I den här studien används den direkta skalan, dels för att anknyta till huvudlitteraturen i form av Skolverkets rapporter och dels för att underlätta tolkningen av resultaten. Det finns dock ett teoretiskt problem med detta, och det anknyter till det tidigare valet av likvärdighet i betygsättningen som val av analysbegrepp snarare än validitet och reliabilitet. Vad som med de mer precisa begreppen hade kunnat ses som olika aspekter på betygsättningen, nämligen själva kunskapsbedömningen och dess vidare konsekvenser för den bedömde är i begreppet likvärdig betygsättning inte alls uttalat. Om med likvärdig betygsättning menas att en avvikelse som berör godkäntgränsen är dubbelt så betydelsefull som en annan avvikelse är oklart. Den direkta skalan tar inte hänsyn till de större konsekvenser som är knutna till godkäntgränsen, men å andra sidan gör inte meritvärdesmodellen det heller. Under den studerade tiden har konsekvenserna av att inte få godkänt betyg i svenska, engelska eller matematik varit mångdubbelt större för individen är skillnaden i meritvärde anger då det diskvalificerat den betygsatte från nationella gymnasieprogram.

Ett annat problem är om en avvikelse på mer än ett betygsteg ska räknas som två avvikelser eller en. I den inledande diskussionen kring nettoavvikelse i Provbetyg-Slutbetyg- Likvärdig bedömning? ges intrycket att det är höjningar respektive sänkningar som räknas och inte hur många betygsteg de avser men det är inte tydligt fastslaget.133 I den här studien kommer huvudlinjen vara att räkna en avvikelse på mer än ett betygssteg som en enda avvikelse. Skälet till det är min bedömning att en avvikelse om mer än ett betygssteg troligen har ett större samband med andra faktorer än med avvikande betygssättning på grundskolan. Resultaten kommer dock att kontrolleras även med ett mått som innefattar att räkna betygsstegen. Vidare utgör No-ämnena ett särfall. I olika delar av materialet används både blockbetyg och enskilda betyg för de tre ämnena. I de fall enskilda betyg använts kommer avvikelsen mellan kursbetyget i Naturkunskap A och snittbetyget användas. Det

131 Thorsen - Cliffordson (2012) s. 158.

132 Stenhag kan diock tolkas som att han i första hand därigenom motiverar att överhuvudtaget transformera betygen från ordinalskala till kvotskala. Komplikationerna med detta ligger dock utanför den här studiens ram. Det kan dock vara värt att nämna att problemen tycks vara något mindre med avseende på hur den omvandlade ordinalskalan används här. Att utföra exempelvis procentberäkningar på betyg och hävda att det motsvarar en procent av den för betygen underliggande förmågan har stora och problematiska implikationer. Dessa minskas dock en aning i denna studie då syftet är något mer fjärmat från att uttala sig om kunskapen som ligger under betygen.

32

innebär att förutom en avvikelse på ett betygsteg kan också avvikelser på en respektive två tredjedels betygssteg förekomma.

6.3.1 Flernivåanalys

I det här avsnittet kommer den använda statistiska metoden att förklaras kort. Först kommer en redogörelse för skillnaderna jäntemot vanlig regression och sedan diskuteras hur statistisk signifikans har beräknats. Flernivåanalysen har gjorts i MLwiN, en programvara utvecklad speciellt för flernivåanalys som tillhandahålls av Centre for Multilevel Modelling på University of Bristol.

Flernivåanalys är en statistisk metod för analys av data som är strukturerad i flera nivåer. I studien utgörs dessa nivåer av skolnivån, lärarnivån och elevnivån. Flernivåanalys är en typ av regressionsanalys. Skillnaden mot vanlig regressionsanalys är att i flernivåanalysen skattas regressionskurvor för varje studieobjekt på högre nivåer än den första. I studien innebär det att varje lärare och varje skola förses med en egen regressionskurva. Kurvorna kan antingen ha egna intercept eller både egna intercept och egna lutningar. I den här studien har bara varianten med endast egna intercept använts. Sedan beräknas spridningen mellan dessa kurvor inom varje högre nivå samt spridningen i den första nivåns residualer. Spridningsmåttet som anges är varians. Det innebär att den totala variansen som finns i datamängden på den första nivån delas upp i komponenter, en komponent för varje använd nivå. Dessa komponenter kallas inomklass-korrelationskoefficienter och de utgör studiens centrala mått. De har egenskapen att de är direkt storleksmässigt jämförbara med varandra. Det innebär att de kan användas för att ange hur stor andel av den totala variationen som finns på en given nivå. Det sker genom att man relaterar de olika nivåernas inomklasskorrelationskoefficienter till deras summa, som alltså också utgör den totala variansen.134

Normalt används flernivåanalys för att ge säkrare skattningar på regressionskoefficienter än vad som skulle bli fallet med vanlig regressionsanalys på en datamängd som är strukturerad i flera nivåer. Vanligen är man intresserad av någon variabel på högre nivå än den första.135 Inomklass-korrelationskoefficienterna kan då användas för att ange hur stor andel av den tidigare oförklarade variansen på en viss nivå som den oberoende variabeln förklarar. Man får alltså olika inomklasskorrelationskoefficienter om man använder en modell med bara nivåuppdelning eller om man inför oberoende variabler i regressionsekvationen. I den här studien är användningen den omvända. Inomklasskorrelationskoefficienterna utgör måttet och regressionskoefficienterna saknar i stort sett intresse, även om de tillsammans med interceptet förklarar en del av variationen. Motivet för att ändå använda flernivåanalys istället för att bara rakt av beräkna

134 Bickel (2007)ss. 9-12.

33

inomklass-korrelationskoefficienterna är att kunna använda oberoende variabler för kontroll. Figur 1 visar modellen innan någon oberoende variabel införts.

Figur 1. Den statistiska grundmodellen.

Interceptet blir här bara medelvärdet av y, den beroende variabeln, som i studiens fall är avvikelsen mellan slutbetyget från grundskolan och kursbetyget från gymnasiet i samma ämne. Om det finns varians inom de högre nivåerna v och u delas alltså interceptet upp i ett rent intercept samt komponenterna v och u som har olika värden beroende på vilken skola respektive lärare de skildrar. Varianserna inom nivåerna e, u och v beräknas och kan sedan jämföras. Eftersom inga oberoende variabler finns kommer alla regressionslinjer vara parallella med x-axeln. Modellen är alltså helt analog med vanlig beräkning av inomklass-korrelationskoefficienter. Det förändras när oberoende kontrollvariabler införs, se figur 2.

Figur 2. Den statistiska modellen med en oberoende kontrollvariabel.

Med kontrollvariabeln införd kommer istället alla kurvor att få betakoefficientens lutning. Som synes i ekvationen är kontrollvariabeln knuten till den första nivån, eleverna i det här fallet. I resultatavsnittet redogörs närmare för vilka kontrollvariabler som använts.

Den lilla datamängden har medfört att intercepten för lärar- och skolnivån inte har kunnat antas vara normalfördelade. Det innebär att statistisk signifikans har fått beräknas utan det antagandet. MLwiN tillhandahåller ingen direkt uppgift över p-värde för olika modeller. Det som istället erhålls är ett goodness of fit-värde där differensen modeller emellan kan användas för signifikansberäkning. Det sker genom att differensen jämförs med χ2-fördelningen. Antalet

34

frihetsgrader är detsamma som antalet tillagda variabler där varje nivå utöver den första räknas som en.136 Jämförelsen har gjorts mot tabellerade värden i Sannolikhetslära och statistik för lärare av Tom Britton och Hans Garmo.137