Här kommer resultaten från studien att sättas in i ett större sammanhang. Sammanhanget består dels av den övergripande målsättningen med studien. Det vill säga att ge grund för att kunna uttala sig något litet om hur problemet med bristande likvärdighet i sättningen av grundskolans slutbetyg fördelar sig mellan skolnivå och lärarnivå. Vidare består sammanhanget av studiens resultat i förhållande till hur grundskolebetygens bristande likvärdighet kan förstås och angripas. Först kommer ett inledande stycke om den övergripande bilden. Sedan kvalificeras de tankar som presenteras där, varefter diskussionsavsnittet avslutas med att sammanfatta huvuddragen.
Huvuddraget i studiens resultat är att de stärker bilden av att lärarnivån är betydelsefull i förhållande till skolnivån. I vilken mån, och på vilka sätt behöver diskuteras mer ingående. Det första sättet är att studien ger två mätpunkter som pekar i riktning mot lärarnivåns betydelse. Den första av dessa mätpunkter är kopplingen på den nationella nivån mellan nettoavvikelse på de nationella proven i matematik och no-ämnen. Den andra mätpunkten är situationen över längre tid i den studerade kommunen. Det andra sättet som studien stärker lärarnivåns betydelse på är genom att den sätter sökarljuset på den bristande teorin för vad skolnivån betyder. Det senare av de båda sätten leder också över i det vidare perspektivet, hur problemen ska förstås och angripas. Här bidrar studien med några olika resultat. Det första är att förhållandet mellan lärarnivå och skolnivå behöver utredas teoretiskt. Det andra är att fokus behöver breddas från de ämnen där nationella prov ges till alla grundskolans ämnen. Just för den studerade kommunen finns också några lärdomar att dra i det praktiska arbetet med likvärdighet i betygsättningen. Dessa kan i sin tur sättas in i det övergripande perspektiv på syftena med pedagogisk bedömning som Lundahl uppmanar oss att tydliggöra.150 Det sista som studien bidragit med är att lyfta den statistiska metoden som intressant för att studera likvärdighet i betygsättningen även utanför relationen skolnivå-lärarnivå. Men vad studien bidragit med just i den relationen är det nu dags att komma till.
De båda mätpunkter jag hävdar att studiens resultat utgör är inte direkt några klart lysande fyrbåkar. Den första, sambandet mellan nettoavvikelserna i no-ämnen och matematik, måste ses i ljuset av skolverksrapporten där just denna indikation på lärarnivåns betydelse ursprungligen föreslås.151 Det är de betydligt starkare kopplingarna mellan svenska och engelska respektive matematik och no-ämnena än grupperna emellan som bildar ett mönster. Det mönstret är mätpunkten. Svagheten eller styrkan beror helt på vilka alternativa tolkningar av mönstret som kan tänkas. Vad som dock är tydligt är att det tidigare mönstret i och med denna studies resultat bekräftas och inte avfärdas. Så långt den första mätpunkten, nu över till den andra.
150 Lundahl (2009) s. 157.
55
Studiens huvudresultat om lärarnivåns stora betydelse relativt skolnivån är begränsat på tre huvudsakliga sätt. Det begränsas på grund av urvalet till att enbart gälla den studerade kommunen. Det begränsas på grund av bortfallet till att enbart gälla då minst godkänt betyg satts och slutligen begränsas det till att gälla över längre tid. Men innanför dessa begränsningar är resultatet tydligt, lärarnivån dominerar skolnivån stort. Genom sina begränsningar är resultatet i egen kraft av litet värde. Vad det däremot tillför är just en mätpunkt för den som ger sig på att angripa frågan på en mer övergripande nivå. För att ett sådant angrepp ska göras med framgång visar också studien att begreppsapparaten för området måste utvecklas.
När man talar om likvärdighet i betygsättningen och hela skolor är analysenheten blir avgränsningen av skolans betydelse inte självklar. Däremot visar studien att när skolnivån kontrasteras mot lärarnivån är det nödvändigt att göra tydligt vad som menas med en skolnivå. Jag menar att detta i sig sätter fokus på lärarnivån. Det ska inte tolkas som att varje gång en mer vardaglig uppfattning om olika skolors betydelse utvecklas så leder det till att skolnivån tonas ner. Det som däremot med nästan nödvändighet sker är att lärarstrukturen måste tas i beaktande. Det går inte att ha en reflekterad uppfattning om skolnivåns betydelse utan att ha funderat över vad det innebär att våra högstadieskolor har så pass olika lärarstruktur. I en del skolor finns det ämneskollegor som sätter slutbetyg varje år. I andra skolor sätter ämneskollegor slutbetyg vart tredje, eller till och med vart fjärde år. I åter andra är läraren ensam i sitt ämne. Att klargöra vad som kan menas med skolnivå leder alltså tanken mot lärarnivåns betydelse. Jag menar också att studien visar på behovet av ett sådant klargörande.
Därmed sker också en glidning från ett rent vetenskapligt perspektiv mot ett mer praktiskt orienterat. Att utreda olika tänkbara betydelser av skolnivån är inte bara intressant för att bättre förstå problemet med bristande likvärdighet i betygsättningen. En sådan förståelse är grunden för att kunna angripa problemet. Speciellt för frågan om lärar- kontra skolnivå gäller att om lärarnivån dominerar skolnivå så finns på många skolor möjligheten att förbättra likvärdigheten genom arbete inom skolan. Rent organisatoriskt är sådant arbete skilt från det arbete som måste utföras om skolnivån är betydelsefull. Studien har inte bidragit med just något av en sådan teoretisk utredning bortom att peka på behovet.
Vad studien däremot har bidragit med som är av praktisk såväl som viss vetenskaplig vikt är en bekräftelse av Annerstedts och Larssons resultat.152 Deras slutsats om att bedömningen i idrott och hälsa präglas av avsevärda likvärdighetsproblem får större vikt i och med att den här studien pekar på att lärar- och skoleffekter är större i idrott och hälsa än i de andra studerade ämnena. Det kan ha praktiskt betydelse om det bidrar till att vidga fokus från ämnena med nationella prov till att även innefatta idrottsämnet och kanske även andra mer praktiska ämnen. Vidare är den stora könsskillnaden i just idrott och hälsa det av studiens resultat som enklast går att gå vidare med vetenskapligt. Där studien annars i mångt bygger sin relevans på den i övrigt
56
klena tillgången på data finns här goda datamängder som utan vidare kan användas för att undersöka om resultatet har giltighet utanför den studerade kommunen. Vidare kan skillnaden mellan just matematik och idrott och hälsa ge en indikation på vad som krävs för att förbättra likvärdigheten i betygsättningen. Om vi godkänner Stenhags argumentation för att matematiken som ämne är ovanligt lättbedömd153 och kombinerar det med Annerstedts och Larssons resultat om att betygsättningen i idrottsämnet präglas av godtycke154 så får vi ett intressant spann. Det den skillnaden ger är en fördubbling från sju procent till femton procent av den totala variationen som kan härledas till skol- och lärarnivå.
Kan då resultaten ha en betydelse för arbetet med likvärdighet i betygsättningen inom just den studerade kommunen? Ett sätt är att den sätter en slags övre gräns för problemen. Tabell 10 ger vid handen att mellan 20 och 40 procent av eleverna sänker eller höjer sitt betyg från grundskolan till gymnasiet. Tio procent av det motsvarar alltså två till fyra procent av alla betyg som sätts.155
Om vi gör det vågade antagandet156 att hela denna andel är problematisk ur likvärdighetssynpunkt och det mindre vågade antagandet att situationen i de fem (åtta) studerade ämnena är någorlunda representativ för de andra ämnena så motsvarar det ungefär ett ämnesbetyg per varannan elev som får slutbetyg från nionde klass. Detta alltså på grund av vilken skola eleven gick på och vilken lärare som gjorde bedömningen. Om det innebär att den här studien tecknar en ljusare bild än exempelvis Skolverkets i Provbetyg-Slutbetyg-Likvärdig bedömning måste lämnas till läsaren att avgöra av tre skäl.157 Dels anges där aldrig någon sådan andel för skolnivån, dels tillkommer lärarnivån utöver vad en sådan angivelse kunde vara och slutligen är naturligtvis bilden över hela riket inte jämförbar med bilden inom en kommun. Dessutom tillkommer förstås problemen med rättvis bedömning inom den egna klassen. Den delen, jämförelsen av en elevs betyg med de andra eleverna som samma lärare betygsätter ligger utanför denna studies ram. Så vi vet inte om det går att generalisera till andra kommuner av samma typ och vi vet definitivt inte speciellt mycket om situationen på riksnivå. Det går inte att studera åtta skolor i samma kommun och tro att man därigenom kan veta något om alla skolor i alla kommuner. Men inom den studerade kommunen är resultaten användbara i en process av den typ Lundahl önskar.158
Nästa betydelse ur likvärdighetssynpunkt är att i den här kommunen skulle det finnas något att vinna på om lärare inom en och samma skola utvecklade en skolkultur vad gäller betygsättning. Det är en viktig slutsats, eftersom man utan vidare kan anta att det är lättare för lärare som ändå
153 Stenhag (2010) s. 111, s. 137 och s. 161.
154 Annerstedt – Larsson (2010) s.112.
155 Det här sättet att räkna är inte helt egentligt. Tio procent av variansen som är vad studien egentligen visat motsvarar inte med matematisk nödvändighet tio procent av avvikelsen på det vis som avspeglas ovan. Men eftersom variansen i det här fallet beräknats från avsteg om maximalt ett steg kommer skillnaderna vara små och jag menar att resonemanget därför ändå är tillämpligt.
156 Se tidigare diskussion om hur måttet förhåller sig till likvärdigheten i metodavsnittet
157 Skolverket (2007) s. 64.
57
kan träffas dagligen att göra liknande bedömningar än vad det är att organisera samma sak över skolgränser. Men här återkommer också problemet med det långa tidsperspektivet. Vad det använda måttet egentligen säger är att om vi inte vill att bedömningarna ska variera över tid så vore det användbart att utveckla skolkulturer vad avser bedömning. Men vad betyder det för eleverna? Borde det inte vara betydligt viktigare för dem att bli rättvist bedömda gentemot andra nior från grannskolan som de faktiskt ska konkurrera om gymnasieplatser med?
Flera av studiens mest intressanta resultat, både fingervisningen om den totala nivån på likvärdighetsproblemet i den studerade kommunen och skillnaderna ämnen emellan har inte behandlat relationen skolnivå-lärarnivå utan deras gemensamma relation till elevnivån. Dessa resultat har uppstått oavsiktligt som en konsekvens av den använda metoden. På det viset lämnar också studien ett bidrag vad gäller metoden. Att på olika sätt ta fram varianskomponenter och då inte nödvändigtvis med flernivåanalys verkar kunna vara ett framkomligt sätt att studera likvärdighet i betygsättningen, på samma sätt som det tidigare visat sig vara användbart för att studera likvärdighet i skolväsendet överlag.159
Så studien har sammanfattningsvis bidragit med en eller mycket välvilligt räknat två byggstenar för den som i framtiden vill ta reda på hur det egentligen förhåller sig med skolnivån och lärarnivåns betydelse. Den har vidare satt fingret på behovet av en teoretisk utredning av skolnivån som beaktar skolornas lärarstruktur. Den har även givit visst stöd till tidigare resultat från Annerstedt och Larsson och skolväsendet i den studerade kommunen har fått en hållpunkt i sitt arbete med likvärdighet i betygsättningen. Slutligen har studien pekat ut varianskomponenter som en fruktbar metod i undersökningar av likvärdighet i betygsättning.
58
9. Konklusion
Här ska jag vara föreskrivande om vad jag anser att studiens resultat borde stå för på en lokal nivå. Jag ska också ur den diskussionen växla perspektiv till riksnivån, men först något kort om hur och om jag anser att frågan borde utredas vidare. Att kvantitativt undersöka skolnivåns respektive lärarnivåns betydelse bygger på tillgång på data. När jag påbörjade det här arbetet var jag övertygad om att betygsättande lärare borde ingå i den allmänna insamlingen av grundskolans slutbetyg. Jag är inte längre så säker på den saken. Med tanke på det allmänna trycket kring likvärdiga betyg kanske det skulle leda till allmän publicering av lärares betyg. Integritetsförlusten en sådan åtgärd skulle innebära är betydligt större än den eventuella vinsten. Vi sammanställer och publicerar inte andelen domar som ändras vid överklagan för enskilda domare, trots att deras värv är långt mer ingripande än betygsättning. Därmed inte sagt att frågan inte borde studeras vidare, för det tror jag den borde. Svaren ligger och väntar på oss i våra kommuners datasystem och de är angelägna för deras användbarhets skull.
Det är också på kommunal nivå jag anser att den här frågan främst hör hemma. Det handlar om mina egna tentativa svar på Lundahls frågor om vilken roll olika delar av den pedagogiska bedömningen bör spela. Jag menar att grundskolebetygens roll som utvärderingsinstrument på åtminstone riksnivå förmodligen borde släppas, eftersom det finns betydligt bättre alternativ för denna roll. Viktigast av vad som blir kvar då är intagningen till gymnasieskolan. Jag menar att den måste förstås annorlunda idag när vi förväntar oss att alla grundskoleelever ska fortsätta till gymnasiet än vad den gjorde när betygens likvärdighet var viktig för att fördela knappa platser. Det perspektivet menar jag borde anläggas i den studerade kommunen. Undersök hur konkurrenstrycket ser ut. I vilken mån får grundskoleelever gå det program de helst önskar? Bara i relation till det svaret är studiens resultat om hur stor del av betygen där vem som satt dem är avgörande av riktigt stor vikt. Är svaret att det råder allmän strid på kniven om platserna på gymnasiet är kanske ett betyg på tjugofem är ett halvt betyg för mycket. Men är svaret att de flesta får som de vill och betygen egentligen mest spelar in för dem som vill flytta och bli frisör så finns det mindre kostsamma sätt att lösa den knuten än att förbättra likvärdigheten i betygsättningen.
Här kommer också riksnivån in. Utvecklingen går mot att vi sätter högre och högre värde på att betyg ska vara likvärdiga. Jag hade önskat att vi tog ett steg tillbaka och funderade på om det verkligen är värt sitt pris. Ett sätt att bidra till en sådan utveckling tror jag vore om Skolverket kompletterade sin betygspublicering med ett lika enkelt och snabbt mått på hur många av en kommuns elever som får gå sitt förstahandsval. Kanske också av en kommuns förmåga att skapa en meningsfull gymnasieutbildning även till dem som konkurrerats ut av en elev med ett orättvist högt betyg.
59
10. Litteraturlista
Annerstedt, Claes, & Larsson, Staffan (2010). "I Have My Own Picture of What the Demands Are...": Grading in Swedish PEH -Problems of Validity, Comparability and Fairness. European Physical Education Review, v16 n2 p97-115
Bickel, Robert. (2007). Multilevel analysis for applied research. New York: Guildford press.
Britton, Tom, & Game, Hans (2002). Sannolikhetslära och statistik för lärare. Lund: Studentlitteratur. Cliffordson, Christina (2004). ”Betygsinflation i de målrelaterade gymnasiebetygen”. Pedagogisk
forskning i Sverige, 9(1), 1–14.
Grönqvist Erik & Vlachos Jonas (2008). “One size fits all? The effects of teacher cognitive and non-cognitive abilities on student achievement”. IFAU Working paper 2008:25.
Gustafsson, Jan-Eric, & Yang-Hansen, Kajsa (2009). ”Resultatförändringar i svensk grundskola”, i Vad påverkar resultaten i svensk grundskola? Kunskapsöversikt om betydelsen av olika faktorer. Stockholm: Skolverket.
Hinnerich, Björn, Höglin, Erik & Johannesson, Magnus. (2011a). “Are Boys Discriminated in Swedish High Schools?” Economics of Education Review, 30, 682-690.
Hinnerich, Björn, Höglin, Erik & Johannesson, Magnus. (2011b). “Ethnic Discrimination in High School Grading: Evidence from a Field Experiment”. Working Paper 733 Handelshögskolan i Stockholm.
Karlsson, Annika (2011). Samhällsguide, individualist och moderator - samhällskunskapslärares professionella förhållningssätt i betygsättningsrelaterat arbete. Karlstad: Estetisk-filosofiska fakulteten, Pedagogiskt arbete, Karlstads universitet.
Klapp Lekholm, Alli, & Cliffordson, Christina (2008). ”Discrepancies between school grades and test scores at individual and school level: effects of gender and family background”. Educational Research and Evaluation, 14 (2), 181-199.
Klapp Lekholm, Alli, & Cliffordson, Christina (2009).” Effects of student characteristics on grades in compulsory school”. Educational Research and Evaluation. Vol.15(1), p.1-23
Klapp Lekholm, Alli (2011). “Effects of School Characteristics on Grades in Compulsory School”. Scandinavian Journal of Educational Research Vol. 55(6).
Korp, Helena (2003). Kunskapsbedömning – hur, vad och varför. Forskning i fokus, nr 13. Stockholm: Myndigheten för skolutveckling.
Korp, Helena (2006). Lika chanser i gymnasiet – En studie om betyg, nationella prov och social reproduktion. Malmö: Lärarutbildningen, Malmö högskola.
Lindahl, Erica (2007). Systematiska avvikelser mellan slutbetyg och provresultat-spelar elevens kön och etniska bakgrund roll? IFAU-Institutet för arbetsmarknadspolitisk utvärdering, rapport 2007:22
60
Lundahl, Christian (2006). Viljan att veta vad andra vet: kunskapsbedömning i tidigmodern, modern och senmodern skola. Stockholm ; Arbetslivsinstitutet.
Lundahl, Christian (2009). Varför nationella prov – framväxt, dilemman, möjligheter. Lund: Studentlitteratur.
Lundahl, Christian (2010a). ”Skolbedömningens pedagogiska och administrativa dimensioner” i Lundahl, Christian - Folke-Fichtelius, Maria (red) Bedömning i och av skolan. Lund: Studentlitteratur.
Lundahl, Christian (2010b). ”Nationella prov - ett redskap med tvetydiga syften” i Lundahl, Christian - Folke-Fichtelius, Maria (red) Bedömning i och av skolan. Lund: Studentlitteratur. Lundahl, Christian (2011). Bedömning för lärande. Stockholm: Norstedts.
Mickwitz, Larissa (2011a). Rätt betyg för vem? Betygsättning som institutionaliserad praktik. Stockholms universitet. Institutionen för språkdidaktik.
Mickwitz, Larissa (2011b). ”Problemet betyg – skolpolicy i ett nyinstitutionellt perspektiv” i Strandbrink, Peter m.fl. (red) Tvära möten Om utbildning och kritiskt lärande. Södertörn Studies in Education 1.
Rasbash, Jon, Steele, Fiona, Browne, William J. & Goldstein, Harvey (2009). A User's Guide to MLwiN. University of Bristol.
Riksrevisionen (2004). Betyg med lika värde - en granskning av statens insatser. RiR 2004:11 Stockholm: Riksrevisionen.
Selghed, Bengt (2004). Ännu icke godkänt. Lärares sätt att erfara betygssystemet och dess tillämpning i yrkesutövningen. Malmö Studies in Educational Sciences, No.15. Lärarutbildningen. Malmö Högskola.
Skolinspektionen (2011). Lika eller olika? Omrättning av nationella prov i grundskolan och gymnasieskolan. Redovisning av regeringsuppdrag Dnr. U2009/4877/G. Stockholm: Skolinspektionen.
Skolverket (2000). Nationella kvalitetsgranskningar 2000 Betygssättningen Särtryck ur Skolverkets rapport nr 190 Stockholm: Skolverket.
Skolverket (2003a). ”Det nationella provsystemet – vad, varför och varthän?” i Skolverkets bedömning av dagens system med nationella prov med avseende på kvalitet och kostnadseffektivitet. Regeringsuppdrag. Redovisning av uppdrag avseende resultatinformation. Del E. Stockholm: Skolverket.
Skolverket (2003b). Valfrihet och dess effekter inom skolområdet, Rapport 230, Stockholm: Skolverket. Skolverket (2004a). Prövostenar i praktiken – Grundskolans nationella provsystem i ljuset av användarens
synpunkter. Stockholm: Skolverket.
Skolverket (2004b). Handlingsplan för en rättssäker och likvärdig betygssättning, dnr. 2004:556. Stockholm: Skolverket.
Skolverket (2007). Provbetyg-Slutbetyg-Likvärdig bedömning? Rapport nr 300. Stockholm: Skolverket. Skolverket (2009a). Likvärdig betygsättning i gymnasieskolan? Rapport 338 Stockholm: Skolverket.
61
Skolverket (2009b). Bedömaröverensstämmelse vid bedömning av nationella prov. Dnr 2008:286. Stockholm: Skolverket.
Skolverket (2012a). Likvärdig utbildning i svensk grundskola? En kvantitativ analys av likvärdighet över tid. Stockholm: Skolverket.
Skolverket (2012b). Avvikelser mellan provresultat och betyg, 2012. Redovisning av regeringsuppdrag angående resultat på nationella prov och ämnesbetyg i årskurs 9. Stockholm: Skolverket. Skolverket (2012c). Betygsinflation – betygen och den faktiska kunskapsutvecklingen. Dnr 2012-387
Stockholm: Skolverket.
SOU 2007: 28. Tydliga mål och kunskapskrav i grundskolan. Utbildningsdepartementet.
SOU 2010: 96. Riktiga betyg är bättre än höga betyg. Förslag till omprövning av betyg. Utbildningsdepartementet.
Stenhag, Staffan (2010). Betyget i matematik – Vad ger grundskolans matematikbetyg för information? Uppsala Universitet: Department of Curriculum Studies
Stockholms stad (2010). Sambandet mellan grundskolebetyg och gymnasiebetyg läsåret 2008/09. Stockholm stad: Utbildningsförvaltningen.
Sund, Krister (2009). Estimating peer effects in Swedish high school using school, teacher and student fixed effects, Economics of Education Review, 28: 329-336.
Nilsson, Henrik, Regnér, Johan & Tindrebäck, Silke (2011). Utvärdering av det diagnostiska provet i matematik för gymnasieskolan ht 2011, Stockholm stad: Utbildningsförvaltningen
Tholin, Jörgen (2006). Att kunna klara sig i ökänd natur – En studie av betyg och betygskriterier – historiska betingelser och implementering av ett nytt system. Högskolan i Borås: Institutionen för pedagogik och didaktik.
Thorsen, Cecilia & Cliffordson, Christina (2012). “Teachers' grade assignment and the predictive validity of criterion-referenced grades”, Educational Research and Evaluation, 18:2, 153-172. Wedman, Ingemar (2004). ”Från skallmätning till VG – Om skolans betyg” i Selander, Staffan
(red.) Kobran, nallen och majjen – Tradition och förnyelse i svensk skola och skolforskning Stockholm: Myndigheten för skolutveckling.
Vetenskapsrådet (2002). Forskningsetiska principer inom humanistisk-samhällsvetenskaplig forskning Wikström, Christina (2005). “Grade stability in a criterion‐referenced grading system: the Swedish
example”, Assessment in Education: Principles, Policy & Practice, 12:2, 125-144.