Ett delegerat uppdrag från
Skolverket
En kvalitativ intervjustudie om konstruktionen av de nationella
proven i historia
A delegated assignment
from the National Agency
of Education
A qualitative interview study on the test
constructing of the national tests in history
KURS: Historia för ämneslärare, 61-90 hp PROGRAM: Ämneslärarprogrammet FÖRFATTARE: Kristiana Pepa EXAMINATOR: Johannes Heuman TERMIN: VT 2021
Summury
The following study examines the construction of the national tests in history. The study has analyzed the work processes of the construction of the test at different moments, such as design, conduct and evaluation, from the perspective of the test designers and the test manager at the National Agency for Education. The purpose is to see how the test designers’ previous experiences are reflected in the work process with national test and what problems, challenges and limitations they have in their work. The study is based on qualitative interviews and has used the validity theory as an analytical framework. The results show, among other things, that the work process of the national tests begins with the group interpreting the curriculum for history. The interpretation is written down in the so-called construct which is sent to the National Agency for Education for further review. The test designers performed various evaluations of the tests throughout the whole work process. The National Agency for Education conducted a large survey after completing tests that the teachers answer. The results also show different limitations, problems, and challenges of the test design. The framework of the test limits for example the design; what the test should look like, pictures and question construction, it systematizes the test. The processes of the conduction of the test in schools is also completely controlled by the National Agency for Education and the test does not necessarily reflect the teaching that is conducted in the classroom. Another problem is that communication with the active teachers is rather one-sided. Challenges that the test designers face includes setting grade requirements and stable results.
Key words: National tests, History, Test construction, Swedish National Agency for Education, Test designers
Innehållsförteckning
Summury ...2
Innehållsförteckning ...3
1. Inledning ...1
1.1 Syfte och frågeställningar ...2
1.2 Bakgrund ...3
2. Material och metod...5
2.1 Material och urval ...5
2.2 Intervjuernas genomförande ...6
2.3 Bearbetning av materialet ...8
3. Tidigare forskning ...9
4. Teoretisk utgångspunkt... 13
5. Resultat ... 15
5.1 Tolkning av kursplanen och fördelningen av förmågorna ... 15
5.1.2 Tolkning av kursplanen ... 15
5.1.3 Fördelning av förmågorna ... 18
5.2 Provkonstruktörernas tidigare erfarenheter in i arbetsprocessen ... 21
5.3 Skolverket, ramverken och styrdokumenten ... 22
5.4 Utvärderingen av proven ... 25
5.4.1 Skolverkets utvärderingar av proven ... 25
5.4.2 Provkonstruktörernas utvärderingar av proven ... 27
6. Diskussion ... 30
6.1 Tolkning av kursplanen och fördelningen av förmågorna ... 30
6.2 Utvärdering av nationella proven i historia ... 32
6.3 Tidigare arbetserfarenheter... 34
6.4 Problem, utmaningar och begränsningar ... 35
7. Slutsatser... 38
8. Referenser ... 40
1
1. Inledning
“Människans förståelse av det förflutna är inflätad i hennes föreställningar om samtiden och perspektiv på framtiden”.1
Med dessa ord inleds kursplanen i historia. Dessa ord genomsyrar både ämnets övergripande syfte och lärarnas uppdrag i historieundervisningen. Historia är till för att skapa sammanhang mellan “det förflutna, nutiden och framtiden”.2
Det övergripande syftet med historieämnet är därför att utveckla ett “historiemedvetande”.3 Detta uppnår man enligt kursplanen i historia genom att eleven får utveckla och jobba med fyra olika samverkande förmågor. Dessa förmågor innefattar en utvecklad historisk referensram, kritiskt granska och tolka källor, reflektera över sin egen och andras användning av historia samt använda historiska begrepp.4 För att uppnå detta kan den verksamme läraren använda sig av olika didaktiska verktyg i undervisningen, bland annat historisk empati. Historisk empati skrivs fram i syftestexten påföljande sätt: “förståelse för att varje tids människor måste bedömas utifrån sin samtids villkor och värderingar”.5
Kursplanen kompletteras med kunskapskrav, vilka konstrueras utifrån ämnets långsiktiga mål och centralt innehåll där förmågorna som nämns ovan ligger som grund. Kunskapskraven behandlar de olika kunskapsnivåerna. Dessa är utgångspunkten för den enskilde läraren vid bedömning. Denna kunskapsdefinition, en målstyrd skola, ställer höga krav på hur kunskapen ska prövas och bedömas. Flera olika bedömningsinstrument är etablerad i den svenska skolan. Bland annat används de nationella proven för att få en överblick nationellt över de uppnådda målen i ämnet.6
Just de samhällsorienterade ämnena har inte förrän på senare år varit en del av dessa ämnesprov. För första gången skrev vårterminen 2013 cirka 20 000 elever nationellt prov i ämnet historia. Resultaten visade sig vara lägre än för de andra samhällsorienterade ämnena, vilket väckte under några dagar nyhetsvärde i de flesta riksmedier.7 Uppdraget för de nationella proven har Skolverket delegerat till olika lärosäten. Provkonstruktörerna som får uppdraget skall tolka kursplanen i historia och konstruera uppgifter till provet utifrån den.
1 Skolverket (2011a), Kommentarmaterial till kursplanen i historia, Stockholm: Skolverket
2 Ibid, s. 6 3 Ibid 4 Lgr 11 5 Skolverket (2011), s 8 6
Mer om nationella proven kan läsas under punkt 1.3 “bakgrund”
2
Uppgifterna ska göra det möjligt att bedöma samtliga förmågor som nämns ovan. Detta innebär att ett fåtal personers tolkning och uppfattning av kursplanen skall stå som grund till de nationella proven i historia. Ett nationellt prov som enligt skollagen skall “särskild tas i beaktning” vid betygsättningen.8 Det är ett enormt ansvar som delegeras vidare av Skolverket. Just tolkningen av kursplanen och förmågorna som provkonstruktörerna ska jobba med har i tidigare granskningar som Skolinspektionen ligger bakom visat sig skilja sig åt beroende vem som ligger bakom tolkningen. Bland annat har detta framkommit när man rätta om de nationella proven och kommit fram till en annan bedömning.9 Därvid finns det ett vetenskapligt värde och intresse av att undersöka vilket upplägg provkonstruktörerna har när de tolkar kursplanen och fördelar förmågorna över provet. Vilka begränsande faktorer finns det i provkonstruerandet utifrån provkonstruktörernas perspektiv? Därtill hur deras tidigare arbetserfarenhet speglar sig arbetsprocessen när de tolkar kursplanen, formulerar uppgifter och fördelar förmågorna över provet.
Ytterligare en frågeställning som kommer att ställas i denna studie är huruvida provkonstruktörerna och Skolverket arbetar med att utvärdera tidigare utförda nationella prov när de sak utforma nästa prov. 2013 som nämns ovan gör inte eleverna i Sverige bra ifrån sig i de nationella proven för historia ämnet. Bland annat visade resultaten från 2013 nationella prov att elever visar brister i förmågan historisk referensram och källhantering toppar resultaten för detta årtal. Liksom ovan är det även här vetenskapligt intressant att utröna hur utvärderingsprocessen fortlöper för att även se hur detta påverkar konstruerandet av nästa prov.
1.1 Syfte och frågeställningar
Denna uppsats ska undersöka arbetsprocessen för de nationella proven i historia. Arbetsprocessens olika moment såsom konstruktion, genomförande och utvärdering kommer att undersökas utifrån provkonstruktörernas och provansvarige vid Skolverket perspektiv. Syftet är att se hur provkonstruktörernas tidigare erfarenheter speglar sig i arbetsprocessen med nationella proven samt vilka problem, utmaningar och begränsningar de har i deras arbete.
8
Svergies Riksdag (2017), Nationella prov- rättvisa, likvärdiga och digitala
3
1. Hur sker tolkningen av kursplanen och fördelningen av förmågorna i de nationella proven i historia?
2. Hur ser arbetsprocessen ut med att utvärdera proven?
3. Vilka tidigare arbetserfarenheter tar provkonstruktörerna med i provkonstruerandet? 4. Vilka problem, utmaningar och begränsningar finns enlig provkonstruktörerna med
provkonstruerandet?
1.2 Bakgrund
Olika centralt utarbetade prov har funnits sedan 1860-talet i Sverige.10 Startskottet för utvecklingen av nutidens nationella prov anses dock vara på 1930-talet med Frits Wigforss som upphovsman. Standardproven, som de i början benämndes, hade varken samma syfte eller utformning som dagens nationella prov. Wigforss uttryckte bland annat att dessa skulle vara ett verktyg för den verksamme läraren. Med andra ord en “mätsticka i klasslärarens hand” och inte “i en kontrollerande skolmyndighets”.11
Syftet och konstruktionen av dessa prov har som nämnts ovan ändrat form genom åren. Detta direkt kopplat till olika historiska förändringar inom både skola- och styrdokument.12
I början av 1900-talet fanns det en moderniseringssträvan för det svenska utbildningsystemet. I den tidsandan “absorberades” standardproven av staten och de centraliserade. Redan här börjar proven kopplas samman till betygsättningen på riksnivå och de nationella prov vi känner igen idag börjar ta form. Från 1990-talet fick proven en allt mer central roll i skolans verksamhet och från år 2009 har antal nationella prov utökats väsentligt. De är idag också i stor utsträckning obligatoriska. Vilka som fått uppdraget att konstruera, genomföra och utvärdera har också skiftat genom åren. Skolverket har den övergripande ansvaret för de nationella proven. Skolverket delegerar i sin tur uppdraget till olika högskolor och universitet. En mindre grupp bestånden av projektledare, provansvarig och uppgiftskonstruktörer är ansvariga för utformningen av nationella prov i historia.13
10 Lundahl (2009) 11 Ibid, s. 19 12 Ibid 13
4
Syftet med nationella proven är att stödja betygsättningen. Det man vill uppnå är en likvärdig och rättvis bedömning och betygsättning, detta genom att det obligatoriska provet skall ge elever samma möjligheter och förutsättningar att visa sina kunskaper och förmågor. Den likvärdiga bedömningen förutsätter att provet utformas och genomförs på likvärdiga former. För att en inkluderande bedömning skall ske får elever med särskilda behov och funktionsnedsättningar möjligheten att skriva ämnesprovet utifrån deras förutsättningar, genom att särskilda åtgärder inrättas. För att provet skall användas som betygsstöd konstrueras och utformas den med utgångspunkt från analyser av läroplan, ämnes, - och kursplaner. Förändringar i detta styrdokument påverkar därmed även konstruktionen av de nationella proven.14
Ämnesproven 2013 var de första som gjordes inom de samhällsorienterande ämnena. Liksom historieämnets kursplan ger även nationella provet möjligheten att kunna bedöma olika förmågor. Som grund ligger en önskan om ett utvecklat historiemedvetande hos eleverna. Detta prövar man i de nationella proven genom att konstruera uppgifter som ska kunna bedöma fyra olika samverkande förmågor. Dessa förmågor leder till att eleverna utvecklar ett historiemedvetande. Förmågor hittar vi även inom kursplanen för historia. Bland annat ska eleverna visa på provet en utvecklad historisk referensram, kritiskt granska och tolka källor, reflektera över sin egen och andras användning av historia samt använda historiska begrepp. Samtliga förmågor bedöms i de nationella proven.15
14
Skolverket (2021), Nationella provens konstruktion
5
2. Material och metod
2.1 Material och urval
Urvalet av respondenter skedde utifrån syfte och frågeställningar. De som är ansvariga för nationella proven i historia är centrala i denna studie därav även urvalet. Relevant för studiens syfte och frågeställningar var både provkonstruktörerna och ansvarige för nationella proven vid Skolverket. Kontakten med intervjupersonerna togs via mejl. Nio mejl med likadan formulerad förfrågan till att ställa upp i en intervju skickades ut. Fem av dessa individer tackade ja. En beskrivning av respondenterna följer nedan.
Fyra av respondenterna tillhörde gruppen som konstruerar nationella proven. Respondenterna varierade i position som de besitter inom gruppen som arbetar med proven, vilket medförde att samtliga perspektiv i arbetsprocessen framgick i intervjuerna. Respondenterna är av båda könen, där tre av de var män och två kvinnor. I studien intervjuades både provansvarige, projektledare och två intervjupersoner som i huvudsak jobbar med uppgiftskonstruktion. Femte personen som intervjuades i denna studie är provansvarige vid Skolverket. För anonymitetens skull kommer samtliga respondenter namnges med andra namn.
Respondent 1 Chris: Chris är lektor i historia och historiedidaktik. Han har haft varierande
uppgifter i konstruktionen av proven. Respondenten har både jobbat som projektledare och provansvarige. För närvarande är respondentens roll i provkonstruktionen uppgiftskapare för de nationella proven i historia. Respondenten har 14 års arbetserfarenhet som verksam lärare på högstadiet.
Respondent 2 Ben: Ben är universitetsadjunkt och doktorand i historiedidaktik. Följande
respondent har som ovan också haft varierande uppgifter i arbetet med de nationella proven. Ben har varit en del av gruppen som arbetar med de nationella proven i tre år. Har sedan tidigare varit provansvarige men har för tillfället rollen inom gruppen som uppgiftskonstruktör för de nationella proven i historia. Ben har varit verksam lärare i 14 år på gymnasiet.
Respondent 3 Mary: Mary är universitetsadjunkt och är för tillfället provansvarige för de
6
Respondent 4 Emma: Emma är provansvarige för de nationella proven i historia vid
Skolverket. Hon har bland annat jobbat som högstadielärare i 15 år. Har också gått på en forskarskola för lärare i Umeå där hon skrev sin licentiatavhandling om undervisning, literacy och historiemedvetande.
Respondent 5 Adam: Adam är lektor i historia och historiedidaktik och är för tillfället
projektledare för de nationella proven i historia. Respondent har varit en del av arbetet med nationell proven i historia sedan start år 2011. Han var även en av de som skrev ihop begäran till Skolverket om varför följande lärosäte och grupp var bäst lämpad för uppdraget. Hans tidigare arbetserfarenheter är bland annat att han varit med i formningen av Lgr11 och har jobbat 18 år som högstadielärare.
2.2 Intervjuernas genomförande
För att få en överblick över nationella proven gjordes det olika litteratursökningar, både systematiska och manuella. Den systematiska användes för att få en överblick på vilken forskning som fanns inom området. Olika databaser användes såsom ERIC, DIVA. Även sökmotorn Google användes för att söka “fritt”. Dessa sökningar producerade fram både vetenskapliga studier men även kontaktuppgifter till provkonstruktörerna. Kontakt togs med provkonstruktörerna via mejl där de blev tillfrågade att ställa upp i en intervju. Nio mejl skickades ut sammanlagt där fem av dem tackade ja. Både tid och metod för intervjun fastställdes med respondenterna via mejl.
Föreliggande undersökning är baserad på kvalitativa intervjuer av semistrukturerad karaktär. Undersökningen kan också beskrivas vara fenomenologisk i grunden. I fenomenologisk filosofi undersöks inte överensstämmelsen mellan individens sinnesintryck och uppfattningar med den yttre verkligheten. Man är inom denna inriktning helt inriktad på deras egen speciella karaktär som medvetandefenomen. Då det är den enskilde respondentens tankar och perspektiv om konstruerandet av de nationella proven som får komma till ståndpunkt så kan undersökningen beskrivas som fenomenologisk.16
16
7
Kvalitativa intervjuer ansågs lämpa sig bäst i denna studie utifrån de frågeställningar som preciserats. Som det även nämns i syfte och frågeställningar är respondenternas svar som ligger till grund för undersökningen, detta medför att kvalitativa intervjuer är passande. Det som karakteriserar följande intervjuer är att dessa medför en viss “flexibilitet” där man låter respondenten “röra sig i olika riktningar” för att få med det som intervjupersonen anser är viktig och relevant kunskap att förmedla.17 Tillskillnad från kvantitativa intervjuer där forskarens och studiens ändamål styr intervjun.18 Intervjuerna var semistrukturerad, detta beslutades också utifrån syfte och frågeställningar. Det som beskriver dessa intervjuer är att dessa följer en specifik teman som ska beröras under intervjun men där intervjupersonen har stor frihet att “utforma svaren på sitt eget sätt”.19
Temat i denna studie var just nationella provens “konstruktion, genomförande och utvärdering/utfall”. I semistrukturerade intervjuer formuleras i förhand en “intervjuguide” som följer temat ovan. Detta gjordes också för denna studie innan intervjuerna genomfördes. Ett frågeformulär formades fram utifrån temat för studien som man kan ta del av som bifogad. Dessa ställdes och besvarades av samtliga respondenter. Ordningen på hur dessa ställdes styrdes efter hur intervjupersonerna besvarade och diskuterade föregående fråga. Även vilka följdfrågor som ställdes grundades på respondenternas svar.
Intervjuerna öppnades upp med att respondenten fick tala om vilken position hen har/hade i arbetsprocessen och formandet av de nationella proven. Vidare kunde respondenterna fortsätta med temat ovan där först på tur var hur konstruktionen av dessa prov gick till. provkonstruktörernas inblandning i genomförandet av dessa prov samt huruvida gruppen arbetar med att utvärdera resultaten behandlades sist. Deras tidigare arbetserfarenheter, vilka problem, utmaningar och begränsningar de uppfattar att de har i utformandet av proven samt huruvida tolkningen av läroplanen sker var också områden som berördes under intervjuernas gång. Som det förklaras nedan utfördes intervjuerna digitalt. En utmaning under intervjun just för att dessa hölls på distans var att hitta rätt taktkänsla för att läsa av och avbryta för följdfrågor. Däremot fungerade både internetuppkopplingen och den valda tjänsten utmärkt. Denna uppsats har utförts under en rådande pandemi. Arbetet har påverkats och följt myndigheternas rekommendationer för spridningen av viruset covid- 19. För undersökningen har detta inneburit att samtliga intervjuer har genomförts digitalt. Videointervju valdes
17 Ibid, s. 413-415 18 Ibid, s. 415 19 Ibid
8
framför telefonintervjuer då de lämpar sig bäst vid kvalitativa intervjuer. De ger möjlighet att fånga upp kroppsspråket och ansiktsuttryck som kan tyda på olika missuppfattningar mellan respondenten och den som intervjuar.20 Intervjuerna genomfördes via tjänsten Zoom, följande program valdes eftersom samtliga intervjupersoner var vana vid denna tjänst. Samtalen spelades in med telefon.
2.3 Bearbetning av materialet
Materialet och analysenheten för denna undersökning består av transkriberade intervjuer genomförda med provkonstruktörerna och provansvarige på Skolverket. De kvalitativa studierna följsamhet lämnar plats för att en teori kan formas fram utifrån respondenternas svar när dessa har kategoriserats och transkriberats. En viss kategorisering av svaren skedde redan i tidigt skedde. Innan varje ny intervju lyssnades det två gånger den senaste utförda intervjun. Denna kategorisering följde temat ovan med “konstruktion, genomförande, utvärdering” samt frågeformuläret som användes vid intervjun. En samanställning av samtliga svar och kategorisering av dessa skedde under detta arbetsmoment.
20
9
3. Tidigare forskning
Det har utförts ett antal olika undersökningar om de nationella proven. Återkommande i dessa studier är anknytningen som proen har till betygsättningen.21 Det har gjorts färre undersökningar för att utröna de medförda konsekvenserna av nationella proven. Exempelvis har man i mycket mindre utsträckning sett över hur resultaten från proven används och kan användas eller vad de får för oavsiktliga konsekvenser för lärandet och den pedagogiska verksamheten.22 Lundahl professor i pedagogik vid Örebros universitet, uttrycker i en rapport där han samlat flertalets olika avhandlingar att dessa obligatoriska prov har blivit en naturlig del av utbildningsväsendet, att vi finner svårigheter i att se alternativen. Därför är det ytterst viktigt att kritiskt granska dessa. De nationella proven skriver forskaren är en form av ”maktutövande” som formar den svenska skolan på olika sätt.23
Enligt de statliga myndigheter som har yttersta ansvaret för proven ska de nationella proven vara som stöd vid betygsättningen men detta problematiserar både Lundahl och Tveit.24 Tveit,
professor i pedagogik i Oslos universitet, argumenterar för att på senare tid har de nationella proven tenderat att användas i ett mer kontrollerande syfte. Att man bland annat jämför nationella provens betyg med slutbetygen som lärare sätter. Detta menar forskaren kan inte proven leva upp till vilket skapar spänningar inom skolsystemet och riskerar att underminera lärarnas professionalisering och legitimitet.25 Spänningen som byggts upp grundar sig på att lärarnas betyg jämförs med provens betyg. Eftersom uppgifterna på de obligatoriska proven konstrueras med uttalade vetenskapliga metoder riskerar dessa att underminera lärarnas betygsättning vilket får konsekvenser för deras legitimitet.26 Begreppet legitimitet är enligt forskaren central när man vill undersöka de obligatoriska provens konsekvenser. Förutom kopplingen som beskrivs ovan mellan lärarnas legitimitet och proven så menar även forskaren att politiker kan komma att gynnas av det ökade goda ryktet om nationella proven. Med det goda ryktet av proven kan politiker etablera en ökad legitimitet vilket leder till att fler nya
21
Lundahl (2017), Tema: Perspektiv på nationella proven. Utbildning och demokrati. Vol. 26, nr 2, 5–20
22
Ibid
23
Ibid, s. 6
24
Lundahl & Tveit (2014), Att legitimera nationella prov i Sverige och i Norge- en fråga om profession och tradition, Pedagogisk forskning i Sverige årg. 19, nr 4–5
25
Ibid
10
reformer tillkommer som stödjer fler prov. Dessa tar tid från annat skolarbete vilket kan påverka och få konsekvenser för lärarnas undervisningslegitimitet.27
Ytterligare två andra studier som är relevanta eftersom dessa berör mer provkonstruktionen och provkonstruktörerna kommer diskuteras här nedan. Larssons licentiatuppsats och Tengberg & Skar avhandling om nationella proven i svenska ämnet är två relevanta studier att diskutera utifrån denna undersökning. Larsson som är doktorand i pedagogiskt arbete vid Högskolan Dalarna har genom en intervjustudie, där 18 lärare deltog dragit olika slutsatser om nationella provens effekter på undervisningen utifrån lärarnas perspektiv. Bland annat att lärarna upplevde nationella proven som ett stressigt moment och att dessa styrde undervisningen väldigt mycket. Förutom detta, upplevde lärarna i studien att det fanns oöverensstämmelser mellan hur provkonstruktörerna uppfattar “läsförståelse” och hur lärarna uppfattar den utifrån ämnesplanen. Närmare sagt ansåg lärarna i studien att det fanns en inkongruens mellan prov och ämnesplanen enligt de verksamma lärarna. Samtidigt som de ansåg att man drivs till att följa provkonstruktörernas tolkning av ämnesplanen för att eleverna ska göra bra ifrån sig på provet. Vikten av goda resultat benämns som central med de nationella proven. Därmed även anordna undervisningen utefter den för att kunna uppnå goda resultat på provet. Detta benämns med begreppet “whashback effekten”.28
Tengberg professor i pedagogiskt arbete och Skar, fil.dr. i utbildningsvetenskapen med inriktning mot språkspråkutveckling har istället undersökt tillförlitligheten hos de nationella proven i svenska och svenska som andra språk för årskurs 9. Studiens analysenhet utgörs av ett representativt urval av 500 elevlösningar från tidigare utförda nationella prov. Studien visar bland annat att det finns allvarliga kvalitetsbrister i de nationella proven. Uppgiftsbatteriet visar att uppgifterna inte hänger samman. Uppgifterna har en “låg intern konsistens”, vilket enligt studien är förvånande att det förkommer i prov som har så pass stor inverkan på systemet och elevernas betyg. Ytterligare en slutsats man drog utifrån studien var att proven matchar dåligt elevernas kunskapsnivå. Man fann genom undersökningen att med de konstruerade uppgifterna var det svårt att skilja elever åt med de sex olika
27
Lundahl & Tveit (2014)
28
Larsson, (2018), Resultatet av ett prov. Svensklärare om washbackeffekter av nationellt läsförståelseprov på
11
kunskapsnivåerna. Man kunde exempelvis se om eleven var lite bättre eller lite sämre på läsförståelse men ingen ytterligare gradering.29
På uppdrag av Skolverket har ett antal forskare undersökt huruvida de nationella proven tas emot på lokal- och skolnivå. Projektledare för studien har varit lektorn på Örebros universitet Bonnevier och vetenskaplig ledare professorn i pedagogik Lundahl. Främsta syftet med undersökning har varit att utröna huruvida lärare, rektorer och elever på grundskolan i årskurs 6 och 9 tar emot och använder de nationella proven. Som metod har man använd intervjuer med ett praktikernära perspektiv. Det som framgick av denna undersökning som är relevant för denna studie är lärarnas tankar kring återkopplingen efter att de skickat in resultaten. En av lärarna säger att “Vi knappar ju in någon redovisning till kommunen, men vart det tar vägen vet jag inte”. Det framgår i resultatet att både lärare och rektorer anser att det sker för lite resultatanalys på lokal- och skolnivå. Det finns ingen tid satt till att utvärdera och granska resultatet skolan har fått på nationella proven. Dessutom en saknad av resultatanalys och användning av resultatet för ett framåtsyftande kvalitetsarbete för undervisningsutveckling framgår under intervjuerna. Man vill helt enkelt att ett bättre samarbeta mellan stat, kommun och skola skall formas fram så att användning av de nationella proven effektiviseras.30
En kritik som mer riktar sig in till SO- proven var lärarnas uppfattning av bedömningsanvisningarna. De anser att de är för omfattande, vilket tar mycket tid att sätta sig in. Tid som oftast inte finns tycker lärarna. Bedömningsarbetet anses vara väldigt betungande för de intervjuade – SO- lärarna. Detta påverkar bedömningen negativt skriver man fram i undersökningen. Lärarna uttrycker också en rädsla för att deras tolkning och betygsättning inte skall klara granskningen. De menar på att SO- ämnena har stort tolkningsutrymme vilket medföra att olika lärare tolkar elevansvaren olika. Just att deras bedömning “granskas” upplever de som något mindre positivt. De framför att de granskas samtidigt som de inte får riktigt komma till tals och försvara sig då granskningar och utvärderingarna av proven sker externt.31
29
Tengberg & Skar, (2017) , Hur tillförlitligt är de nationella proven i läsning i åk 9?, Utbildning & Demokrati. Vol 26. Nr 2, 113-137
30
Skolverket, (2014), De nationella proven och deras effekter i årkurs 6 och 9, En intervjustudie med elever, lärare och skolledare
12
Forskaren Bagger har utfört en undersökning om nationella proven i matematik för tredje klassare. Bland annat uttrycker forskaren i avhandlingen att systemets uttalade syfte inte stämmer överens med den som verksamma lärare och elever besitter. De nationella proven särskilt i de lägre åldrarna, har motiverats med att man vill upptäcka svårigheter så tidigt som möjligt för att införa särskilda insatser, men detta är inte lärarnas och elevernas uppfattning menar forskaren Bagger.32
Både lärarnas och elevernas fokus skiftar från lärande till kontroll. Eleverna upplevde vid skrivning av provet att något viktigt stod på spel vilket forskaren benämner som ”high stake” effekten.33 Denna effekt ökade deras prestationsångest och stress inför provet. Samt upplevde eleverna att deras förmågor blev bedömda där betyget var central. Eleverna upplevde därmed inte att provet skulle leda till att stödja deras lärande, vilket är systemets uttalade syfte. Forskaren skriver också om hur provet tenderar att exkludera en viss gruppelev. Elever med föräldrar med utländskbakgrund tycks utmärka sig i betygsskalan, genom att det är följande elever som tenderar att få underkänd. Bagger menar på att proven inte konstrueras utifrån dessa elevers språkliga behov eller det stöd dessa elever behöver ändå påverkar provet deras betyg och utbildning. Detsamma påverkar även resultaten från nationella proven hela verksamheten och lärarna utifrån kategoriseringen av betygen. Bagger pratar om hur skolor rankas utifrån måluppfyllelser inom utbildningsmarknaden vilket skapar spänningar och resultaten på nationella proven spelar en central roll i rankningen. Provresultaten har också en centralroll inom den politiska sfären och vilka utbildningsreformer som blir till menar forskaren.
32
Bagger (2015), Prövningen av en skola för alla- Nationella provet i matematik i det tredje skolåret, Umeå Universitetet
13
4. Teoretisk utgångspunkt
I denna studie kommer validitetsteorin att vara den teoretiska utgångspunkten. Moderna validitetsteorin ser inte validiteten som en egenskap hos ett bedömningsstöd utan snarare som en process. Teorin har utvecklats under drygt 100-årstid och fortsätter att göra det än idag. Relevanta bedömningsteoretiker som bidragit till dess utveckling är bland annat den amerikanska professorn i psykologi Messick, som menar på att vi måste betrakta vilka konsekvenser resultaten från prov genererar på en bredare front. Därmed är validitet för Messick en kombination av vilka kunskapsdomäner testet mäter och “hur vi använder resultatet samt vilka konsekvenser testet får exempelvis avseende kunskapssyn och social stratifiering”.34
Teorin syftar på att förklara och argumentera för kvalitén av arbetsprocessen när ett bedömningsstöd framtas och användas. Samtidigt som teorin menar förklara huruvida utformningen av bedömningsstödet påverkar “icke avsedd tolkning, användning och konsekvenser”. Därmed kan man genom att systematisera utformningen minimera riskerna menar man inom denna teori.35
34
Messick (1994), Validity of psychological assessment: Validation of inferences from persons responsses and
performances as scientific inquiry into score meaning,. Educational testing service Princeton: New Jersey 35 Skolverket (2020), Systemramverk för betygstödjande nationella bedömningsstöd
14
Messick har identifierat två olika validitetshot som kan uppstå vid formandet av proven. Ena av de är så kallad “construct validity” (A). Kunskapsdomäneran menar förespråkarna måste precisera och skrivas fram i en så kallad konstrukt. I construct, eller som det översätts till svenska i konstruktet skall man precisera och motivera exakt det man menar vill mäta och pröva i provet. Del A i figuren ovan åsyftar på konstruktens relevans. Provet som utformas skall enligt teorin testa hela konstruktet och inte vissa delar av den. Utformas provet på det viset att endast vissa delar av den prövas befinner man sig i ett läge där man har “underrepresentation av konstruktet”. Detta får allvarliga konsekvenser för resultatet och hur den senare används.36
Det andra validitetshotet som Messick talar om är “construct validity & relevance/utility”. Influeras provresultaten från andra faktorer än de som framgår i konstruktet genererar provet ett resultat som inte är valid gentemot konstruktet vilket också kan få allvarliga konsekvenser. Konstrukt- irrelevant varians har sin grund i uppgifternas och svarssättens utformning. Nämligen för många kryssfrågor kan generera ett resultat som inte visar den analytiska förmågan. Eller tvärtom uppgifter som kräver stor textproduktion, kan leda till att man bedömer svarsförmågan istället för det provet åsyftar att mäta.37
Huruvida provets resultat och innehåll tolkas och används får vissa konsekvenser som Messick modell benämner för “consequential basis”. Innehållet i provet signaler för eleverna och lärarna att innehåll är viktigt, vilket delen (C), “value implications” i figuren hänvisar till. Medan del (D) “social consequences” syftar på de sociala konsekvenserna som resultaten av proven får. Här menar inte Messick endast för den enskilde eleven men även på samhällsnivå, myndigheter, institutioner verksamheter m.m. För den enskilda eleven kan prov och resultatet påverka kunskapssynen och självbilden. Dessutom kan det påverka elevens framtid inom utbildningssystemet. På samhällsnivå, kan politiker använda resultaten som en måttsticka för att göra förändringar inom utbildningsväsendet eller att legitimera fler införda provmättningar som påverkar och förändrar skolvärlden.38 “evidential basis” inriktar och syftar på den resultatbaserade delen. Här tar Messick en traditionell test- och prov vinkel där man tar hänsyn till endast resultatet. Messick uttrycker att dessa överlappar varandra men att han ändå vill systematisera validitetsprocessen genom att förklara de åtskilda.39
36
Skolverket, 2014
37
Ibid
38 Skolverket (2011b) Kunskapsbedömning, vad, hur och varför? 39
15
5. Resultat
Under denna rubrik presenteras studiens resultat. Sammanställningen och bearbetningen av det transkriberade materialet presenteras under fyra olika avsnitt. I första hand utrönas hur provkonstruktörerna arbetar med tolkningen av kursplanen och fördelningen av förmågorna. I de resterande avsnitten presenteras provkonstruktörernas tidigare erfarenheter, de problem, utmaningar och begränsningar som de uppfattar att de står inför under arbetsprocessen samt hur utvärderingen av proven går till.
5.1 Tolkning av kursplanen och fördelningen av förmågorna
5.1.2 Tolkning av kursplanen
Det som samtliga respondenter var överens om var att det ligger ett gediget arbete bakom tolkningen av kursplanen i historia. Ben uttrycker också under intervjun att hela arbetsprocessen med att konstruera de nationella proven börjar med att tolka kursplanen och kunskapskraven för historia ämnet. Detta kopplar respondenten med uppdraget som de blivit tilldelade av Skolverket. Respondenten uttrycker också att den nya reviderade kursplanen kommer att leda till att hela processen med att tolka kursplanen drar återigen igång inom gruppen.
Vi utgår alltid ifrån styrdokumenten, vi tolkar styrdokumentet, vi har ju ett uppdrag från Skolverket att konstruera ett prov som svarar mot styrdokumenten…Jag uppfattar att vi vi, processen börjar med börjar någonstans med att vi tolkar de skrivningar som finns när det gäller historia ämnet i grundskolan för årskurs sju till nio. Där är det ju intressant att vi nu kommer reviderade, en reviderad kursplan som vi då ska förhålla oss till så då har vi liksom behövt gå in i den processen igen, för att tidigare så hade vi väl liksom hittat vår tolkning av den gamla kursplanen, men nu har vi liksom behövt omtolka och om tänka i nya banor kring den reviderade kursplanen.
Mary minns tillbaka när just deras lärosätet och grupp blev tilldelad uppdraget att konstruera de nationella proven i historia. Eftersom allt var relativt nytt när konstruerandet av nationella proven i historia startade upp 2011, fick gruppen luta sig mot andras erfarenheter säger Mary under intervjun. Man fick både samarbeta med andra lärosäten, Skolverket och inte se till
16
forskning som handlade om just mätsäkerhet alltså validiteten på proven. Hon berättar att dåvarande projektledare och historiken Per Eliasson var med i arbetet med framtagningen av historia ämnets kursplan. Detta gjorde att det fanns viss kunskap och tanke redan då med tolkningen av kursplanen inom gruppen.
(…) när man startade upp för SO- proven så fick man luta sig mot den erfarenhet som fanns då dels inne på skolverket och dels i de här gamla provinstitutionerna som har mycket erfarenhet men sen handlar väl även om att läsa på, det finns ju nån slags, det finns ju en vetenskap kring detta som man behöver, som, det ju dels, handlar dels om validiteten i provet att man ska förhålla sig till det som man ska pröva, kursplanen man ska pröva och det, eftersom Per Eliasson som var första projektledaren här, var en av de tongivande bakom kursplanen i historia så fanns det ju, det fanns en strak miljö på vårt universitet för, en känsla för hur kursplanen i historia skulle undervisas och vad den innebar så att säga, och därmed även vad som var en bra frågor att ställa och hur man skulle pröva det.
Respondenten som jag namngivit Adam och som är nuvarande projektledare i gruppen för nationella proven mindes också tillbaka till när allting startade och menar på att arbetsprocessen och tolkningen av kursplanen har förändrats enormt sedan start. Den har allt mer systematiserat, granskat och förfinas. Så här beskriver projektledaren Adam förändringarna och vad som styr deras tolkning av kursplanen nu:
Arbetet har utvecklats hela tiden. I början så gjordes det ju...uppgifterna direkt mot kursplanen alltså, att man tittade på kunskapskraven och så sen förhöll man sig till hur man skulle kunna mäta elevernas kunskaper utifrån de här kunskapskraven och så gjorde man utkast på uppgifter och så gick man ut och provade de och lärare fick titta på dem och elever fick titta på dem och så gjorde man om och gjorde rätt och så. Sedan har detta arbete förfinats under åren. Nu jobbar vi med någonting som heter, ett först och främst, det är två moment. Först skrev vi ett konstrukt. Ett konstrukt är ett vetenskapligt begrepp som man använder vid psykologiska studier. När man ska mäta någonting som man inte vet vad det är och som inte går att se så skriver man ner vad man menar att det är. Vad vi gjorde i konstruktet var att vi skrev vad det är historisk kunskap och hur kan man mäta det utifrån kursplanen. Vid det tillfället gjorde vi, 2014 tror jag, gjorde vi en rejäl genomarbetning av kursplanen men också via olika, genom litteraturen, försökte vi fånga upp liksom vad det är för någonting, historisk kunskap och hur man kan mäta det.
Vidare ombads Adam att utveckla vilka som var med och skrev konstruktet och vilken roll den spelade då och idag för tolkningen av kursplanen och konstruerandet av nationella proven. Adam berättar bland annat liksom Mary ovan att både han själv och den dåvarande projektledaren och historikern Per Eliasson var med och skrev kursplanen 2009, som blev Lgr
17
11. Detta bidrog till att de båda också var med och skrev konstruktet tillsammans med två andra provkonstruktörer från lärosätet Karlstad. Han berättar vidare att de resterande i gruppen var också med i samtalen “och bollade idéer med dem”. Det blev ett dokument på 40 sidor som skickades till Skolverket. Konstruktet satte inte endast tonen för hur kursplanen skulle tolkas men den blev också en del av det så kallade “provramverket” som skrevs inom gruppen. Provramverket är ett “internt dokument” som beskriver hur provkonstruerandet i historia ska gå till så att man kan mäta det man skrivit fram i konstruktet. Hela processen med tolkningen av kursplanen blev mer och mer “tekniskt” uttrycker Adam under intervjun. Alla processer skulle säkras upp och valideras säger projektledaren, “vi skulle tillse så att vi inte mäter sådan som vi inte ska mäta, utan mäter det vi ska”.
Vidare diskuterades även huruvida de har fått några reaktioner från de verksamma lärarna på provkonstruktörernas tolkning av kursplanen. Projektledaren Adam uttryckte bland annat att vid de allra första proven var reaktionen från lärarna starkare. Främst handlade det om två förmågor, källkritik och historiebruk. Provkonstruktörerna fick in från de verksamma lärarna förundringarna över huruvida uppgifterna verkligen testad förmågan källkritik och historiebruk. På frågan “har de verksamma lärarna haft några synpunkter på just eran tolkning av kursplanen?” löd Adams svar såhär:
Ja, det har vi haft, så det är en ständigt, det är en jätteviktig kontakt att ha. Att hela tiden bolla med lärare. Dels tolkningar av kursplanen men också....det blev så konkret med när vi tagit fram uppgifter och de tittade på det så kommer diskussionerna upp, “är det detta som är källkritik?”, “är det detta som är historiebruk?” och nationella provet har ju fått en väldigt stor betydelse, därför både källkritik och historiebruk har ju varit, har inte lärare, Skolinspektionen har kritiserat skolornas hantering av de här två sakerna i historia. Nationella provet har fått ett en väldigt stor betydelse för hur lärare arbetar med detta. Utan vidare säga nationella proven har blivit en väldigt viktig fortbildningsfaktor av svenska historielärares uppfattningar av läroplanen och hur vi sätter betyg, mäter historia.
Under intervjun diskuterar vi även vidare riskerna som finns av att det är tolkningen av kursplanen från ett fåtal personer i detta fall provkonstruktörerna för nationella proven i historia som får komma till tals i provet. Mary diskuterar de slutna uppgifterna och antal kryssfrågor som de blivit beordrade att öka i de nationella proven för att minska tolkningsutrymmet. Detta säger hon leder till att det riskerar att det blir “vår tolkning av vad historia är” och mycket mindre den verksamme läraren som får “fritt rätta öppna uppgifter
18
och bedöma om det här är ett rimligt svar eller inte”. Detta bemöter Adam genom att belysa antal granskningar och steg som proven får gå genom innan de trycks till ett färdigt prov. Processen förvårar att någonting skulle “slinka genom” menar han. Men visst finns det risker med det säger Adam.
Det är en risk att det blir monolitiskt. Att det blir ett sett som blir avgörande, att provkonstruktörer får ett allt för stort inflyttande. Det är onekligen en, någonting man måste diskutera och därför är det ju viktigt att lärarna har ett stort inflyttande över proven så att det inte är provkonstruktörernas syn på historia som styr utan att det är en nån sorts, att provet är ett resultat av en dialog mellan elever, lärare, läroplaner och allmänhet. Det är det vi siktar på liksom. Vi känner ju inte att vi på något sätt sitter och trycker in våra egna käpphästar i proven. Det går inte, det gör man inte. Samma sak med om man har politiska åsikter eller någonting annat. Uppgifterna går genom för många granskningar för att någonting sånt skulle slinka genom.
5.1.3 Fördelning av förmågorna
Under intervjuerna diskuterades även huruvida fördelningen av förmågorna gick till. Det samtliga respondenter var överens om var vikten av att alla förmågor och kunskapskrav ska prövas på provet. Man hänvisade till historia ämnets karaktär och menade på att det inte går att bara testa några av de då man måste se helheten. Man argumenterade också för att ha med alla förmågor med de vetenskapliga begreppen reliabilitet och validitet, provet ska spegla hela kursplanen för historia ämnet. Så här resonerade Emma provansvarige vid Skolverket när förmågorna diskuterades:
(…) det är ett samarbete mellan mig och lärosätet, där ska ju provet bli reliabelt och valid, som vi säger då, att det ska spegla kursplanerna, undervisningen. Vi tycker ju att det hela provbetyget, vi vill inte dela upp förmågor eller kunskapskraven för att det inte är reliabelt. Våra prov funkar inte på den detaljnivån, de funkar bara på hela.
De andra respondenterna intygar det som står i citatet ovan och hänvisar till kursplanen. Mary uttrycker att “Man kan inte diskutera kontinuitet och förändring separat om man inte har ett innehåll, en referensram, ett sammanhang som de ska sättas i och källorna finns i ett historiskt sammanhang och även historia användningen. Så referensram är central, rent, det är ett ämnesdidaktiskt faktum.”. Chris intygar detta och säger under intervjun att fördelningen av förmågorna har varit de stora “stötestenarna” i arbetet. Han säger att i början så var de mer
19
jämnt fördelade men numera har referenskunskaper störst plats och flest antal frågor på provet. Kursplanen i historia handlar om att utveckla ett historiemedvetande och enligt kursplanen består det av fyra förmågor, detta medför att det viktig att testa alla fyra förmågor för att se “helheten” säger Chris. Projektledaren Adam diskuterar också fördelningen av förmågorna och säger att “de tänker vi mycket på”. Han uttrycker också i intervjun att den procentuella fördelningen av förmågorna på provet har gruppen resonerat fram mycket genom “mötet med professionen”. De verksamma lärarna har genom deras reaktioner och utvärderingar av proven visat för provkonstruktörerna exempelvis att referenskunskaper är viktiga för de. Provansvarige vid Skolverket Emma ger en mer procentuell fördelning av förmågorna och på frågan om fördelningen av förmågorna på nationella proven skickar vissa signaler till de verksamma lärarna svara Emma såhär:
Vi jobbar också mycket med det vi kallar “wachback” och “teaching to the test”, vi är jätterädda för det. Vi är jätterädda att vi snävar in kursplanen, det är också ett sånt problem vi hela tiden försöker jobba med. Vi måste öppna upp för att ha mycket och det är provgruppen också väldigt medvetna om. De vill ha mycket historiebruk men (skrattar) då kanske de får väldigt låga resultat på proven därför att lärarna inte har undervisat om historiebruk och är det då rättvist att man får ett prov, att eleven möter ett prov, när hen inte möt det i undervisningen. Det verkligen en diskussion. Sen tycker jag, nu är det ju så att de är ganska tuffa (...), de säger ju 25 procent källor, 25 procent historiebruk 50 procent referensram. Jag tror det nog många som skulle gärna skära lite i det där historiebruket men nu, dem tycker att det speglar kursplanen och det tycker inte jag att jag kan ifrågasätta utan det håller jag nog egentligen med om men det inte säkert att det speglar undervisning.
Samtliga respondenter diskuterar vilka signaler fördelningen av förmågorna på provet skickar till de verksamma lärarna och huruvida de lägger upp undervisningen. Adam säger under intervjun bland annat att så kallade “high stake” test innebär alltid en risk att lärarna börjar undervisa till testet. Det är alltid en fara menar han på att lärare börjar betraktar “hur bra lärare de är speglar sig på hur bra eleverna gör ifrån sig på provet”. Ben uttrycker också att nationella proven påverkar undervisningen eftersom dessa ska “särskilt beaktas vid betygsättningen”. Mary skiljer sig i hennes resonemang om vilka signaler proven sänder till de verksamma lärarna, så här resonerar hon:
Jag skulle snarare säga att proven har tydligt haft med både även om det är färre rena källuppgifter och färre rena historiebruks uppgifter eller begreppsuppgifter i nationellt prov så tror jag inte, min gissning är att det sänder snarare signalerna att det är viktiga delar av historia ämnet. Därför att det har funnits med tydligt i varje nationellt prov. Tror snarare att lärare får ett kvitto på kanske att
20
deras elever klarar de uppgifterna sämre på grund av. Att lärare undervisar mindre kring detta tror jag inte har med nationella proven att göra utan jag tror snarare att det har med kunskapsnivån hos SO-lärare på högstadiet att göra. Jag hade inte några större, jag har varit verksam lärare på högstadiet i svenska, historia och religion i 15 år. När Lgr 11 kom så hade jag ju i min utbildning på stenåldern så nämndes inte ordet historiebruk (skrattar). Jag läste ingen ämnesdidaktik, jag hade ingen aning om vad historiebruk var förrän Lgr 11 kom. Det fick jag ju läsa mig till själv, jag fick ingen utbildning kring det. Så att det är, det snarare där att det ligger, tänker jag än att vi. För provet signalerar ju tydligt att de här förmågorna finns och att de är en del av historia. Min gissning är att det inte är det som gör att det undervisas mindre och kan detta sämre.
Historisk empati är ett begrepp som diskuterades under intervjuerna. Det man kan notera utifrån respondenternas svar var att samtliga var överens om att det är ett knepigt begrepp i samband med provkonstruerandet. Provkonstruktörerna var överens om att det är ett begrepp som förkommer vid uppgiftskonstruktionen och provskapandet men endast i källkritik. Samtliga nämner progressionslösheten i begreppet och att den inte är så tydligt framskriven i kursplanen, vilket begränsar hur mycket man kan ha den med i provet. Den landar liksom bara på E-nivå säger intervjupersonerna. Både Mary och Joel delar också upp begreppet i två olika grenar. På en sida befinner sig det mer teoretiska perspektivet av begreppet, alltså att elever ska kunna sätta in sig i dåtidens levnadsvillkor och värderingar medan den andra grenen av begreppet förklaras under intervjun som att “kunna leva in sig i historien”. Det är den förstnämnda enligt Mary som förekommer på proven den andra är inte relevant under provsammanhang utan mer i undervisningssammanhang förklara hon. Provet ska inte beröra eller uppröra tydliggör Mary utan det är det teoretiska perspektivet av begreppet som får framskivas i provet. Mary nämner att den etiska granskningen också sätter begränsningar för begreppets framskrivning i provet. Så här diskuterar Mary kring det:
Det här med att beröra, nej, det är en dålig sak i provsamanhang. Då blir det liksom. Historisk empati på det sättet, att man liksom vill måla, engagera, beröra, det är ingen ambition vi har alls. För det skulle kunna påverka provresultatet. Att olika elever reagerar olika. Det är också någonting vi blir tydligt granskade på inför varje prov. Vi har etiska granskningar och Skolverket tittar på det. Men den finns mer på en teoretisk nivå kan man säga som i en provspecifikation att vi kopplar till den här delen av kunskapskraven: Att förstå människor i den tid de fanns. Och jag kan tycka att detta kommer i uttryck i källuppgifterna.
21
5.2 Provkonstruktörernas tidigare erfarenheter in i arbetsprocessen
Som det tas upp ovan så har provkonstruktörerna lite olika erfarenheter från skolverksamheten. Under intervjuerna framkom huruvida dessa erfarenheter har bidragit till arbetsprocessen med nationella proven. Det som kan noteras är att respondenternas utsagor var helt uteslutande överens om vikten av att besitta erfarenhet när man konstruerar nationella proven.
Ben uttrycker under intervjun att man inte rekryterade någon till gruppen som inte har en lärarbakgrund. Det har varit så pass viktigt att ha en “fot in i verkligheten”. Han tar upp bland annat att det är viktigt med professionens perspektiv för att kunna vara lyhörd inför att se om en uppgift eller liknande skulle kunna funka. Han menar också på att han ibland saknat att han bara har erfarenheter från gymnasiet och inte från grundskolan. Ben ger lite konkreta exempel på hur han bidragit med sina erfarenheter från gymnasiet till provkonstruerandet:
Jag vet ju, hur ska jag säga...vi det här laget så vet jag ju vad man hur undervisningen ser ut på grundskolan. Jag kan se progressionen från grundskolan till gymnasiet. Jag kan se att den här uppgiften kanske lämpar sig i större utsträckning eller svarar bättre mot historia 1b på gymnasiet än vad det kanske görs till en uppgift till nationella provet. Jag kanske har ett progressions tänkande som är bottnad i vad vi faktiskt gör på gymnasiet och vad som görs i grundskolan.
Chris intygar också vikten av att inneha en lärarbakgrund när man har ett uppdrag som provkonstruktör. Han säger att det i stort sett helt “avgörande” och fortsätter vidare med att säga:
Det ju nästa, jag skulle säga det är helt avgörande att man har lärarerfarenhet i gruppen, alla behöver inte ha det, för man kan ha olika erfarenheter men för att kunna veta hur en undervisning ser ut, vad är det för slags undervisning eleverna får. Vilken nivå handlar det om, jag menar kunskapskraven säger inte någonting om själva nivån egentligen, hur nivån ser ut på högstadiet. Du behöver erfarenhet av undervisningsmaterial, vad är det som tas upp, hur tas det upp. Det är, det skulle jag säga är helt avgörande för att göra ett prov som faller väl ut i lärarkåren och som tilltalar eleverna också. Så absolut det jätteviktig att ha lärarerfarenhet när man gör detta arbete.
Projektledaren Adam säger under intervjun att hans erfarenhet håller på och blir “gamla”. Han tar mer bedömningsperspektivet i beaktning när han förklara hur han bidragit till
22
provkonstruerandet med sina erfarenheter. Han menar på att han alltid varit intresserad av bedömning och det tar han med in i arbetsprocessen såhär uttrycker han sig under intervjun:
Jag var rätt tidigt intresserad av bedömning så att jag var inblanda på vissa projekt på lokalnivå kring bedömning i SO och bedömning generellt. Så att jag hade det med mig och sen hade jag ju också erfarenheter av att göra prov. Jag har undervisat så pass länge att jag var med sista året när vi satte relativa betygen ett till fem. Jag vet ju hur man tuffar med de betygen. Och så var jag med processen när Lpo94 kom och det är ju ett arbete som gjordes under många år, där man började för första gången fundera på att, detta var ju ett viktigt uppdrag att sätta betyg och att det kanske ska vara lite mer ordning och reda med det, det kom ju med i Lpo94. Jag jobbade mycket med det med mina elever. Jag försökte göra många olika prov och tester, ge de uppgifterna i förväg och, ja alla möjliga olika varianter.
Mary tar vid ett elevlärarperspektiv när hon talar om sina erfarenheter och hur de bidragit till formandet av nationellt prov. Hon beskriver bland annat vikten av att veta hurdan en högstadieelev är och vad lärarna har att stå i:
Jag tror jag använder min, provkonstruktion och att konstruera prov som lärare och undervisa är två helt olika saker faktiskt (skrattar). Det som någon annan sa, att göra nationellt prov är någonting helt annat än att undervisa och göra uppgifter till sina elever och sådär. Just i mitt arbete som provkonstruktör uppgiftskonstruktör eller i den här utprovningsprocessen och så så har jag nytt av min lärarerfarenhet i det att jag liksom förstår och vet någonting om det som de lärare jag träffar och tar kontakt med och möter och pratar med står i. Jag tror att jag framförallt använder min undervisningserfarenhet när jag tänker på nivån i uppgifter och hur elever kommer reagera och också min erfarenhet av, asså att jag har med mig tydligt elevperspektivet och har en tydlig erfarenhet av högstadieelever. Som andra i vår grupp inte har och det bidrar jag med hela tiden.
5.3 Skolverket, ramverken och styrdokumenten
Under intervjuerna diskuterades även hur fria tyglar provkonstruktörerna anser att de har under arbetsprocessens gång. Svaren varierade beroende på var i arbetsprocessen man befinner sig. Exempelvis framgår det i respondenternas utsagor att konstruktionen av proven styrs av olika ramverk. Genomförandet däremot styrs helt och hållet av Skolverket. Emma ansvarig vid Skolverket för nationella proven säger att när det handlar om genomförandet av proven “sätter vi ner foten”. Medan utvärderingen av proven sker från flera olika håll där fler aktörer är inblandade. Det som ytterligare kan noteras från respondenternas svar är att arbetsprocessen och hur pass fria tyglar provkonstruktörerna besitter, har ändrats enormt
23
sedan start. Adam uttrycker att allt har blivit mer “tekniskt” och Mary säger att idag blir “vi mer styrda och formningen mer fyrkantig”. En annan återkommande teman under intervjuerna var Skolverkets centrala roll. Det framgår bland annat att Skolverket är de som äger provet och beställarna av den, vilket även medför att de har både sista ordet men även gör ett antal olika granskningar innan den trycks till ett färdigt häfte.
Under intervjuerna så nämns olika ramverk, ena av de kallas för provramverket och den andra för systemramverket. Systemramverket beskrivs av respondenterna som den övergripande ramverket för samtliga nationella prov. I den utrönas hur arbetsprocessen ska gå till. Provramverket är däremot som Adam uttrycker ett “internt dokument” inom gruppen där det står hur arbetsprocessen ska se ut för just nationella proven i historia. Den sistnämnda skriver varje lärosäte och varje ämne sitt. I provramverket står det säger Adam både “hur uppgifter ska testas, vilka statistiska värden de ska ha vilka och hur många experter som ska granska dem, uppgifterna, hur många elever som ska testas i olika skeenden (…)” Dessa ramverk styr arbetsprocessen helt och hållet. Så här beskriver Mary framtagandet av dessa ramverk:
Skolverket hade inte heller haft något tydligt ramverk för detta. Men jag tänker att, när var det då?...För några år sedan så tog de tag i det och skapade bland annat med hjälp av Gudrun Ericsson, som länge varit projektledare för engelskan vid Göteborg, skrevs det ett systemramverk alltså “detta är hur nationella prov konstrueras och genomförs i Sverige”. Det systemramverket har vi sedan dess att förhålla oss till (…). Utifrån den anmodades alla provgrupper att skriva sitt eget provramverk och då måste vi förhålla oss till det som står i systemramverket. Där är det till exempel massa statistiska angivelser och hur en provkonstruktionsprocess ska gå till.
Förutom att arbetsprocessen och gruppens arbete styrs av ramverken ovan så framgår även Skolverket som central. Chris uttrycker under intervjun att “Skolverket har tydliga riktlinjer för hur provet ska se ut”. Att Skolverket äger provet och är beställaren av den intygar samtliga respondenter. Detta medför enligt de att de besitter med mer styrandemakt. Två av respondenterna uttrycker dock att hur mycket Skolverket blandar sig i arbetsprocessen och konstruktionen av proven varier med åren och beroende på vem som har uppgiften som provansvarige vid Skolverket. När Ben får frågan om just hur fritt spelrum de har svarar han “Det här varierar över tid, det beror lite på vem som är provansvarig, hur pass fria tyglar vi får, skulle jag säga”. Mary uttrycker bland annat att Skolverkets olika beslut som exempelvis de med de digitala plattformarna påverkar deras arbetsprocess. Just nu “haltar vi med de digitala utprövningarna” säger Mary. Detta för att Skolverket har sagt “stopp och belägg” då
24
myndigheten måste backa och ta nya beslut om de digitala plattformarna. Just nu är vi i “limbo” en stund säger Mary.
Emma provansvarige vid Skolverket uttrycker under intervjun hur fritt provkonstruktörerna kan tolka och fördela förmågorna på egen hand. Svaret blir att hon kan som provbeställare säga ifrån om hon ansåg att någonting inte var som det ska men måste ha goda skäl till att säga ifrån då det är dem som är “experterna inom ämnet”. Hon ger ett konkret exempel när ett annat lärosäte endast ville pröva en del av kunskapskraven, detta gillade inte hon och fick då genom via diskussioner så att samtliga kunskapskrav skulle prövas. Vid genomförandet av proven har dock Skolverket hela ansvaret och har mycket att säga till om. Hon beskriver också att Skolverket själv styrs i sin tur av lagar och förordningar som riksdag regering beslutar om:
Vi har föreskrifter som vi kallar det, som är en slags instruktioner eller det ligger under förordningar och lagförordningar, föreskrifter. Det är sånt som myndigheter kan bestämma men de handlar absolut mest om genomförandet, där sätter vi ner foten. Nu det senaste då att alla prov ska börja klockan nio på morgonen, den typen, provdatum föreskriver vi. För lärosätena handlar det mer om att vi gör en beställning med ett antal strecksatser kallar vi det för. Där vi preciserar hur provet ska se ut. (…) där står exakt vad vi förväntas oss. Det är ganska mycket. Det mycket till exempel att provet ska vara tillgängligt, användare vänligt. Vi gör en etisk granskning, jätteviktigt. Vi måste förhålla oss till diskrimineringslagar.
Ytterligare faktorer som påverkar hur fritt provkonstruktörerna kan besluta om saker och ting vid provskapandet enligt vad som kunde noteras utifrån intervjuerna är de verksamma lärarna och det statistiska kring proven. Prövningsprocesserna och strävan efter en likvärdig bedömning har exempelvis enligt Mary begränsat hur provformatet skall se ut och huruvida frågorna ska vara slutna eller öppna. Både Mary och Adam diskuterar kring hur allting har säkrats upp ännu mer för att provet skall vara reliabel och valid. Detta bland annat genom att ändra formatet på provet där fler kryssfrågor har införts. Just delen med antal ökade kryssfrågor har varit en direkt order från Skolverket framgår det i intervjun. Detsamma diskuterar hon kring framtida digitala nationella prov och vilka konsekvenser dessa får för just arbetsprocessen. När Mary får frågan, hur mycket hon anser att de kan fritt besluta om inom gruppen, svara hon såhär:
Mindre och minder skulle jag säga (skrattar). Också därför att de digitala plattformar som vi...om det blir, just nu är vi lite i limbo kring hur, vilken väg det här ska ta, eftersom de nyss har avblåst
25
det digitala genomförandet 2023. Men det, trenden man kan se att den digitala plattformar som ju är uppköpta centralt och som vi alla tvingas in i så kan det finnas begränsningar till exempel på formats nivå. Alltså att vi kan bara göra uppgifter på ett visst sätt. (…) Vilket i sin tur även påverkar vilket innehåll vi kan pröva. (…) Prövningsprocessen ger ju ett utfall som visar att vissa format och vilka sätt vissa sätt att ta fram uppgifter fungerar bättre än andra och vi måste ju använda de som fungerar bättre. Det klart att efter, det som från början var ett fritt skapande under de första åren, naturligtvis styrt av utprövningar det har ju sen smalnats av, man samlar ju på sig erfarenhet (…). Nej, det är inte så mycket kreativitet, det kan jag inte säga (skrattar). (…) Vi blir mer och mer fyrkantiga, dels för att vi kan mer och dels för att vi är mer styrda idag.
Vidare diskuterar Mary kring huruvida provformatets ändringar genom åren har en koppling till strävan efter likvärdig bedömning. Olika politiska beslut påverkar också konstruerandet av proven och sätter begräsningar på provkonstruktörernas arbete.
(…) hela syftet med proven är de ska stödja en likvärdig bedömning och då behöver vi göra ett prov (…) som är så mätsäker som möjligt naturligtvis. Att vi har fler kryssuppgifter och slutna format det ju en konsekvens av det, att det behöver finnas mindre tolkningsutrymme skulle jag säga (skrattar). (…) det ju politiska beslut kring detta att provresultaten ska särskilt beaktas och då behöver ju också proven vara stabila och mätsäkra därav fler kryssuppgifter och att det är en direkt order kan man säga att göra mer av den typen.
Adam beskriver också att gruppen inte kan ha hur fria tyglar som helst i konstruerandet av de nationella proven utan måste vara lyhörda både inför läroplanen men även inför de verksamma lärarna och eleverna. Han beskriver bland annat att utvärderingarna som lärarna gör, bland annat enkäter de besvara angående nationella proven tar gruppen en hel del hänsyn till. Just utvärderingsdelen kommer utvecklas i rubriken nedan. Projektledaren berättar också att de försöker gör prov som har hög så kallad “face validity” som innebär att provkonstruktören försöker göra ett prov som av “professionen uppfattas som ett bra prov, som mäter kunskaper historia”. Detta anger Adam som en viktig validitet för gruppen.
5.4 Utvärderingen av proven
5.4.1 Skolverkets utvärderingar av proven
Vad man kunde utröna utifrån intervjun med provansvarige vid Skolverket var bland annat att Skolverkets utvärderingar av proven sker främst utifrån två perspektiv. Ett av dessa stegen i
26
utvärderingsprocessen är de verksamma lärarna inblandade. Lärarna får fylla i en enkät där de bland annat beskriver hur de uppfattade provet. Medan den andra utvärderingen utformas av lärosätet som konstruerar proven i form av en verksamhetsberättelse. Provansvarige vid Skolverket berättar bland annat att man kan inte var hörsamma gentemot de verksamma lärarna hur mycket som helst. Exempelvis som nämns även ovan ges förmågorna som ett exempel och fördelningen av dessa. Det ingår i uppdraget för provkonstruktörerna och fördelningen av dessa sker i samtal med Skolverket inget lärarn kan påverka framgår det under intervjun. Däremot anges flera andra punkter som Skolverket och provkonstruktörerna särskilts tar i beaktning av Skolverket.
(…) däremot lyssnar vi jättemycket på lärare hur de uppfattar provet. Vi är väldigt känsliga om de tyckte att det var jobbigt att rätta till exempel, tar väldigt lång tid och det stressigt och så. Om de tycker att provet var för svårt eller för lätt eller om det inte speglade den undervisning som de faktiskt hade bedrivit. Om vi ser att det är stora skillnader där och att provet vi får har halvbra resultat.
Vi diskuterade vidare vad man konkret gör med utvärderingarna som kommer in och resultaten över proven. Emma uttryckte att Skolverket samlar in olika utvärderingar, granskar dem och uppstår det frågor eller funderingar så tar man dessa ihop med lärosätet. Det är ingen återkoppling direkt till någon enstaka skola som exempelvis gjort sämre ifrån sig eller med annan politisk myndighet utan endast med provkonstruktörerna samt att man publicerar offentliga rapporter. Skolverket sätt att nå ut till skolor och andra myndigheter som kan intressera sig för de nationella proven är att skriva rapporter som Emma säger är offentliga handlingar för alla att ta del av. Efter varje genomförd nationellt prov skrivs en provrapport och rapporter där Skolverket jämför slutbetygen och nationella provens resultat:
Tillbaka till skolorna skickas inte, vi är mycket för att publicera rapporter isåfall. Det är det vi skulle göra. Vårt sätt att arbeta, mitt sätt att arbeta, det är att gå via, alltså samla in den här informationen gå tillbaka till lärosätet och säga “här är nått som inte fungerat, vad kan det vara, kan vi rätta till det nu till nästa år så vi får bättre siffror?”. Det mer så, jag går liksom via provet jag går inte så ofta via målgruppen, till lärarna då.
Under intervjun diskuterades även huruvida de nationella proven påverkat revideringen av kursplanen för historia. Så här utrycker sig Cecilia kring frågan om nationella proven bidragit till revideringen av kursplanen:
