Problem, utmaningar och begränsningar

Under intervjuerna framkom flera olika utmaningar, begräsningar och problem som provkonstruktörerna står inför när de konstruerar dessa prov. Begränsningar som nämndes var bland annat förändringarna i arbetet och tilläggen av olika ramverk som de ska förhålla sig till. Stabila provresultat och hur pass fritt skapande provkonstruktörerna ansåg att de har var också teman som kom upp. Skolverkets påverkan och hur hörsamma de upplevde de kunde vara gentemot de verksamma lärarna är också utmaningar de står inför.

Under rubriken “tidigare forskning” nämns Tveits studie om de nationella proven. Tveit nämner bland annat att nationella proven används idag mer och mer i ett kontrollerande syfte.

36

Samtidigt som de inte lever upp till det.45 Kampen om mätsäkra prov är en tydlig vinkel som framgår även i intervjuerna. Strävan efter mätsäkra prov speglar sig också i de förändringar som skett inom arbetsprocessen. Bland annat tillkomsten av fler ramverk som styr upp och strukturerar processen och som provkonstruktörerna skall lyda.

De olika styrande ramverken som tillkommit med tiden är en begränsande och styrande faktor i provskapandet. Som det även framkom under intervjun med Mary så är det inte lika fritt skapande längre för provkonstruktörerna. Utifrån validitetsteorin ju mer man systematiserar arbetsprocessen ju mer sannolikt är det att man identifierar yttre faktorer som kan påverka resultatet. Man synliggöra delar som inte samstämmer med konstruktet vilket genererar ett valid resultat gentemot den. Det problematiska när allt blir mer tekniskt och systematiseras kan leda till att kursplanen snävas in för mycket eller att frågorna i stängt format påverkar vad eleverna egentligen visar på provet. Just rädslan för att snäva in kursplanen för mycket var ett ämne som diskuterades även med Emma. Strävan efter stabila resultat och minskat tolkningsutrymme har genererat fler kryssfrågor. Enligt validitetsteorin så kan detta vara en validitetshot för resultatet. Är kryssfrågor det bästa formatet för att pröva det som framgår i konstruktet, är en fråga som enligt validitetsteorin bör ställas. Vissa förmågor är det svårt att bedöma med kryssfrågor. Exempelvis är den analytiska förmågan svår att pröva i uppgifter med stängd format.

Utmaningar som provkonstruktörerna står inför vid provkonstruerandet är i stort sett alla resultatmässiga. Framgår tydligt att betyg, kravgränssättning och stabila resultat är viktiga och de stora utmaningarna. Samtidigt som man har ett uppdrag som går ut på att konstruera prov som är valid gentemot kursplanen och konstruktet så måste man även ta hänsyn till de verksamma lärarna. Dessa två perspektiv krockar. Detta framgår tydligt av samtliga respondenter. Det ges ett antal olika orsaker till varför. Ett av dem var det Mary nämnde om SO- lärare som har bristande kunskaper om en del av förmågorna som ska prövas på provet. Exempelvis lärare som varit med länge och tagit lärarexamen innan historiebruk och källkritik var en del av kursplanen och kunskapskraven, står nu inför stora utmaningar. Detta skapar problem för resultatet. Ett problem som provkonstruktörerna står inför men samtidig måste de vara trogna konstruktet och kursplanen och inkludera samtliga delar för att provet ska vara valid.

45

37

Skolverket som provbeställare och ägare av provet har mycket att säga till om. Därmed benämns även Skolverket som en begränsande faktor för provkonstruktörerna. Exempelvis styrs genomförandet helt och hållet av Skolverket. Skolverket är den som också granskar proven innan de trycks till färdigt häfte. Bland annat nämns i intervjuerna att en etisk granskning genomförs. Skolverket ställer också höga krav på tillgängligheten vid provskapandet. Samtliga av dessa skulle kunna placeras utifrån validitetsteorin under “consequential basis”. Alltså under vilka konsekvenser som provet medför för målgruppen i detta fall.

De etiska granskningarna görs för att provet inte ska vara diskriminerande eller stötande för eleverna. Det bland annat därför man menar att historisk empati är en utmaning att inkludera i provet. Provet ska inte beröra eller uppröra, och inkluderar man historisk empati för att beröra kan detta påverka resultatet för eleverna. Dessa granskningar genomförs också för att annat som inte står i konstruktet ska “råka slinka genom” som Adam uttrycker. Eller att provkonstruktörernas värderingar ska få utrymme i provet. Detta är validitetsteorin viktiga grundpelare som det även nämns ovan. Att se till så att man inte tillför något utan endast prövar det som framstår i konstruktet. För att inte resultaten skall påverkas av annat icke relevant innehåll. Dessa granskningar identifierar olika validitetshot.

Tillgänglighetsfaktorn innebär att samtliga elever skall innehava likvärdiga möjligheter för att genomföra provet. Även elever med funktionsnedsättningar skall ha möjligheten att visa sina kunskaper på lika villkor. Man strävar efter att minska alla risker som begränsar elevernas möjligheter att visa sina kunskaper. Dessa risker hade enligt validitetsteorin påverkat även elevernas provresultat. Baggers studie som utröns under rubriken “tidigare forskning” har stark koppling till validitetsteorins del om de sociala konsekvenserna som proven genererar. Hennes studie visar brister i just tillgängligheten. Forskaren uttrycker också att det får enorma konsekvenser för eleverna och deras framtid i utbildningsvärlden.46 Under samtalen som fördes med Emma, ansvarige för proven vid Skolverket framstår det dock att detta är en väldigt viktig punkt i provkonstruktionen och att Skolverket även sätter krav och press på provkonstruktörerna i just den här delen. Vidtas inte dessa åtgärder då bidrar dessa som Bagger själv beskriver i studien till olika sociala konsekvenser för eleverna. Elever som kanske redan har det svårt skolmässigt utifrån olika faktorer blir ännu mer påverkade av att det konstrueras prov som inte är ämnade för deras behov. Bagger skriver fram i studien att

46

38

eftersom dessa prov är “high stake” prov, alltså prov som påverkar eleverna på flera olika faktorer och deras framtida utbildning måste tillgängligheten vara prioriterad.47 I intervjuerna som utfördes för denna studie framgår det att så är fallet för nationella proven i historia. Tillgängligheten prioriteras högt. Denna punkt är även viktig utifrån validitetsteorins sociala perspektiv viktig att jobba med då det generar långtidskonsekvenser för eleverna eftersom proven är just som forskningen beskriver viktiga.