PISA-testets legitimitet

5.3.1 Validitet

Sjøberg (2015) påpekar att PISA-ranking tenderar att skapa panik och obehag hos alla länder som deltagit, även de som presterat bra. Obehaget leder till att politiker och byråkrater manas till att åtgärda sina skolsystem. Men då PISA inte säger särskilt mycket om orsak-verkan blomstrar kreativiteten och reformer utan vetenskapliga belägg introduceras ofta över en natt (Sjøberg 2015, s.112). Liksom Sjøberg menar Gorur och Wu (2015) att en vanlig respons i samband med låga PISA-resultat är att ta idéer från högpresterande länder och applicera på sitt eget skolsystem. Ett problem med detta är dock att några slutsatser om vilka system som fungerar bäst utifrån PISA- rankningen inte går att göra. Eftersom endast systemen i de länder som presterar bra analyseras av OECD går det inte att veta om samma system används även i länder som inte presterar bra i PISA. Dessutom är det inget som säger emot att länder som presterar bra i PISA hade kunnat prestera ännu bättre med ett annat system (Gorur & Wu 2015, s.649f).

Sjøberg (2015) påpekar att OECD:s mål är att mäta färdigheter som elever behöver i framtiden snarare än vad eleverna lärt sig i skolan. PISA-testerna är därför inte baserade på nationella

skolplaner utan på vad OECD:s expertgrupp anser är relevant att kunna i framtiden. Samtidigt säger OECD att de vill använda resultaten till att utvärdera kvaliteten, rättvisan och effektiviteten hos de

32 olika skolsystemen. Här uppstår en motsägelse och ett validitetsproblem (Sjøberg 2015, s.113). Ytterligare ett validitetsproblem i PISA-testet diskuteras av Sjøberg (2015) nämligen att själva testsituationen i sig skiljer sig markant från verklighetens arbetssituation. I ett test som ämnar att testa just elevernas förmågor inför ett framtida arbetsliv är det ett problem att själva testet görs i en situation som inte speglar ett framtida arbetssätt (Sjøberg 2015, s.120). Att PISA-testet inte verkar testa framtida förmågor som OECD avser påpekar också Feninger et al. (2012). Det finska

skolsystemet har länge hyllats för sina elevers fantastiska prestationer i PISA-testerna och har använts som en förebild för andra i sina reformer av skolsystemen. Ett av de tydliga karaktärsdragen i det finska skolsystemet är det hierarkiska och konservativa sättet att lära ut med begrepp som lydnad och auktoritet i fokus. Det finns här en viss ironi i att ett test som ämnar att bedöma elevers förmågor att leva upp till framtidens krav på flexibilitet, tänka själv, innovationskraft, och liknande premierar ett gammaldags skolsystem skriver Feninger et al. (2012, s.325). Sjøberg (2015) påpekar att det hierarkiska skolsystemet dessutom går emot alla forskare, specialister, samt OECD själva då de alla är eniga om att lärande bäst sker i aktiva former. Det står då i stark kontrast till PISA-

rankningen som snarare pekar på att de konservativa, hierarkiska skolsystemen ger bäst resultat (Sjøberg 2015, s.123).

En enligt Sjøberg (2015) intressant trend i de analyser som gjordes efter PISA-testet 2006 visade att de stater som presterade bäst i det naturvetenskapliga testet som PISA lanserade också befann sig i botten vad avser elevernas intresse för naturvetenskap. Både Finland och Japan är exempel på länder som presterade mycket bra men vars elever samtidigt menade att de har låg motivation till att lära sig mer naturvetenskap och inte kan tänka sig att arbeta med ämnet i framtiden. Att se denna typ av konsekvens av ett test som ämnar att skapa förutsättningar för bättre framtida arbetskraft är ett validitetsproblem (Sjøberg 2015, s.122).

Braun & Singer (2019) diskuterar vad PISA-testet verkligen kan ge för underlag och inte. De menar och att PISA-testerna går att använda till att förklara och jämföra reformer, politik och karaktärer hos elever samt hur de förändras över tid. Braun & Singer (2019) menar vidare att testet möjligen kan säga något om staternas system i en jämförelse men troligtvis väldigt lite om hur effektiv en särskild läroplan är, vilka undervisningsstrategier som är bäst eller vilken skolpolicy som genererar bäst prestanda. Inte heller kan testet användas för att hitta någon kausalitet mellan faktorer såsom exempelvis demografi eller socioekonomisk status och hur väl eleverna presterar på testerna (Braun & Singer 2019, s.82). I kontrast till Braun och Singer menar Gorur och Wu (2015) att lärandet är djupt förankrat i kulturen och att det därför inte går att göra några direkta internationella jämförelser alls. Istället kan PISA-testerna bättre användas på nationell nivå för att belysa problemområden

33 inom landet såsom socioekonomisk status (Gorur & Wu 2015, s.654). Feninger et al. (2012)

påpekar även parallellt till Braun och Singer att studier av Israel visar att det finns en stark korrelation mellan prestanda på testerna och demografiska och ekonomiska faktorer i enskilda länder (Feninger et al. 2012, s.329ff).

För att ett test ska anses legitimt måste det enligt idealtypen ha validitet, alltså att det mäter det som testet var tänkt att mäta (representativitet). PISA-testet har i jämförelse med idealtypen låg

legitimitet eftersom vad testet mäter och vad resultaten är tänkta att användas till inte är förenliga. Eftersom PISA-testet ämnar mäta förmågor som är användbara i framtida arbetsliv och inte

skolkunskap som dikterats av nationella läroplaner får testet därmed svårt att utvärdera kvaliteten av skolsystem som OECD avser. Även metoden som används för att genomföra testet är inte förenligt med att utvärdera framtidens förmågor då förmågorna inte appliceras i en kontrollerad provsituation som snarare gynnas av traditionell, auktoritär undervisning. Här uppstår ett tydligt

representationsproblem enligt idealtypsanalysen då testet ämnar testa vilka skolsystem som bäst skapa globala arbetsföra medborgare samtidigt som resultaten visar raka motsatsen. Eftersom de högpresterande länderna på PISA-testet också har elever med låg motivation för ämnena som testas, kan det ses som ett konsekvensvaliditetsproblem som skapar bristande legitimitet med testet enligt idealtypen.

5.3.2 Reliabilitet

Sjøberg (2015, s.112) påpekar att PISA är ett stort test. Det innebär att den statistiska signifikansen av PISA-resultaten är hög och då får god reliabilitet. Vidare har enligt Braun & Singer (2019) också avancerade metoder utvecklats för att reducera bias och öka jämlikheten i testningen för att uppnå högre tillförlitlighet (Braun & Singer 2019, s.80). Dock står PISA-testerna inför en del

metodologiska problem som riskerar att ge mycket missvisande resultat på grund av bristande reliabilitet, menar Braun och Singer (2019). Metodproblemen handlar om elevernas egen motivation att prestera bra på testet och svårigheter som uppkommer på grund av kulturella skillnader och språkliga skillnader. Om inte resultaten är tillförlitliga kan inte heller variationen i elevprestationer mellan länder hänföras till någon specifik politik eller något särskilt system (Braun & Singer 2019, s.79f). En tydlig felfaktor uppstår i metoden som används för att svara på testerna. Då användandet av dator vid testningen har blivit allt vanligare riskerar reliabiliteten att försämras då datoranvändning kräver vissa förkunskaper. Dessutom innebär olika svarsmetoder för olika elever en brist i jämlikheten för provets genomförande (Braun & Singer 2019, s.81). Innan datoranvändning blev ett alternativ till penna och papper var det tydligt att de länder som hade minst datoranvändning i skolorna klarade sig bäst i PISA-testerna (Sjøberg 2015, s.120ff). Detta

34 kan då tyda på att vanan avgör hur väl du använder en specifik metod och kan alltså innebära att en ojämlikhet i svarsmetod, för att matcha vanor i ett land, ökar reliabiliteten.

Gorur och Wu (2015) poängterar att elevernas motivation är en viktig del i hur väl de presterar i PISA-testerna. Eftersom elevernas betyg inte påverkas av testet måste motivationen komma från ett annat håll. Flera studier har visat att kultur spelar en stor roll för hur seriöst elever tar sig an tester (Gorur & Wu 2015, s.658f). Feninger et al. (2012, s.325) menar vidare att låg motivation leder till färre besvarade provfrågor vilket leder till ett reliabilitetsproblem. Ett test som inte besvaras i sin helhet går inte att bedöma eftersom det inte signalerar vad eleverna faktiskt kan. Ofta antas ett uteblivet svar vara lika med bristande kunskap, dock behöver ej så vara fallet.

Testerna är dekontextualiserade för att skapa objektivitet och göra dem jämförbara med andra länder. Att dekontextualisera frågor strider dock mot vad både forskning och den nationella läroplanen vill främja hos eleverna, vilket är en vetenskaplig läroplan som är både relevant, intressant och sammanhangsbaserad (Sjøberg 2015, s.116). Vidare menar Lingard och Rawolle (2011) att OECD genom PISA-testerna lägger större vikt vid standardiseringen av mätningarna än att de ska vara korrekta. Objektiviteten får alltså företräde framför validiteten i testet (Lingard & Rawolle 2011, s.496).

Enligt idealtypen för principen reliabilitet ska resultatet av ett legitimt test inte påverkas i alltför hög utsträckning av orättvisa på grund av inre eller yttre faktorer, bristande kvalitet eller låg objektivitet. PISA-testerna är utarbetade för att vara så objektiva som möjligt för att de ska gå att använda till jämförelser. Ett exempel på hur OECD har tagit sig an den uppgiften är att de dekontextualiserat testfrågorna för de ska förbli objektiva, vilket överensstämmer med idealtypen för legitimitet. En annan legitimitetsskapande faktor är kvaliteten i själva testningen och här framstår OECD som legitimt enligt idealtypen eftersom de har en mycket stor datainsamling som skapar statistisk signifikans. Metoden som används för att göra testet varierar mellan dator och penna-papper beroende på vart testet genomförs. Huruvida metoden är reliabel eller inte beror på deltagarnas tidigare erfarenheter av datorbaserade eller penna-pappers tester. Slutligen är kanske den mest framträdande inre felfaktorn i PISA-testningen är elevernas motivation. Bristande motivation kan leda till att eleverna svarar sämre eller inte alls. Som en yttre faktor finns också den kultur eleverna befinner sig inom och den kan i sin tur påverka elevernas motivation. Olika kulturer tar sig an tester olika seriöst och kan alltså också fungera som en felfaktor och i längden bristande legitimitet enligt idealtypen.

35 5.3.3 Rättvisa

Ett rättviseproblem PISA-testet lider av är att det ska översättas till flera olika språk. I jämförelser som gjorts mellan de skandinaviska ländernas tester syns tydliga skillnader i hur frågorna är ställda och vilka olika ledtrådar de ger till svaret, påvisar Sjøberg (2015). Att översättningarna ger olika frågeställningar är ett rättviseproblem som kan underlätta för vissa individer och försvåra för andra beroende på vilket språk de talar menar Sjøberg (2015, s.120). Att länder med heterogen befolkning presterar sämre i PISA-testet är Israel ett exempel på. Faktorer som kan spela in är diskriminering, demografi och att araber behöver lära sig två språk påpekar Feninger et al. (2012).

Diskrimineringen sker genom exempelvis mindre skolbudget, färre antal lärarledda timmar och färre procent utbildade lärare. Forskning om utbildning visar också konsekvent att den

levnadsstandard som en elevs familj har är starkt kopplad till elevens utbildningsnivå menar Feninger et al. (2012). Kopplingen mellan levnadsstandard och akademiska prestationer

manifesterar sig också på nationell nivå i samband med demografi. Israel har en stor andel unga människor vilket leder till mindre finansiering per elev trots att de investerar lika mycket i utbildning som ett land med en mindre andel unga människor (Feninger et al. 2012, s.329ff). Kina är ett land som ofta toppar rankingen visar Candido, H.D. et al. (2020). Till skillnad från de flesta andra stater som deltar så deltar Kina endast med regioner. Kina är också ett land med stora klyftor där de största skillnaderna uppvisas mellan stads- och landsortsbefolkningen. De regioner som deltar i PISA-testningen är alla regioner som befinner sig över Kinas genomsnittliga BNP per capita. Kinas resultat blir missvisande när endast de rikaste regionerna deltar och leder i sin tur till en orättvis jämförelse internationellt. Även om det sker migration från landet till städerna har Kina ett registreringssystem, Hokou, som innebär att migranter från landsbygden inte har tillträde till de vanliga skolorna i staden utan går på särskilda skolor som finansieras av migranternas

ursprungsregion. Elever som studerar på dessa regionskolor medverkar inte i PISA-testerna eftersom de fortfarande anses höra till en annan region även om de numera bor i en av de större städerna (Candido, H.D. et al. 2020, s.151ff). Vidare påpekar Gorur och Wu att det blir ett

rättviseproblem när ett land endast deltar med någon enstaka rik provins som har en betydligt mer homogen befolkning, en enda geografisk plats och dessutom mestadels består av stadsbor och jämförs med hela länders alla regioner (Gorur & Wu 2015, s.653). Problemet som uppstår här ett slags bias i uppsamlingsprocessen av data som PISA-resultatet baseras på, vilket beskrivs av Feninger et al. (2012). Det innebär att en brist uppstår i rättvisan av provet om inte alla länder i jämförelsen utvärderas på samma villkor (Feninger et al. 2012, s.325).

36 Ytterligare ett rättviseproblem är att ländernas läroplaner tar upp olika ämnen och vid olika

tidpunkter. Detta innebär att elevernas kunskapsbas inte är jämlik utifrån vad PISA testar (Gorur & Wu 2015, s.658). Feninger et al. (2012) påpekar också att de som framförallt hålls ansvariga för elevernas bristande prestation i PISA-testet är lärarna. Vilket också blir en mycket underlig orsak-verkan då lärarna följt den läroplan som PISA-testet alltså inte ämnar testa (Feninger et al. 2012, s.332f).

I idealtypen för ett legitimt prov finns också rättvisa med som en viktig princip. För att ett prov ska anses rättvist enligt idealtypen ska det vara likformigt, fritt från bias och objektivt. Att skapa ett prov fritt från bias är mycket svårt på internationell nivå inte minst när det kommer till att utforma översättningar som ska anses jämförbara. OECD har fått en hel del kritik för att deras översättningar gynnar vissa språk mer än andra vilket då inte är i linje med idealtypen för legitimitet. Ett annat exempel på bias är att länderna tar upp ämnen i sina läroplaner vid olika tidpunkter vilket gör att länder som lägger sina läroplaner för att kunna prestera bra i PISA-testerna kommer att gynnas. Dessutom presterar homogena länder bättre i PISA-testerna vilket tyder på att demografin spelar en viss roll för resultaten. Det skapar en ojämlik jämförelse som inte går i linje med idealtypen.

Ytterligare ett legitimitetsproblem är att länderna inte deltar på samma villkor eftersom vissa länder endast deltar med regioner vilket blir ett likformighetsproblem som inte heller är i linje med

37

6. Diskussion

OECD förefaller ha en agenda att driva just NPM med starkt fokus på marknad eftersom de ofta bortser från vissa av de faktorer som toppresterande PISA-länder verkar ha gemensamt exempelvis ett hierarkisk och auktoritärt skolsystem. Det kan tyda på att OECD efter eget tycke väljer vilka delar av ländernas framgångar som ska lyftas i reformförslagen. De framgångar som de lyfter utifrån de länder som presterar bäst är generellt sett alltid kopplade till NPM. Att OECD ger intryck av att ha en agenda kring vilka reformförslag de presenterar framgår också då de inte tar hänsyn till ländernas politiska riktning och omfattningen av ländernas offentliga sektor vid sina reformförslag. Att göra sådana förändringar i länder med helt annan utbildningspolitik är att förändra hela landet i grunden.

En problematisk följd av NPM-styrningen som OECD förespråkar är privatiseringen av utbildningssystemet i syfte att uppnå kostnadseffektivitet. OECD menar att de skolsystem som toppar rankningen i de flesta fall är länder där staten spenderar mindre av budgeten på utbildning. Det som dock inte framgår av OECD är att det i många av dessa länder läggs en enorm privat budget på utbildning som sker efter den ordinarie skoltiden. Den privata budgeten tas inte med i beräkningen av hur mycket utbildning kostar i landet. Föräldrar i dessa länder får en tung

kostnadsbörda som också skapar klyftor i samhället. Det utgör ett demokratiproblem då människor får allt större skillnad i utbildningsmöjligheter, vilket är en grogrund till ojämlikhet inom ett land. Dessutom leder de många timmarna och den stora pressen för eleverna i dessa system med

omfattande privat utbildning till ökade samhällskostnader i form av ökad ohälsa. Även lärare drabbas av ökad stress i form av mer dokumentation till granskning och fler arbetsuppgifter vilket i slutändan också blir en ökad samhällskostnad.

Utifrån analysmaterialet framgår det att organisationen inte är särskilt demokratiskt legitimerad, vilket är typiskt för organisationer inom internationell organisationsstyrning, utan får istället stor legitimitet genom sin status. Problemet i att organisationen inte är demokratisk är att den influerar nationell utbildning utan att vara folkvald. Vilket i slutändan innebär att ingen kan hållas ansvarig för eventuella dåliga reformer av utbildningen då organisationen befinner sig på en nivå över politikerna där allmänheten har liten makt att påverka. Ett ytterligare problem med OECD:s

inflytande över nationell politik är att organisationen är så pass stor och har så hög status att den står relativt oemotsagd då den inte har några riktiga konkurrenter på den globala utbildningsarenan. Det leder till att politiker får en mycket ensidig bild av hur en global framgångsrik utbildning kan se ut

38 och att OECD saknar anledning att utvecklas. Särskilt oroande är det om OECD får ett slags

monopol på global utbildning och sedan gör överenskommelser med vinstdrivande företag. Vinstintressen kan då komma att gå före allmännyttan. Trots allt står E:et i OECD för Economic och inte Education.

PISA-resultaten visade sig enligt studien sakna legitimitet som reformverktyg vilket utgör ett massivt problem då just PISA-testerna ligger till grund för många reformförslag. I vissa fall verkar validiteten vara så låg att den även har motsatt effekt vilket innebär att OECD istället för att skapa framtida förmågor snarare skapar omotiverade elever i hierarkiska skolsystem vars hälsa påtagligt skadas av den ökade konkurrensen. Även testets rättvisa verkar sakna legitimitet vilket knappast är oväntat då det lär vara nästintill omöjligt att skapa ett standardiserat test för så många olika länder och olika språk. Bias blir då oundvikligt.

En möjlig kritik mot studiens analys angående PISA och OECD är att det är svårt att bevisa att organisationen och provet verkligen har en effekt på ländernas skolpolitik. Även om NPM kan spåras i reformpolitiken är det svårt att avgöra om påverkan kommit från OECD eller om politiken rättfärdigats genom OECD men egentligen kommer från politiker. Även hur stor påverkan OECD har går inte att bevisa eftersom den uppfattade effekten ofta överdrivs av politiker och av media. Dessutom kanske OECD:s påverkan bara är en faktor av många. Trots att en kausal påverkan är svår att bevisa är det betydligt lättare att se att OECD har ett visst inflytande. De flesta reformer kommer i nära anslutning till PISA-tester och förändringarna som sker är ofta i linje med de reformförslag som utformas av OECD. Trots att OECD har mycket makt gentemot nationella aktörer betyder inte det att aktörerna saknar agens att göra egna val. I ett fall då en stat har presterat dåligt på ett test är det dock ofrånkomligt att det blir stor press på politiker att åtgärda problem inom utbildningssektorn och i en sådan svag situation bör det vara svårt att inte följa de råd som ges av en stor och väl ansedd organisation som OECD.

Utifrån studien vill vi belysa att det behövs mer forskning inom ämnet global utbildning eftersom vi ser att området kommer ha allt större betydelse i framtiden. Just nu framstår OECD:s

utbildningspolitik som den enda möjliga vägen till global utbildning. För att bättre tillgodose individuella länders kontext behöver alternativa och mer legitima vägar till global utbildning utforskas. De författare som ligger till grund för denna uppsats har främst antagit ett kritiskt perspektiv gentemot PISA-testet och dess tillhörande rankingsystem. Ingen av dem kommer dock med några lösningsförslag på hur testet skulle kunna bli mer legitimt. Vidare forskning skulle behöva inta ett mer lösningsbaserat perspektiv med konkreta förslag på förbättringsåtgärder. Efter

39 denna studie är det uppenbart för oss att det finns legitimitetsbrister i OECD:s utbildningspolitik som är värda att ta på allvar innan dåliga utbildningsreformer leder till utbildningens dödsattest.

40

7. Slutsatser

Handlingarna genom vilka OECD sprider NPM består av reformförslag och analysmaterial med starka kopplingar till NPM. Utifrån idealtypsanalysen fastställdes att alla kriterier för principen marknadsfokus uppfylldes, mätbara mål och tidsatta mål uppfylldes i resultatstyrningen men inte objektiviteten då OECD inte kan ses som en objektiv bedömare och inte heller går det att mäta förmågor kvalitativt. Vad gäller arbetsfördelning uppfylldes också alla kriterier för NPM. Däremot vad gäller kvaliteten uppfylls endast kriteriet för arbetsdisciplin medan kriterierna ansvarighet och