Linköpings universitet | Institutionen för ekonomisk och industriell utveckling Examensarbete 1, 93XSH1, 15 hp | Ämneslärarprogrammet
Höstterminen 2020 | LIU-IEI-FIL-G--21/02386--SE
Bäst i test eller
undervisningens dödsattest?
– OECD och den globala utbildningsvisionen: en
litteraturstudie
Best in test or educational eternal rest?
– OECD and the global educational vision: a literary study
Jonathan Engqvist Linn Vernersson
Handledare: Charlotte Fridolfsson Examinator: Per-Olof Hansson
Linköpings universitet SE-581 83 Linköping, Sverige 013-28 10 00, www.liu.se
Sammanfattning
Syftet med studien var att utforska genom vilka handlingar OECD sprider New Public Management och vilket inflytande det får på den nationella politiken. Dessutom har studien undersökt varifrån OECD får sin legitimitet och hur det tar sig uttryck. Till sist granskades även PISA-testet och huruvida det kan anses legitimt som en grund till reform eller inte. För att undersöka studieområdet gjordes en litteraturstudie där analysmaterialet jämfördes mot en idealtyp utifrån en idé- och
ideologianalytisk metod. Slutsatserna studien kommer fram till är att NPM sprids genom handlingar såsom reformförslag, analyser och press utifrån PISA-ranking. Inflytandet OECD har leder till ett skolsystem med New Public Management som styrmodell. Studien fann också att OECD:s legitimitet härstammar från status snarare än demokrati vilket utgör organisationens största legitmitetsbrist. PISA-testet kan enligt studien inte ses som en legitim grund för reform då det saknar validitet, rättvisa och även till viss del reliabilitet.
Innehållsförteckning
1. Inledning... 5
1.1 Syfte och frågeställning ... 5
1.2 Avgränsningar ... 6 1.3 Disposition ... 6 2. Bakgrund ... 7 2.1 Organisationen OECD ... 7 2.2 PISA-testet ... 7 3. Teori ... 9
3.1 New Public Management ... 9
3.2 Legitimitet ... 10
3.2.1 Organisationens legitimitet ... 10
3.2.2 Provets legitimitet ... 11
4. Metod och material ... 13
4.1 Litteraturstudie ... 13
4.1.1 Litteraturstudiens genomförande och urval ... 13
4.1.2 Studiens begränsningar och brister ... 15
4.2 Vårt studieunderlag ... 16
4.2.1 Slutgiltigt urval av artiklar ... 16
4.2.2 Analysmaterialets metoder ... 17
4.2.3 Kritik av artiklar ... 19
4.3 Idé- och ideologianalys ... 19
4.4 Idealtyper ... 20
4.4.1 Ideologin New Public Management ... 20
4.4.2 Organisationell legitimitet ... 21
4.4.3 Provlegitimitet ... 21
5. Resultat och analys ... 23
5.1 OECD, NPM och inflytande på nationella reformer ... 23
5.1.1 Marknadsfokus ... 23 5.1.2 Resultatstyrning ... 24 5.1.3. Arbetsfördelning ... 25 5.1.4 Kvalitet ... 26 5.2. OECD:s legitimitet ... 28 5.2.1. Demokrati ... 28 5.2.2. Status ... 29
5.3 PISA-testets legitimitet ... 31 5.3.1 Validitet ... 31 5.3.2 Reliabilitet ... 33 5.3.3 Rättvisa ... 35 6. Diskussion ... 37 7. Slutsatser ... 40 Referenser ... 41 Bilaga 1 ... 45
5
1. Inledning
Som en global aktör med stor auktoritet skapade den internationella, ekonomiska organisationen OECD testet PISA som genomfördes för första gången i början på det nya millenniet. Resultaten av testet skakade nationalidentiteten hos de länder som presterade sämre än förväntat. Som följd av de chockerande resultaten föranleddes ett intensivt reformarbete för att komma ikapp de andra
deltagande länderna. En tävling hade startat på global nivå där olika skolsystem ställdes mot varandra (Ertl 2006, s.629).
För att de enskilda staterna ska komma tillrätta med sin utbildning av unga elever har OECD under åren hjälpt medlemsländer att utforma reformpolitik som bygger på en organisationell styrmodell såsom förespråkas av New Public Management (NPM). NPM är en styrmodell som bygger på ekonomiska teorier och har som syfte att nyttomaximera (Hultkrantz 2017, s.225). Modellen har på senare år använts av OECD och genom organisationens reformpolitiska förslag fått inflytande på länders utbildningssystem. När OECD:s reformförslag inte gett förväntat resultat har kritiken mot PISA:s mätningar växt sig allt starkare. Forskare och lärare världen över ställer sig numera frågande till OECD:s metoder och åtgärdsplaner (Meyer & Zahedi 2014, s.32ff).
Vår ingång till uppsatsen är som blivande lärare och då PISA influerar många utbildningspolitiska reformbeslut anser vi att det är angeläget att studera OECD som organisation, organisationens syfte med sina handlingar och hur de påverkar skolpolitiken. Lärare som yrkeskategori berörs direkt av de beslut som tas av politiker. Vi hoppas därför ytterligare belysa vilka värderingar som
underbygger beslut vilka påverkar vår yrkeskategori på djupet.
Eftersom detta är en uppsats med fokus på politik anser vi att det är av värde att vi är öppna med vår egen ingång och förförståelse till OECD som organisation och politisk aktör. Vi har därför skrivit en redogörelse som vi benämnt Våra Utgångspunkter och finns bifogad som Bilaga 1.
1.1 Syfte och frågeställning
Studien syftar till att undersöka hur OECD som aktör genom politiska handlingar sprider New Public Management som på olika sätt får inflytande på den nationella skolpolitiken. Vidare ämnar studien också undersöka hur OECD som organisation får sin legitimitet och vilka eventuella
6 kan anses vara en legitim grund för reform av enskilda staters skolsystem eller om det finns brister i legitimiteten. För att besvara syftet har följande tre frågor formulerats:
1. Med vilka handlingar sprider OECD New Public Management och vilket inflytande får handlingarna på nationell skolpolitik?
2. Hur får OECD som organisation sin legitimitet och vilka legitimitetsbrister finns? 3. På vilka sätt är PISA-resultaten en legitim grund för reform och vilka brister finns?
1.2 Avgränsningar
Studien kommer fokusera på OECD som politisk aktör och därav inte några andra internationella organisationer eller andra överstatliga aktörer. Vidare avgränsas studien endast till OECD:s arbete inom utbildningssektorn. Ytterligare en avgränsning som gjorts gäller aktörer som deltar i PISA där studien begränsas till nationella aktörer snarare än lokala eller regionala aktörer. Studieobjektet är PISA som test och inte några andra liknande tester såsom exempelvis TIMSS, PIRLS och ICCS. Studien är också avgränsad till att handla om generella reformtrender på en översiktlig nivå och går inte in djupare på enskilda reformbeslut även om sådana kan användas som exempel på inflytande.
1.3 Disposition
Uppsatsen har följande disposition: Kapitel 2 innehåller OECD och PISA-testets bakgrund. Kapitel 3 består av studiens teoridel som redogör för teorier om New Public Management och legitimitet. Kapitel 4 är ett metodkapitel som redogör både för vår studies- och analysmaterialets metoder. Kapitel 5 består av resultat och analys där analysmaterialet jämförs med varandra och en utvald analysmodell. Kapitel 6 utgörs av en diskussion om analysmaterialet. Slutligen innehåller kapitel 7 studiens slutsatser.
7
2. Bakgrund
2.1 Organisationen OECD
Organisation for Economic Cooperation and Development (OECD) är en internationell organisation vars mål är att utifrån en ekonomisk hållning främja välstånd, jämlikhet, möjligheter och
välbefinnande genom att i samverkan med beslutsfattare och medborgare reformera politiken på nationell och global nivå. OECD arbetar med en rad frågor såsom att förbättra den ekonomiska prestationen i enskilda länder, skapa arbete och främja god utbildning. Genom att samla data, analyser och främja erfarenhetsutbyte fungerar OECD som ett slags forum där OECD:s
internationella experter tillsammans med beslutsfattare och medborgare på nationell nivå kan skapa internationella standarder, praxis och rådgivning (OECD 2020, “Who we are”). OECD samlar 37 medlemsländer spridda över hela jordklotet men medverkar i politiska reformarbeten i över 100 länder. Medlemsländerna representeras i organisationen genom att de har ambassadörer som sitter i OECD:s råd. Där övervakar de arbetet som konventionen gör (OECD 2020, “Our global reach”).
2.2 PISA-testet
PISA (Program for International Student Assessment) - testerna är ett av OECD:s försök att skapa en mer standardiserad, global utbildning. Global utbildning betyder i denna bemärkelse att
utbildning världen över görs mer likformig, jämförbar, konkurrenskraftig och högkvalitativ. PISA-testerna finns till för att effektivisera och reformera skolsystemen i världens länder. Genom att låta ett urval av 15-åringar från varje land delta i PISA-testerna skapas data som kan användas för att jämföra och analysera, och sedan bli underlag för reform av skolsystem. I PISA-testerna är det cirka 80 länder som deltar, både medlemmar och icke medlemmar. Testerna görs med tre års mellanrum och ämnar mäta hur väl förberedda eleverna är inför framtiden. Testerna ska alltså visa hur eleverna använder sig av den kunskap de fått genom skolan i verkliga situationer snarare än att eleverna memorerar kunskaper inför ett prov. För att kunna mäta elevernas verkliga kunskaper får eleverna texter i ämnen som matematik, naturvetenskap och läsförståelse där de ska tolka
verklighetsförankrade fall och svara på frågor. Testet erbjuds på många olika språk och texterna är dekontextualiserade för att inte gynna elever i vissa länder. Att testerna är opartiska är en
förutsättning för att resultatet av testerna ska gå att jämföra (OECD 2020, “PISA”; Schleicher 2019, s.3f).
Eleverna som deltar väljs ut slumpmässigt av OECD. I varje land ska minst 150 skolor omfattas och 37 elever inom varje skola ska väljas ut. Urvalet ska vara representativt för hela landet men vissa
8 undantag i denna urvalsprocess får göras. De länder som inte har råd eller klarar att organisera testet på statlig nivå kan välja att endast delta med regioner (Skolverket 2020, “Pisa 2018:
Undersökningens syfte, genomförande och representativitet”; Schleicher 2019, s.4).
Data som samlas in används för att studera vilka skolsystem som är mest effektiva och även som underlag för underpresterande länder att reformera sitt skolsystem. OECD:s uttalade förhoppning är att mer inkluderande och rättvisa skolsystem blir resultatet (OECD 2020, “PISA”). Det land som presterade absolut bäst i PISA-testet 2018 var Kina. Kina deltog endast med regioner varav fyra (Beijing, Shanghai, Jiangsu och Zhejiang) hamnade topp ett i rankingen. Även de 10% mest
missgynnade eleverna i dessa regioner presterade bättre än genomsnittet i OECD:s medlemsländer. Detta trots att den genomsnittlige medborgaren i alla fyra regioner har en lägre inkomst än OECD ländernas medborgare. Det enda landet som var i närheten av lika bra resultat var Singapore som i OECD:s rankingsystem kom på en andra plats i alla tre ämnen. Övriga länder rörde sig upp och ner på rankingen beroende på ämne. Det europeiska land som presterade bäst i PISA 2018 var Estland som hamnade på plats 4, 5 och 8 i de tre ämnena. Finland som länge presterat väl i PISA har dock stadigt sjunkit på rankingskalan. Lägst rankade i testet 2018 i alla tre ämnen finner vi länder som Filippinerna, Kosovo, Panama och Dominikanska republiken (Schleicher 2019, s. 5ff).
Sammanfattningsvis ämnar OECD:s PISA-tester vara ett medel för att skapa en mer jämlik,
högkvalitativ och effektiv utbildning som inte bara gynnar den enskilda staten utan hela den globala ekonomin (OECD 2020, “Who we are”).
9
3. Teori
3.1 New Public Management
Traditionellt sett har offentliga förvaltningar arbetat utifrån en inputstyrning där budget och reglementen har legat till grund för beslut. Sedan 1990-talet har det dock skett en förändring internationellt från inputstyrning till outputstyrning, med större fokus på resultaten. Det
samlingsnamn som innefattar denna förändring är New Public Management (NPM). NPM är ett spretigt begrepp som har många olika teoretiska influenser och geografiska variationer (Hultkrantz 2017, s.225).
Två av de huvudsakliga skolorna som refereras till som NPM:s utgångspunkt är Chicagoskolan och Public Choice-skolan (Almqvist 2006, s.21). Chicagoskolan förespråkar en fri marknad med
begränsad finanspolitik. Minskad finanspolitik innebär en minskad offentlig sektor. Vidare förespråkar Chicagoskolan också en avreglerad nationell ekonomi och världsekonomi (Eklund 2017, s.239). Public Choice-teori är en samhällsvetenskaplig inriktad skola som förespråkar att politiska processer bör analyseras från en ekonomisk synvinkel (Gruening 2001, s.5f). Teorin menar att politiker och organisatörer på samma sätt som företag söker egna vinstintressen vilket leder politiker och organisatörer bort från den goda strävan efter att uppfylla allmänhetens nytta (Eklund 2017, s.291). Det leder till att den offentliga sektorn kostar mer än vad den genererar nytta. Public Choice-teorins slutsats är därför att den offentliga sektorn måste granskas, kontrolleras och
avbyråkratiseras.
En annan tankegång som haft inflytande på NPM är managerialism som pekar på att värdet inte bör ligga i processen utan snarare i resultatet som produceras (Kalimullah et.al. 2012, s.2; Hood & Jackson 1991, s.44). Managerialism förespråkar decentralisering av administration, rationalisering samt applicering av privata affärsmetoder på den offentliga sektorn (Christensen & Laegreid 2001, s.20, 83, 95). Genom rationell teknokratisk styrning ska sektorer frigöras från politiska processer vilket är tänkt att minska byråkratiseringen av den offentliga sektorn (Christensen & Laegreid 2001, s.151, 157, 240).
Övriga influenser för NPM inkluderar teoretiska perspektiv som classic public administration där effektivt ledarskap sammanfattas med begreppen: specialisering och fördelning av arbete,
homogenitet, styrning, hierarki, ansvar och kontroll (Hood & Jackson 1991, s.179; Gruening 2001, s.3). En modernare institutionell ekonomisk teori som också haft inflytande på NPM är
principal-10 agentteorin (Gruening 2001, s.7). Teorin används för att analysera hur låg eller hög
incitamentstyrka påverkar balansen mellan effektivitet och ansvarsutkrävande. Medan låg incitamentstyrka som uppstår vid detaljstyrning (input) skapar bra förutsättningar för ansvarsutkrävande skapar den samtidigt låg innovationstakt och låg effektivitet. Hög
incitamentstyrka uppstår istället då verksamhetsutövare får friheten att själva välja vägen till målet och det som mäts är resultatet (output). Hög incitamentstyrka leder till hög effektivitet men gör det samtidigt nästan omöjligt att utkräva ansvar eftersom det alltid går att skylla på någon annan (Hultkrantz 2017, s.225).
Härefter följer ett antal olika synsätt och beskrivningar av NPM i ett försöka att summera upp idéströmningen. Enligt Hultkrantz (2017) har NPM skapat tydliga styrningsförändringar med införandet av outsourcing i offentlig sektor. Det har i sin tur skapat ett behov av granskning där särskilda myndigheter ska se till att detaljerade lagar och bestämmelser efterföljs samt att resultat uppnås effektivt. För att kunna mäta output (mål- och resultatstyrning) krävs att både resultat och mål blir tidsatta och mätbara (Hultkrantz 2017, s.225f). Almqvist (2006) påpekar att NPM:s resultatstyrning medfört högre krav på ansvarighet. Som ett resultat av målfokus och fokus på effektivitet används ofta sambandsanalyser för att fastställa kostnad gentemot nytta. Då kan
kvaliteten av aktörernas arbetsprocess på individuell nivå och policybeslut på systemnivå utvärderas (Almqvist 2006, s.21ff, 28). Hood & Jackson (1991) belyser vidare att den offentliga sektorn bör förändras från att fokusera på välfärden till att skära ned på kostnader och istället höja
arbetsdisciplin (Hood & Jackson 1991, s.178ff). Enligt Vibert (2007) innebär NPM ett
marknadsmässigt sätt att tänka med ord som konkurrens och målsättning som centrala begrepp. NPM resulterar i decentralisering då ett marknadsmässigt synsätt anser det mer effektivt att inom offentlig sektor delegera tjänsteutförande till specialiserade avdelningar eller privata aktörer. Staten ska lämna tjänstesektorn och endast fokusera på styrning (Vibert 2007, s.36f).
3.2 Legitimitet
3.2.1 Organisationens legitimitet
Systemmodellen gjord av David Easton (Bäck et al. 2015, s.29) bygger på tre former av legitimitet som alla befäster politiska beslut. Inflödeslegitimitet kan beskrivas som demokratiskt deltagande. Legitimiteten kommer alltså av medbestämmande och möjligheter att påverka.
Genomflödeslegitimitet får sin legitimitet genom ansvarsutkrävande. Alltså att den som producerar fel resultat eller missbrukar resultaten faktiskt blir ansvarig. Till sist kan utflödeslegitimiteten beskrivas som hur väl faktiska utfall av ett beslut matchar tänkt resultat. Idealet är att tänkt resultat
11 helt matchar utfallet, men det är vanligare att det endast delvis matchar (Bäck et al. 2015, s.29, 312).
Enligt transmission belt model bygger legitimitet på att internationella organisationer agerar som mellanhand mellan politiker och allmänheten. De internationella organisationernas legitimitet kommer då från att de förmedlar allmänhetens önskan, tro, och åsikter till politiker och direkt eller indirekt influerar dem i deras beslutsfattande (Erman 2017, s.133). I kontrast menar istället en function-sensitive approach att kraven på legitimitet varierar beroende på organisationens funktion. De internationella organisationernas legitimitet kommer enligt teorin istället från organisationernas samverkan med politiker som räcker ut sin folkvalda legitimitet till låns för organisationer (Erman 2017, s.145).
Vidare menar performance and survival theory att en organisations legitimitet inte bara är beroende av materiella resurser eller teknisk information utan den generella synen på organisationens
legitimitet. För att uppnå legitimitet behöver en organisations handlingar vara önskvärda, korrekta och rättfärdigade i ett specifikt socialt system. Vidare behöver organisationen hela tiden söka ny kunskap och bedriva fortsatt forskning för att vara relevant. Framförallt gäller det att kunna konkurrera med andra liknande organisationer för att genom sin prestation anskaffa sig status som en av de främsta organisationerna för att höja organisationens legitimitet (Zapp 2020, s.2ff). Bäck, Erlingsson & Larsson (2015) menar att legitimitet syftar på att handlingar accepteras och anses korrekta enligt de normer och värderingar som råder för tillfället (Bäck et al. 2015, s.25). Erman (2017) beskriver fortsatt att legitimitet bygger på demokratiska processer som definieras av transparens, inkludering, deltagande, lyhördhet och oberoende (Erman 2017, s.134, 149). Zapp (2020) påpekar istället att legitimitet kan definieras av socio-politisk acceptans, rykte och status. Därmed menas att legitimitet inte är beroende av hur en organisation faktiskt agerar utan snarare hur de uppfattas (Zapp 2020, s.5).
3.2.2 Provets legitimitet
För att ta fram representativ statistik för större populationer används vanligen objektiva,
standardiserade prov, vilka utgår från vetenskapliga kriterier. Den naturvetenskapliga modellen är en teori som ämnar att skapa objektiva mått för att mäta resultat. Objektiva prov är tänkta att eliminera lärarens inflytande vilket gör bedömningar mer objektiva och därmed mer likvärdiga. Objektiviteten resulterar i att provet blir berättigat, rättfärdigat och accepterat vilket höjer provlegitimitet (Lundahl & Tveit 2014, s.298f, 308ff).
12 Classical test theory är en teori som bygger på att testdeltagarens observerade eller uppnådda poäng är summan av både verklig kunskap och felfaktorer, resultatet blir då att testerna inte mäts
likformigt (Wagemaker 2020, s.11). Felfaktorer som påverkar testdeltagarens slutpoäng kan handla om både interna faktorer, exempelvis motivation och hälsa men också externa faktorer såsom exempelvis: språkproblematik eller bias hos den som rättar (McMillan 2018, s.86ff). Ju kraftigare störningar från felfaktorerna, desto sämre blir provets reliabilitet.
Konsekvensvaliditet är en teori som menar på att ett provs legitimitet även bör utvärderas utifrån konsekvenserna av testet, såväl positiva som negativa (Wagemaker 2020, s.12). Ett legitimt test bör ge mer positiva konsekvenser än negativa såsom exempelvis ökad motivation (McMillan 2018, s.81).
McMillan (2018, s.79ff) summerar upp provlegitimitet med tre begrepp: validitet, reliabilitet och rättvisa som tillsammans utgör grunden för ett bra och legitimt prov. Även Twist & Fraillon (2020) gör en sammanfattning av vilka begrepp som främst beskriver ett legitimt prov. Begreppen de framhåller utgörs av 8 kriterier: 1) representativitet för vad provet är ämnat att testa, 2) teknisk prov- och frågekvalitet, 3) svårighetsgraden, 4) frånvaro av bias, 5) språk och tillgänglighet, 6) kulturell och religiös kontext, 7) motivation och 8) reliabilitet. Samtliga kriterier behöver beaktas vid skapandet av ett legitimt prov, menar Twist & Fraillon (s.43ff).
13
4. Metod och material
4.1 Litteraturstudie
En litteraturstudie undersöker existerande litteratur istället för empiriska data, och med hjälp av litteraturen presenteras ett genomgående tema med en eller flera frågeställningar. Litteraturen i studien består av publicerade artiklar från vetenskapliga tidskrifter som genomgått en
granskningsprocess. Litteraturstudien bygger på en insamling och genomgång av litteraturen inom ett studieområde som sedan analyseras med hjälp av en analysram (Eriksson Barajas, Forsberg & Wengström 2013, s.24ff, 61f). Insamlingsprocessen, analysmaterialet och analysramen kommer att redogöras för i detta avsnitt.
4.1.1 Litteraturstudiens genomförande och urval
Processen att samla in material till vår analys utgick från PRISMA:s flödesdiagram (se figur 1) som är ett verktyg för att förbättra strukturen av en studie (Liberati, Altman, Tetzlaff, Mulrow, Gøtzsche, et al. 2009). Materialet till vår studie inhämtades via söktjänsten Unisearch genom Linköpings Universitetsbibliotek. I Unisearch finns det flera urvalsfunktioner som vi har använt oss av för att göra en första sållning av materialet. Bland urvalsfunktionerna finns bland annat möjligheten att söka relaterade ord och ämnen vilket vi valde att göra för att utöka mängden träffar. Alla
vetenskapliga artiklar som inte var granskade av någon annan forskare, det vill säga inte peer-reviewed (Eriksson Barajas et al. 2013, s.61f), och även de artiklar som inte var skrivna på antingen svenska eller engelska valde vi bort genom Unisearch urvalsfunktion. Efter sållningen av artiklar genom Unisearch filter skedde en manuell sållning.
Hela urvalsprocessen, både den automatiska och den manuella sållningen, utgick från
flödesdiagramet (Liberati et al. 2009). Först gjorde vi tre sökningar med olika sökord för att hitta relevanta källor till vår analys. Sökorden utformades för att kunna hitta material som besvarar vårt problemområde. Sökorden använder sig av den booleska operatorn ’AND’ och blockcitat (Eriksson Barajas et al. 2013, s.74ff). Vilka sökord och mängden träffar, både relevanta och icke relevanta till vårt ämne, förtydligas i tabell 1:
15 Som framgår av tabellen och flödesschemat ovan blev resultatet av sållningen efter applicering av Unisearch filter den totala mängden artiklar (n=393), varav icke-relevanta artiklar (n=370) och relevanta artiklar (n=23).
Efter det automatiska urvalet fortsatte urvalsprocessen i enlighet med flödesdiagrammet genom att granska titel och språk i träffarna. Trots språkfilter så innefattade sökningen ändå ett antal artiklar på andra språk än svenska eller engelska och sådana artiklar valdes bort direkt. Artiklar vars titel tydligt angav att artikeln hörde till ett helt annat ämne än vad vi sökte valdes också bort i
urvalsprocessen.
Vidare skedde ett urval genom att läsa artikelns abstract, i enlighet med den struktur som flödesdiagrammet presenterar. Här gjordes då en bedömning av oss om artikelns innehåll kunde användas för att besvara vår frågeställning. Det skedde alltså ett målstyrt urval i syfte att besvara uppsatsens frågor (Bryman 2018, s.498). Målet var att artikeln skulle handla om eller åtminstone ta upp ämnet OECD som politisk aktör genom PISA. De artiklar som passerade hela denna
urvalsprocess lades undan för att läsas i sin helhet.
Alla artiklar som vi ansett relevanta efter att ha läst deras abstract (n=23) genomgick därefter en ny urvalsprocess där vi läste igenom artiklarna mycket grundligt och bedömde vilka artiklar som bäst kunde besvara våra frågeställningar. Vissa artiklar passerade alla urvalsprocesser och tog upp intressanta aspekter men valdes ändå bort på grund av att de tog upp samma sak som någon annan artikel. I dessa fall gjordes urvalet av artikel efter hur nära i tid den är publicerad (Eriksson Barajas et al. 2013, s.74ff). Av de relevanta artiklarna (n=23) valde vi till slut ut de artiklar vi ansåg bäst kunde besvara våra frågeställningar (n=8).
De kvarvarande artiklarna gick då igenom en sista urvalsprocess där artiklar som inte finns med i NSD:s register över vetenskapliga publiceringskanaler (NSD, “Register over vitenskapelige publiseringskanaler”, 2020) togs bort. Kvar återstod endast artiklar som används som analysmaterial i vår studie (n=7), vilka beskrivs närmare i tabell 2 under avsnittet Vårt studieunderlag.
4.1.2 Studiens begränsningar och brister
Ingen forskare är helt fri från sitt subjekt och kan därför inte vara helt objektiv och värderingsfri i sin forskning (Bryman 2018, s.64). Vår studie lyfter många internationella perspektiv, dock är ingen av artiklarna i analysmaterialet skrivna utifrån ett svenskt perspektiv. Vi som författat studien är
16 båda födda i Sverige och bidrar alltså med ett svenskt perspektiv, både implicit och explicit i
skrivandet av studien. Att det svenska perspektivet inte utgör en del av källmaterialet kan anses vara en brist eftersom forskningsresultat kan vara specifika för det lands kontext där studien utförts (Bryman 2018, s.64).
En annan faktor som påverkat studien är de ramfaktorer som studien förhåller sig inom. “All vetenskaplig forskning skapas utifrån spännvidden mellan det ideala och det genomförbara” (Bryman 2018, s.68). Både det rent praktiska i vad som är genomförbart och vilka institutionella regler som finns uppsatta för genomförandet begränsar en studie (Bryman 2018, s.112f). I denna studie rör sig de praktiska begränsningarna både om institutionen, Linköpings Universitets egna formkrav och yttre begränsningar såsom hur mycket och vilken typ av källmaterial det gick att hitta kring studieområdet. En annan praktisk begränsning som gjorts i denna studie är att allt material är hämtat från Linköpings universitetsbibliotek där ett urval redan skett för att sålla bort icke seriösa artiklar (Bryman 2018, s.152). Baksidan av att endast välja ut artiklar som i forskningsvärlden anses seriösa är att upptäckter som inte följer det rådande forskningsparadigmet eller upptäckter av
mindre kända forskare tenderar att inte finnas publicerade i ansedda vetenskapliga tidskrifterna. Bra artiklar kan alltså ha sållats bort genom en publiceringsbias (Eriksson Barajas, Forsberg &
Wengström 2013, s.121).
4.2 Vårt studieunderlag
4.2.1 Slutgiltigt urval av artiklar
I det slutgiltiga urvalet valdes 7 artiklar ut som presenteras i tabell 2 och är underlaget till vår analys i avsnittet Resultat & Analys.
17 4.2.2 Analysmaterialets metoder
Braun & Singer (2019) samt Carvalho & Costa (2015) använder sig av en litteraturstudie.
Litteraturstudien i artikeln av Carvalho & Costa lyfter studier i 6 olika länder: Belgien, Frankrike, Ungern, Portugal, Rumänien och Skottland, vilka alla visar på hur PISA-resultaten tagits emot i respektive land. Analysen av studierna används sedan till att identifiera vilken trendutveckling som skett i relation till PISA-testerna (Carvalho & Costa 2015, s.638ff). Litteraturstudien i artikeln av Braun & Singer (2019) undersöker vilka användningsområden som PISA-testerna faktiskt kan användas till med stor framgång och vilka områden som PISA-testerna är problematiska att användas till (Braun & Singer 2019, s.81f).
Feninger, Livineh & Yogev (2012) använder en korrelationsstudie i form av en linjär
regressionsanalys där sekundärdata från PISA-tester analyseras. En linjär regressionsanalys innebär att korrelation mellan en beroende och en oberoende variabel utforskas ibland under kontroll av flera andra kontrollvariabler där samband kan utläsas som sedan kan analyseras (Bowerman & Murphree 2014, s.1f). Analysens beroende variabler är det genomsnittliga PISA-resultatet i läsförståelse från PISA 2000 och 2006. Tre oberoende variabler, bruttonationalprodukt per capita, procentantal unga människor under 16 år och hur stor andel av bruttonationalprodukten som investeras på offentlig utbildning, användes sedan till att söka efter korrelation mellan
18 Gorur & Wu (2015) använder både en statistisk jämförelse och en intervjustudie. Den statistiska jämförelsen är en envariabelsanalys där en variabel i taget studeras för alla kategorier och deltagare (Bryman 2018, s.411). Artikelns statistiska jämförelse bygger på att se bortom de aggregerade rankingarna för PISA-resultaten och undersöka regioners testresultat, enskilda testfrågor och varje lands genomsnittliga mängd obesvarade testfrågor (Gorur & Wu 2015, s.653ff). En intervjustudie bygger på att den som intervjuar söker information från respondenten och för att intervjuer ska bli konsekventa används oftast en strukturerad intervju för att uppnå det (Bryman 2018, s.257). Dock var det inte fallet i artikeln av Gorur & Wu då de nyttjade respondenter som var experter på ämnet och var därför unikt placerade att ge insikter som inte var tillgängliga för andra och därför var intervjuerna mer strukturerade som konversationer eller diskussioner (Gorur & Wu 2015, s.652). Hinke Dobrochinski Candido, Granskog & Tung (2020) använder diskursanalys vilket innebär att olika typer av texter bryts ned för att undersöka på vilka sätt som ett forskningsobjekt framställs i olika kontext. I framställningen är ofta frågor som berör makt och maktrelationer i centrum
(Bergström och Ekström 2018, s.254f). I artikeln används diskursanalys för att undersöka data från den kinesiska staten och OECD angående Kinas deltagande i PISA, vilket kompletterades av artiklar från media och forskare då information från OECD och kinesiska staten om
forskningsområdet är begränsad (Candido, H. D. et al. 2020, s.147).
Lingard & Rawolle (2011) använder sig av en dokumentanalys där officiella dokument från statliga myndigheter såväl som officiella dokument från privata källor nyttjas på ett kvalitativt sätt för att jämföra de två typerna av dokument med varandra (Bryman 2018, s.664f). I artikeln är det främst dokument från den australiensiska skolmyndigheten och policydokument från OECD som
analyseras för att lyfta fram argumentation om att utbildningspolitiken blivit allt mer global och undersöka konsekvenserna av den utvecklingen (Lingard & Rawolle 2011, s.489).
Sjøberg (2015) använder sig av argumentationsanalys som innebär att texter och uttalanden från aktörer med politiska intressen försöker övertyga människor att se världen på särskilda sätt genom argumentation. Argumentationsanalysen ämnar att både beskriva och värdera argumentationen från aktörerna (Boréus och Kohl 2018, s.93). I artikeln granskas PISA utifrån argumentation av OECD och av politiker. Argumentationen rör testets legitimitet samt vilka förändringar OECD föreslår till nationalstater för att förbättra sin utbildningspolicy i enlighet med PISA. Argumentationen bemöts sedan med kritik som grundar sig i forskning angående PISA-resultatens effekter (Sjøberg 2015 s.112ff, 121ff).
19 4.2.3 Kritik av artiklar
En genomgående kritik mot flera av artiklarna är att det är svårt att avgöra vilka metoder de använt då detta ibland inte uttrycks explicit. Här har då en bedömning skett av vad som tycks vara den framträdande metoden. Att metoden är svår att urskilja utgör ett problem då det minskar insynen i studien och sänker reproducerbarheten, vilket ultimat är ett vetenskapligt problem med flera av artiklarna (Bryman 2018, s.72). Dock avvägs ändå artiklarna vara tillräckligt gott underlag för analys då de för det mesta stödjer varandra och bygger på en bred samling existerande forskning, samt genomgått en peer-review process och publicerats i ansedda vetenskapliga tidskrifter som inkluderas i NSD:s register över vetenskapliga publiceringskanaler (Eriksson Barajas, Forsberg, & Wengström 2013, s.61f).
Ytterligare kritik till de artiklar som valts ut är den utgångspunkt som författarna kan tänkas ha gentemot det land de studerar. Det gör att källmaterialet riskerar att vara färgat av författarens egna tankar, fördomar och känslor inför sitt studieområde (Bryman 2018, s.65). Den tendensen kan finnas både i de fall en författare skriver om sitt eget hemland och i de fall en författare skriver om ett annat land. Transparensen kring författarnas reflexivitet är i samtliga fall bristfällig. Att ha en utgångspunkt är på många sätt oundvikligt men behöver inte nödvändigtvis vara negativt. I vissa fall kan ett utomstående perspektiv vara av nytta och skapa nyansering och i andra fall kan ett insider-perspektiv ge fördjupad förståelse av studieområdet. Det som dock saknas är själva öppenheten kring den position författaren har och ur ett vetenskapligt perspektiv hade det gynnat artiklarna och studierna (Soedirgo & Glas 2020, s.527ff).
4.3 Idé och ideologianalys
Utgångspunkten för idé och ideologianalys är att “människors idéer kan lämna materiella spår efter sig som möjliggör empiriska studier” (Bergström och Svärd 2018, s.137). Med idéer menas
beständiga uppfattningar om världen och inte flyktiga tankar. Ideologi är vidare ett abstrakt system av en uppsättning politiska idéer. Idé och ideologianalys används i denna uppsats som en form av analysram för att analysera tankekonstruktioner (Bergström och Svärd 2018, s.134f, 137).
I vår studie används idéanalysen i två olika syften: beskrivande och idékritiskt (Bergström och Svärd 2018, s.140). Alla uppsatsens frågeställningar kommer att besvaras både med beskrivande idéanalys och idékritik. Författarna av analysmaterial och motsägelser dem emellan kommer först att jämföras med varandra. Det vetenskapliga värdet kommer från att studien drar egna slutsatser om materialet, i det här fallet om OECD:s ideologi och hur den influerar reformer på nationell nivå
20 (Beckman 2005, s.49ff). Idékritiken ämnar därefter att studera huruvida idéinnehållet (OECD:s handlingar i enlighet med New Public Management) är hållbart eller inte som underlag för reform. Dessutom kommer organisationens legitimitet och provens legitimitet utvärderas för sitt idéinnehåll och om de utgör en legitim grund för reform (Bergström och Svärd 2018, s.143f).
Metoden som användes för att analysera materialet är en idealtypsanalys. En idealtypsanalys är ett sätt att kategorisera text genom att på förhand konstruera idealtyper som materialet jämförs med. Idealtypen konstrueras genom att samla egenskaper och kännetecken som är typiska för ett specifikt fenomen (Bergström och Svärd 2018, s.147f). Idealtyperna som konstruerats för att analysera alla våra tre frågeställningar kommer att utgöras av begreppen New Public Management och Legitimitet vilka redogörs för i avsnittet Idealtyper. Idealtyperna agerar som analysapparat för uppsatsen och bygger alltså på teorier som andra forskare formulerat men som lyfts in i kontexten för att studera OECD och PISA (Beckman 2005, s.23). Vanligtvis används idealtypsanalys för att kategorisera aktörer eller handlingar utifrån ett flertal olika idealtyper. I vår studie har vi dock valt att endast skapa en idealtyp för varje fråga vilket innebär att idealtypen endast jämförs med hur väl den överensstämmer med OECD:s ideologi och handlingar och inte kategoriserar aktörens olika aspekter in i ett flertal olika idealtypskategorier.
4.4 Idealtyper
Vi har själva konstruerat alla tabeller i avsnittet utifrån tankarna som artikulerats av teoridelens författare och tabellerna agerar som stommen för analysapparaten idealtypsanalys.
4.4.1 IdeologinNew Public Management
Som metod för att analysera frågan “Med vilka handlingar sprider OECD New Public Management och vilket inflytande får handlingarna på nationell skolpolitik?” har här en idealtyp för New Public Management skapats vilket analysmaterialet kommer att jämföras mot. Tabell 3 är konstruerad utifrån de begrepp som beskriver NPM enligt olika teorier vilka beskrivits i avsnittet New Public Management i teorikapitlet.
Idealtypen för New Public Management bygger på teorier anförda av Hultkrantz (2017), Hood & Jackson (1991), Vibert (2007) och Almqvist (2006). Teorierna har sedan delats upp i fyra principer: resultatstyrning, arbetsfördelning, marknadsfokus och kvalitet.
21 4.4.2 Organisationell legitimitet
För att kunna besvara frågan “Hur får OECD som organisation sin legitimitet och vilka legitimitetsbrister finns?” har här en idealtyp för organisationell legitimitet
skapats baserad på teorier vilka beskrivits under avsnittet Legitimitet i teorikapitlet, och som ämnar att förklara vilka faktorer som krävs för att en organisation ska anses legitim (se Tabell 4).
Idealtypen för organisationens legitimitet bygger på teorier vilka beskrivits av Erman (2017), Bäck (2015) och Zapp (2020). Teorierna delades sedan in i två principer: Demokrati och Status.
4.4.3 Provlegitimitet
För att studera frågan “På vilka sätt är PISA-resultaten en legitim grund för reform och vilka brister finns?” har här en idealtyp för provlegitimitet skapats baserad på teorier vilka beskrivits under avsnittet Legitimitet i teorikapitlet. Vad som krävs för att ett prov ska anses legitimt framgår av Tabell 5:
22 Idealtypen för legitimitet är baserad på teorier vilka lyfts fram av Lundahl & Tveit (2014), Twist & Fraillon (2020), McMillan (2018) och Wagemaker (2020). Därefter har teorierna delats in i tre principer: Validitet, reliabilitet och rättvisa.
23
5. Resultat och analys
Avsnitten är upplagda enligt följande disposition: rubrikerna 5.1.1 - 5.1.4, 5.2.1 - 5.2.2 och 5.3.1 - 5.3.3 bygger på de principer som anges i de tre idealtyperna. Under rubrikerna görs först en jämförelse mellan analysmaterialet och dess olika tankar. Avsnitten avslutas därefter med en jämförelse av analysmaterialets samlade tankegångar gentemot idealtypen för NPM,
organisationens legitimitet och provets legitimitet.
5.1 OECD, NPM och inflytande på nationella reformer
Organisationen OECD är en ekonomisk organisation med målet att främja reformer som bidrar till välstånd, jämlikhet, möjligheter och välbefinnande på nationell och global nivå. Både Sjøberg (2015) och Feninger et al. (2012) skriver att OECD:s uttryckta mål att globalisera
utbildningspolitiken har föranlett en internationell provkultur. PISA-testet och dess rankingsystem medverkar till att skapa global konvergens av policybeslut på statlig nivå (Sjøberg 2015, s.116; Feninger et al. 2012, s.326). I kontrast påpekar dock Candido, H. D. et al. (2020) att nationalstaterna har incitament att delta i internationella tester då de agerar som instrument för att samla
bevismaterial till att grunda policybeslut på. Testerna skapar också utgångspunkter för att utveckla nationella tester och kunna få ekonomiskt stöd. De ger även förutsättningar att kunna förbättra sina internationella relationer, upprätthålla länders politiska agendor, samt utvärdera utbildningsnivå och ekonomisk konkurrenskraft. Dessutom bidrar de till att samla in information om hur välfungerande nuvarande utbildningsreformer är (Candido, H. D. et al.2020, s.148).Förutom incitament som bidrar till bättre reformer inom landet påpekar Lingard och Rawolle (2011) att ett land som
presterar bra i ett internationellt sammanhang också ses som ett modernt och ekonomiskt produktivt land av andra stater vilket ger landet status och handlingskraft på den globala arenan (Lingard & Rawolle 2011, s.493). På samma sätt som att goda resultat kopplas samman med en god framtid för landet kan det bli motsatt effekt om ett land presterar dåligt, påpekar Sjøberg (2015, s.111).
5.1.1 Marknadsfokus
Marknadsfokus syftar till ett tankesätt som ofta kopplas samman med företagande och ekonomi. Ett marknadsmässigt tänkande handlar till stor del om att skapa konkurrens för att öka kvaliteten, och nyttan samtidigt som kostnaderna ska minska. Candido, H. D. et al. (2020) uttrycker att resultatet av PISA och andra globala utbildningsinitiativ fört med sig olika tankar in i skolvärlden från
affärsvärlden. Begrepp som ansvarighet (för tidigare reformbeslut), jämförbarhet, konkurrens och kostnadseffektivitet har blivit centrala i många skolsystem då det är vad som premieras av PISA-testerna vilka blivit standarden för att utvärdera kvaliteten på skolsystem världen över (Candido, H.
24 D. et al. 2020, s.146).En majoritet av författarna belyser att ett av de vanligaste reformförslagen från OECD:s analyser för skolor och skolsystem bygger på just kostnadseffektivitet och nytta (Carvalho & Costa 2015, s.643; Lingard & Rawolle 2011, s.492; Sjøberg 2015, s.113; Feninger et al. 2012, s.326). Vidare påpekar Feninger et al. (2012) att syftet med förändringar i skolsystemen är tänkta att ge elever verktyg för att integrera dem på den globala arbetsmarknaden (Feninger et al. 2012, s. 326).
Gorur & Wu (2015) lyfter att kritiken mot PISA ofta kretsat kring globalisering och hur PISA som medel för en globaliserad utbildning används som ett policyobjekt för att sprida New Public Management och marknadsinriktad utbildningspolitik. PISA-resultaten används sedan för att rättfärdiga utbildningsreformer och har ett inflytande på politiska debatter och policyanvändning (Gorur & Wu 2015, s.650).
OECD i enlighet med idealtypen för NPM uppvisar att organisationen har ett tydligt marknadstänk då PISA-testet gynnar de länder vars skola är statligt kostnadseffektiv. Att statlig skolfinansiering enligt OECD bör begränsas är indikativt för att organisationen är i linje med idealtypen för NPM som tänker sig att skolsystem med hög grad av privatisering lyckas bättre eftersom skolorna utsätts för konkurrens. OECD förespråkar fortsatt att skapa globala världsmedborgare som konkurrerar om samma jobb på en global marknad, vilket också är typiskt för NPM. Sammanfattningsvis är det vid jämförelse med idealtypen tydligt att OECD har ett marknadsfokus i sina handlingar.
5.1.2 Resultatstyrning
Resultatstyrning är ett begrepp som innefattar ett större fokus på just resultat, alltså output, det som levereras. Hur resultaten togs fram är i resultatstyrning inte särskilt relevant. Däremot är det viktigt att resultaten är mätbara, tidssatta och möjliga att granska i efterhand. Både Carvalho och Costa (2015) samt Lingard och Rawolle (2011) menar att OECD bidrar till resultatstyrning genom en allt mer outputbaserad skolpolitik som baseras på exempelvis ranking av PISA-resultaten samt de efterföljande analyser som görs av både OECD och nationella aktörer. I de nationella reformer som görs i anslutning till resultat och granskning syns också ett ökat fokus på output (Carvalho & Costa 2015, s.641; Lingard & Rawolle 2011, s.491).
Feninger et al. (2012) beskriver att PISA-resultaten genom sina jämförelser skapar ett tryck på staten, både inifrån och utifrån, att reformera sina skolsystem åtminstone i de fall resultat i PISA-tester inte lever upp till landets förväntningar. Ett konkret exempel är Tyskland där ett oförväntat dåligt resultat ledde till reformer som ämnade att göra elevernas kunskaper mer mätbara och
25 dessutom möjliga att följa upp genom granskningar på nationell nivå. Förutom det ökade fokuset på mätbarhet och granskning blev också den internationella jämförelsen allt viktigare (Feninger et al. 2012, s.325). Möjligheten att jämföra länder med varandra ställer krav på själva mätningen och att resultaten granskas av utomstående objektiva. Både Candido, H. D. et.al. (2020) och Lingard och Rawolle (2011) beskriver att OECD strävar efter att vara en utomstående och oberoende granskare som med objektiva ögon granskar humankapitalet i de olika länderna (Candido, H. D. et al. 2020, s.156; Lingard & Rawolle 2011, s.491).
Braun och Singer kommer med viss kritik mot resultatstyrning och menar att det tenderar att leda till att lärare och elever endast fokuserar på provresultat och inte lärande. Användbara kunskaper som inte testas i prov kommer då att hamna i skymundan (Braun & Singer 2019, s.84). Feninger et al. (2012) har också en del kritik och menar att ett överdrivet fokus på internationell ranking tar bort fokus från nationell stratifiering som ligger till grund för skillnader mellan skolor inom landets gränser och påverkar den internationella rankingen. Ett exempel på sådan stratifiering som Feninger et al. (2012) lyfter är Israel där judar och araber uppvisar stora skillnader i kunskaper som kan härledas till just stratifiering och endast synliggörs på nationell nivå (Feninger et al. 2012, s.324). I idealtypen för NPM är resultatstyrning en princip som kan spåras i OECD:s handlingar på flera sätt såsom PISA-rankningen och dess tillhörande analyser vilka uppvisar ett tydligt fokus på output från OECD:s sida. För att kunna utvärdera output krävs mätbara och tidsatta mål. När resultatet hamnar i fokus för lärandet riskerar testerna att bli ramen för vilket lärande som sker och kunskaper som inte kan mätas kommer ej att läras ut. Det finns en konflikt mellan idealtypens krav på mätbara och tidsatta mål samt OECD:s målfokus på att elever ska få med sig konkreta förmågor för
kommande arbetsliv eftersom förmågor är mycket svåra att kvantifiera och sällan mäts. Ytterligare ett tydligt tecken på att OECD:s handlingar är färgade av NPM i enlighet med idealtypen är att OECD förespråkar granskning genom PISA-testerna och ser sig själva som objektiva bedömare då de sammanställer resultaten. OECD är dock en normativ aktör vilket inte alltid överensstämmer med att göra objektiva bedömningar. Följden blir att resultat kan framställas som mer eller mindre fördelaktiga beroende på OECD:s syften. Här frångår då OECD idealtypen för NPM då objektivitet krävs för korrekt granskning av resultat.
5.1.3 Arbetsfördelning
Arbetsfördelning är ett begrepp som berör vem som gör vilket arbete, något som har förändrats inom utbildningssdomänen och den offentliga sektorn i stort under de senaste årtiondena. Det har inneburit att staten fått färre arbetsuppgifter och lokala, internationella och privata aktörer har fått
26 fler arbetsuppgifter. Den postnationella reformpolitiken och det globala utbildningsidealet agerar i samverkan med övergången från statlig styrning till en organisationell styrmodell, menar Lingard & Rawolle (2011). Det har lett till att nya former av politisk auktoritet har skapats och att staten blivit mer reducerad (Lingard & Rawolle 2011, s.489ff).
Carvalho & Costa (2015) påpekar att skolor ska ha mer frihet och flexibilitet i organisationen, mer privatisering och decentralisering där fler aktörer är inblandade i finansiering och styrningen av skolor står högt på OECD:s agenda (Carvalho & Costa 2015, s.643). I kontrast beskriver Feninger et al. (2012) hur nationella aktörer använder externa auktoriteter såsom PISA för att förespråka kontroversiella förändringar inom det nationella utbildningssystemet. Det är en form av
externalisering som synliggör den nya dynamiken mellan nationella och internationella aktörer inom utbildningsdomänen (Feninger et al. 2012, s.326).
Sjøberg (2015) belyser exemplet Norge i hur privatisering och decentralisering förespråkats och ägt rum efter inflytande av OECD och PISA. Nya reformer har där lagts fram för att bemöta
utmaningarna som landet står inför med relativt låga PISA-resultat där granskning, transparens och ansvar hamnat i fokus som utvecklingsområden. Resultatet blev reformer som i mångt och mycket följer OECD:s råd: fritt skolval, mer friskolor, samt tillväxt av privata aktörer för att utvärdera skolsystemets kvalitet (Sjøberg 2015, s.115).
I enlighet med idealtypen för NPM verkar också OECD för en mindre, avskalad stat där fler arbetsuppgifter istället läggs hos internationella, lokala och privata aktörer. Även om det inte är uttalat från OECD:s sida är det inte bara arbetet som fördelas genom privatisering, decentralisering och outsourcing utan också makten som är kopplad till att en viss arbetsuppgift flyttas. Enligt idealtypen bör makten flyttas till de som är specialister på området för att effektivisera
skolsystemet. Det innebär för NPM att utbildningen bör outsourcas eller privatiseras eftersom den offentliga sektorn bara ska styra vilket OECD ställer sig bakom.
5.1.4 Kvalitet
Kvalitet som begrepp i denna studie är tätt sammankopplat med effektivitet. Resultaten måste vara goda för att anses effektiva. Den som producerar dåligt ska stå till svars för sin ineffektivitet och hållas ansvarig därefter. Carvalho och Costa (2015) beskriver kvaliteten som en balansgång mellan prestanda och kostnad, skolkunskaper och verkliga kunskaper, kvalitet (i vad provet testar) och rättvisa samt ett skolsystem som utmanar och ett skolsystem som stödjer lärande (Carvalho & Costa 2015, s.643).Att OECD är en ekonomisk organisation syns tydligt i de reformförslag de lägger
27 fram för att förbättra utbildningskvaliteten. Sjøberg (2015) skriver att OECD i år 2008:s Economic Report utifrån de norska resultaten i PISA-testerna drog slutsatsen att en dyrare skola inte leder till bättre prestanda och därför menar att Norge med goda resultat kan skära ner på kostnaderna som läggs på utbildning (Sjøberg 2015, s.122).
Flera av författarna av analysmaterialet använder länder i nordöstra Asien som exempel för att ifrågasätta utbildningskvaliteten såsom den förespråkas utifrån vilka länder som presterar bäst i PISA-testerna. Gorur & Wu (2015) menar att de goda resultat som uppvisas av de östasiatiska länderna kan kopplas till en besatthet av att konkurrera och prestera bra i skolan. Familjerna investerar mycket pengar i privata skolor och eleverna spenderar mycket tid till skolarbete både i skolan och efter skolan. Den hårda konkurrensen och pressen på att prestera är sammanlänkad med lägre fertilitet, depression och självmord (Gorur & Wu 2015, s.661). Candido, H. D. et al. (2020) lyfter Shanghai som en problematisk förebild. Shanghai presterar visserligen bra i PISA-testerna tack vare att deras elever arbetar outtröttligt. Samtidigt uppvisar eleverna låg entusiasm, lågt självförtroende, begränsad förmåga till självstyrt lärande och överdrivna förväntningar på skolan. Kinas egen utbildningsminister har kommenterat att eleverna inte är särskilt innovativa och dessutom saknar praktiska kunskaper (Candido, H. D. et al. 2020, s.150f).
Kvalitet enligt idealtypen för NPM handlar om arbetsdisciplin, ansvarighet och goda resultat som ofta i ett marknadsmässigt tänkande översätts till effektivitet och nytta. Liksom idealtypen för NPM strävar OECD efter att skapa global utbildning som är effektiv på alla områden. Tyvärr finns ingen mall för vad som skapar mest effektivitet utan det är snarare än slags balansgång mellan det mätbara och det kvalitetsmässiga. Ett tydligt exempel på denna balansgång är ett skolsystem som utmanar och har fokus på att uppnå bäst resultat och hård konkurrens gentemot ett skolsystem som stödjer. Enligt PISA-rankningen är det länder med ett mer utmanande skolsystem som ligger på topp vilket då kan tolkas som att utmanande system är av högre kvalitet än de stödjande. Dock för de
utmanande systemen med sig stor press på eleverna som ofta leder till hälsoproblem. Det innebär alltså att det finns en dold samhällelig kostnad för de utmanande systemen i form av både
ekonomisk förlust och förlorat humankapital vilket inte syns i PISA:s ranking men som också bör tas med i beräkningen av kvaliteten. Idealtypen liksom OECD förespråkar också ansvarighet med målet att upprätthålla arbetsdisciplinen. En tydlig problematik med NPM:s flexibla organisation som förespråkas av OECD, gentemot en hierarkisk stel organisation är dock att den flexibla
organisationen har svårare att finna ansvariga eftersom det i nästan alla situationer går att skylla på någon annan, särskilt eftersom mängden inblandade aktörer har ökat. I slutändan leder då OECD:s reformförslag och till minskad effektivitet och kvalitet.
28
5.2 OECD:s legitimitet
5.2.1 Demokrati
PISA-testet är det mest välfinansierade och största testet av utbildning som någonsin existerat. PISA-rapporterna är många och dominerar nationell och internationell debatt om utbildning och utbildningspolicy. OECD-rapporterna, PISA-testerna och organisationens policyråd till stater är influentiella och pressar beslutsmakare att standardisera läroplaner, undervisning och lärande. OECD, genom PISA, agerar idag som ett globalt ministerium för utbildning (Sjøberg 2015, s.112,125).
Braun och Singer (2019) pekar på att PISA-testerna har några områden där de verkligen bidrar med något gott. Ett bra exempel på det är deras förmåga att bidra till transparens och skapa debatt och diskussion kring skolsystemen som i sin tur sporrar till reform. Genom den ökade
uppmärksamheten av media och medborgare är det troligare att politiker hålls ansvariga för dåliga reformer (Braun & Singer 2019, s.82f).
Till skillnad från politiker, hålls inte de professionella representanterna från internationella organisationer som konstruerar PISA-tester ansvariga under ett system av maktdelning eller ett folkval, framhåller Feninger et al. (2012, s.326). Dock är PISA en resurs för politiker då PISA belyser problemområden inom utbildning som genom PISA-resultaten kan utgöra grund för bättre utbildningspolicy. OECD får då legitimitet genom att påverka folkvalda politiker som lånar ut sin politiska legitimitet till organisationen (Carvalho & Costa 2015, s.639). Särskilt symboliskt
stärkande är det när ledande politiker som presidenter och statsministrar direkt eller indirekt stödjer OECD:s utbildningsideal. Lingard & Rawolle (2011, s.492) pekar på hur Obama-administrationen etablerade standardisering av utbildningskrav inom ämnena matematik och naturvetenskap, samt hur legislation under George W. Bush ställde striktare federala krav på utbildning. Sjøberg (2015, s.115) visar även på hur Norges statsminister, Erna Solberg, direkt refererar till att Norges PISA-resultat ska bli bättre i sina vallöften.
Från början var PISA framtaget för att mäta utbildningsnivån i OECD-länderna men allt eftersom kom fler och fler länder att delta i PISA. Det allt större deltagandet ledde då till en allt växande legitimitet (Gorur & Wu 2015, s.653). En del internationella biståndsorganisationer kräver dock deltagande i PISA från stater i det Globala Syd som ett villkor för att få bistånd. Deltagandet i testet bygger då på ett tvivelaktigt samtycke där en part i samarbetet är i en beroendesituation (Lingard & Rawolle 2011, s.497). En av PISA-projektets främsta demokratiska fördelar är att det inte
29 med inkluderingen då PISA:s ramverk är utvecklat för relativt rika och moderna OECD-länder. När instrumentet sedan används för att mäta standarden på utbildning i de fler än 30 länder som gör testet men inte är med i OECD, blir missmatchningen mellan testet och landets
utbildningsprioriteringar allt mer uppenbar, hävdar Sjøberg (2015, s.116). Att deltagande välkomnas gäller inte bara hela länder utan också regioner. Kina är ett exempel på ett land som endast deltar med regioner. 2009 deltog totalt 12 kinesiska regioner i PISA-testet men endast Shanghais resultat visades upp. Kinas icke-konventionella deltagande kom aldrig att förklaras varken av den kinesiska regeringen eller av OECD (Candido, H. D. et al. 2020, s.151).
Enligt idealtypen för organisationell legitimitet bör det finnas legitimitet i alla delar av en process, såsom inflödet, genomflödet och utflödet. I OECD:s fall finns det mycket liten möjlighet att påverka processer eftersom de sköts av organisationens egna experter vilket inte överensstämmer med idealtypens krav på legitimitet då lyhördhet saknas. Inflödet och genomflödet får då bristande demokratisk legitimitet enligt idealtypen eftersom endast ett begränsat antal människor kommer fram till det internationella konsensus för vad PISA-testet innefattar. Fortsättningsvis är
testprocessen i en del fall inte transparent vilket synliggörs när OECD exempelvis valde att låta Kina endast visa upp Shanghais resultat och inte alla deltagande regioner, vilket enligt idealtypen tyder på bristande demokratisk legitimitet. Däremot levererar OECD ett starkt utflöde i form av OECD-rapporterna, PISA-testerna och organisationens policyråd som politiker och medborgare får ta del av, vilket stärker deras utflödeslegitmitet. Fortsättningsvis uppfyller organisationen
idealtypens kriterier deltagande och inkludering då alla länder som vill får delta. Viss kritik framkom dock i analysmaterialet då deltagandet i vissa fall sker under tvång eftersom vissa
biståndsorganisationer kräver deltagande i PISA för att en stat ska få tillgång till bistånd och detta är inte i linje med idealtypen för legitimitet då samtycke krävs för legitimt deltagande. OECD är i enlighet med idealtypen en oberoende aktör som åtminstone inte uttalat står på någon särskild sida då organisationen består av många representanter från olika stater. Till sist ska enligt idealtypen en organisation också ha representativitet. I en demokrati fås detta genom direkta eller indirekta val. I organisationens fall handlar det snarare om lånad politisk legitimitet som fås av politiker, media och medborgare som uppfattar organisationen som legitim.
5.2.2 Status
Länder som genomför PISA-test samlar på sig transnationellt legitimt kapital som symboliserar utveckling och framgång samt förbättrar länders status, menar Candido, H. D. et al. (2020). OECD använder sin status för att ge status till andra, vilket sedan reflekterar tillbaka på OECD då de pekar på att framgångsrika länder presterar bäst på PISA-testerna. Ett tydligt exempel på det är OECD:s
30 främjande av Kina genom deras särskilda deltagande status i PISA. PISA ger legitimitet via
symboliskt kapital åt Kina som gjorde inträde i den globala ekonomin relativt sent och Kina ger legitimitet åt PISA-testet genom deras ekonomiska framgång. Dessutom ger stort deltagande en ökad status och Kina är en av de största arbetsmarknaderna i världen. Det skapar ett feedback-system där status föder status. Som ett resultat har OECD en hög nivå av trovärdighet och auktoritet i Kina där PISA symboliserar en progressiv, vetenskaplig och avancerad utbildning, vilket vidare visar på fortsatt legitimering av organisationens utbildningsideal (Candido, H.D. et al. 2020, s.148ff). Braun och Singer (2019) belyser fortsatt att OECD också får legitimitet genom PISA-testernas uppmärksamhet i media, särskilt angående den jämförande PISA-rankningen av länders utbildningssystem internationellt (Braun & Singer 2019, s.76). Mediauppmärksamhet leder i sin tur till att OECD:s framställs som en auktoritet, vilket gör att människor också uppfattar OECD som en auktoritet, vilket förhöjer deras status.
Lingard & Rawolle (2011) hävdar att OECD får legitimitet genom sin tekniska provexpertis (Lingard & Rawolle 2011, s.493). Vidare påstår Feninger et al. (2012) & Sjøberg (2015) att experterna på provkonstruktion och översättning som tar fram PISA-testet är oberoende och avgör provinnehållet genom internationell konsensus. Det möjliggör att de deltagande länderna kan använda PISA-resultaten för den lokala debatten som icke-vinklade fakta med vetenskaplig status, något som vidare stärker organisationens acceptans (Feninger et al. 2012, s.326; Sjøberg 2015, s.120).
OECD tillhandahåller metoder för att leva upp till de utbildningsidealen som främjas av PISA, vilket ytterligare förstärker organisationens status, menar Carvalho & Costa (2015). Dessutom utvecklar OECD vidare forskning om utbildning vilket också ökar organisationens legitimitet (Carvalho & Costa 2015, s.643f). På så vis har OECD intagit rollen som transnationell auktoritet för policyrelevant kunskap inom utbildningsdomänen, menar Lingard & Rawolle (2011). Därefter beskriver författarna att utbildning blivit ett centralt ekonomiskt policyverktyg för länder runtom i världen, som ämnar att stärka landets humankapitalet för att öka konkurrenskraften internationellt. Trots att den globala marknaden är instabil, har det humankapitalet positionerats som en säker investering för framtiden. OECD, tillsammans med andra organisationer, har varit mycket inflytelserik i att skapa en konsensus kring just den frågan vilket syns i policyarbeten globalt (Lingard & Rawolle 2011, s.492ff). Fortsättningsvis påpekar Feninger et al. (2012) att en internationell ranking av akademisk prestanda indikerar på en globaliserad utbildning för den globala marknaden. Genom att framställa sig själva som frontfiguren för framtidens utbildning som
31 integrerar elever i den global marknaden, får OECD legitimitet då de står för relevant utbildning för konkurrenskraftiga framtida medborgare (Feninger et al. 2012, s.326).
Status är en övergripande legitimitetsskapande faktor enligt idealtypen för organisationell
legitimitet. OECD är en organisation som förknippas med utveckling och framgång med ett fokus på framtiden vilket gör OECD till en relevant organisation i enlighet med idealtypen. Dessutom skapas PISA-testerna av experter samlade på global nivå vilket bidrar till att skapa relevans och gott rykte vilket är i linje med idealtypens legitimitetskriterier. Att OECD är en så pass framstående organisation gör också att medborgare, media och politiker accepterar och stödjer den status organisationen har vilket är helt i linje med idealtypen. I media uppmärksammas PISA-resultaten och de lösningar som presenteras av OECD vilket också bidrar till relevans och konkurrens som är ytterligare ett kriterium i idealtypen. Organisationen får också status i enlighet med idealtypen genom att fler lockas till deltagande då de ser goda PISA-resultat som nyckeln till framtida framgång och på detta sätt ökar acceptansen för OECD som organisation och blir legitimt enligt idealtypen.
5.3 PISA-testets legitimitet
5.3.1 Validitet
Sjøberg (2015) påpekar att PISA-ranking tenderar att skapa panik och obehag hos alla länder som deltagit, även de som presterat bra. Obehaget leder till att politiker och byråkrater manas till att åtgärda sina skolsystem. Men då PISA inte säger särskilt mycket om orsak-verkan blomstrar kreativiteten och reformer utan vetenskapliga belägg introduceras ofta över en natt (Sjøberg 2015, s.112). Liksom Sjøberg menar Gorur och Wu (2015) att en vanlig respons i samband med låga PISA-resultat är att ta idéer från högpresterande länder och applicera på sitt eget skolsystem. Ett problem med detta är dock att några slutsatser om vilka system som fungerar bäst utifrån PISA-rankningen inte går att göra. Eftersom endast systemen i de länder som presterar bra analyseras av OECD går det inte att veta om samma system används även i länder som inte presterar bra i PISA. Dessutom är det inget som säger emot att länder som presterar bra i PISA hade kunnat prestera ännu bättre med ett annat system (Gorur & Wu 2015, s.649f).
Sjøberg (2015) påpekar att OECD:s mål är att mäta färdigheter som elever behöver i framtiden snarare än vad eleverna lärt sig i skolan. PISA-testerna är därför inte baserade på nationella
skolplaner utan på vad OECD:s expertgrupp anser är relevant att kunna i framtiden. Samtidigt säger OECD att de vill använda resultaten till att utvärdera kvaliteten, rättvisan och effektiviteten hos de
32 olika skolsystemen. Här uppstår en motsägelse och ett validitetsproblem (Sjøberg 2015, s.113). Ytterligare ett validitetsproblem i PISA-testet diskuteras av Sjøberg (2015) nämligen att själva testsituationen i sig skiljer sig markant från verklighetens arbetssituation. I ett test som ämnar att testa just elevernas förmågor inför ett framtida arbetsliv är det ett problem att själva testet görs i en situation som inte speglar ett framtida arbetssätt (Sjøberg 2015, s.120). Att PISA-testet inte verkar testa framtida förmågor som OECD avser påpekar också Feninger et al. (2012). Det finska
skolsystemet har länge hyllats för sina elevers fantastiska prestationer i PISA-testerna och har använts som en förebild för andra i sina reformer av skolsystemen. Ett av de tydliga karaktärsdragen i det finska skolsystemet är det hierarkiska och konservativa sättet att lära ut med begrepp som lydnad och auktoritet i fokus. Det finns här en viss ironi i att ett test som ämnar att bedöma elevers förmågor att leva upp till framtidens krav på flexibilitet, tänka själv, innovationskraft, och liknande premierar ett gammaldags skolsystem skriver Feninger et al. (2012, s.325). Sjøberg (2015) påpekar att det hierarkiska skolsystemet dessutom går emot alla forskare, specialister, samt OECD själva då de alla är eniga om att lärande bäst sker i aktiva former. Det står då i stark kontrast till
PISA-rankningen som snarare pekar på att de konservativa, hierarkiska skolsystemen ger bäst resultat (Sjøberg 2015, s.123).
En enligt Sjøberg (2015) intressant trend i de analyser som gjordes efter PISA-testet 2006 visade att de stater som presterade bäst i det naturvetenskapliga testet som PISA lanserade också befann sig i botten vad avser elevernas intresse för naturvetenskap. Både Finland och Japan är exempel på länder som presterade mycket bra men vars elever samtidigt menade att de har låg motivation till att lära sig mer naturvetenskap och inte kan tänka sig att arbeta med ämnet i framtiden. Att se denna typ av konsekvens av ett test som ämnar att skapa förutsättningar för bättre framtida arbetskraft är ett validitetsproblem (Sjøberg 2015, s.122).
Braun & Singer (2019) diskuterar vad PISA-testet verkligen kan ge för underlag och inte. De menar och att PISA-testerna går att använda till att förklara och jämföra reformer, politik och karaktärer hos elever samt hur de förändras över tid. Braun & Singer (2019) menar vidare att testet möjligen kan säga något om staternas system i en jämförelse men troligtvis väldigt lite om hur effektiv en särskild läroplan är, vilka undervisningsstrategier som är bäst eller vilken skolpolicy som genererar bäst prestanda. Inte heller kan testet användas för att hitta någon kausalitet mellan faktorer såsom exempelvis demografi eller socioekonomisk status och hur väl eleverna presterar på testerna (Braun & Singer 2019, s.82). I kontrast till Braun och Singer menar Gorur och Wu (2015) att lärandet är djupt förankrat i kulturen och att det därför inte går att göra några direkta internationella jämförelser alls. Istället kan PISA-testerna bättre användas på nationell nivå för att belysa problemområden
33 inom landet såsom socioekonomisk status (Gorur & Wu 2015, s.654). Feninger et al. (2012)
påpekar även parallellt till Braun och Singer att studier av Israel visar att det finns en stark korrelation mellan prestanda på testerna och demografiska och ekonomiska faktorer i enskilda länder (Feninger et al. 2012, s.329ff).
För att ett test ska anses legitimt måste det enligt idealtypen ha validitet, alltså att det mäter det som testet var tänkt att mäta (representativitet). PISA-testet har i jämförelse med idealtypen låg
legitimitet eftersom vad testet mäter och vad resultaten är tänkta att användas till inte är förenliga. Eftersom PISA-testet ämnar mäta förmågor som är användbara i framtida arbetsliv och inte
skolkunskap som dikterats av nationella läroplaner får testet därmed svårt att utvärdera kvaliteten av skolsystem som OECD avser. Även metoden som används för att genomföra testet är inte förenligt med att utvärdera framtidens förmågor då förmågorna inte appliceras i en kontrollerad provsituation som snarare gynnas av traditionell, auktoritär undervisning. Här uppstår ett tydligt
representationsproblem enligt idealtypsanalysen då testet ämnar testa vilka skolsystem som bäst skapa globala arbetsföra medborgare samtidigt som resultaten visar raka motsatsen. Eftersom de högpresterande länderna på PISA-testet också har elever med låg motivation för ämnena som testas, kan det ses som ett konsekvensvaliditetsproblem som skapar bristande legitimitet med testet enligt idealtypen.
5.3.2 Reliabilitet
Sjøberg (2015, s.112) påpekar att PISA är ett stort test. Det innebär att den statistiska signifikansen av PISA-resultaten är hög och då får god reliabilitet. Vidare har enligt Braun & Singer (2019) också avancerade metoder utvecklats för att reducera bias och öka jämlikheten i testningen för att uppnå högre tillförlitlighet (Braun & Singer 2019, s.80). Dock står PISA-testerna inför en del
metodologiska problem som riskerar att ge mycket missvisande resultat på grund av bristande reliabilitet, menar Braun och Singer (2019). Metodproblemen handlar om elevernas egen motivation att prestera bra på testet och svårigheter som uppkommer på grund av kulturella skillnader och språkliga skillnader. Om inte resultaten är tillförlitliga kan inte heller variationen i elevprestationer mellan länder hänföras till någon specifik politik eller något särskilt system (Braun & Singer 2019, s.79f). En tydlig felfaktor uppstår i metoden som används för att svara på testerna. Då användandet av dator vid testningen har blivit allt vanligare riskerar reliabiliteten att försämras då datoranvändning kräver vissa förkunskaper. Dessutom innebär olika svarsmetoder för olika elever en brist i jämlikheten för provets genomförande (Braun & Singer 2019, s.81). Innan datoranvändning blev ett alternativ till penna och papper var det tydligt att de länder som hade minst datoranvändning i skolorna klarade sig bäst i PISA-testerna (Sjøberg 2015, s.120ff). Detta
