Kandidatuppsats i Statskunskap, Statsvetenskapliga institutionen Författare: Ebba Brismark, Handledare: Helena Wockelberg Höstterminen 2016, Uppsala Universitet
12 834 ord, 55 sidor
PISA och svensk utbildningspolitik
En innehållsanalys
1
Innehållsförteckning
1 Inledning ... 3
2 Syfte och undersökningsfrågor ... 4
2.1 Avgränsningar ... 5
2.2 Reflektion kring avgränsningar och generaliserbarhet... 6
3 Teoretisk utgångspunkt ... 7
3.1 Evidensbaserad politik, jämförelser och mjuk makt ... 7
3.2 PISA ... 8
3.2.1 Vad är PISA ... 8
3.2.2 Policyrekommendationer härledda ur PISA ... 9
3.3 PISA som policyinstrument ... 9
3.4 Användning av PISA i utbildningspolitiken internationellt...11
3.5 PISA och Sverige...12
3.5.1 Sveriges resultat ...12
3.6 Sammanfattning...13
3.6.1 Förväntningar ...13
4 Metod och genomförande ...14
4.1 Innehållsanalys ...14
4.2 Styrkor och svagheter med metoden ...15
4.3 Definition och operationalisering ...16
4.3.1 Referenser till PISA ...16
4.3.2 Hur referenser kan variera ...18
4.3.3 Diskussion gällande operationaliseringen ...19
4.4 Material ...20
4.4.1 Beskrivning av inkluderade propositioner...22
4.4.2 Diskussion gällande val av material ...22
4.5 Praktiskt genomförande...23
5 Analys ...25
5.1 Presentation av resultat och resultatdiskussion ...25
5.1.1 Omfattning och typ av referens ...25
5.1.2 Funktion och centralitet...27
5.1.3 Mönster över tid ...29
5.1.4 Övriga observationer...31
6 Slutsats och förslag på vidare studier ...33
Referenslista ...35
2
Bilagor ...38
Bilaga 1 ...38
Kodningsschema 1-utkast ...38
Kodningsschema 1-slutgiltigt...39
Kodningsmanual 1 ...40
Kodningsschema 2 ...43
Kodningsmanual 2 ...43
Bilaga 2 ...44
Inkluderade stycken ...44
Bilaga 3 ...45
Sammanställning referenser ...45
Osäkra referenser ...52
TIMSS och andra kunskapsmätningar ...54
3
1 Inledning
I antologin Kunskapen och makten beskrivs den politiska maktens relation till dess rådgivare som ”politikens existentiella problem” (Molander, 2012, s.11). Vi lever idag i ett
högteknologiskt samhälle med en komplex och omfattande samhällsapparat som ska tillgodose behov såväl som krav hos en heterogen befolkning med skilda preferenser. Det faller sig naturligt att politiker inte själva kan besitta all nödvändig kunskap och insyn. Istället finns en omfattande tjänstemannastab med kompetens och expertis för att ge stöd. Utöver tjänstemännen finns andra aktörer som har ett intresse i vilken politik som förs och som utger sig för att besitta värdefull kunskap, exempelvis internationella organisationer och
intressegrupper. Dessa aktörer kan också ha ett kunskapsövertag gentemot politiker då de ofta är specialiserade i en viss fråga. Tanken att politik ”ska baseras på en upplyst förståelse” är inget nytt (Ahlbäck Öberg & Öberg, 2012, s.46). Frågan är dock varifrån kunskapen ska komma? Beroende på vilken kunskap som inkluderas i politiken kommer problemformulering såväl som lösningsförslag att ändras. På så vis blir kunskapsproduktion en maktfråga och det är därför problematiskt att se det som en neutral aspekt av politiken.
Ett begrepp som fått stort genomslag under senare år är Powers ”the audit society”
(granskningssamhället). Powers med flera menar att det idag finns ett allt större fokus inom politiken på utvärdering där politikens implementering studeras för att se om önskvärda effekter uppstått (Power, 2000). Enligt Knill och Tuson (2012, s.197) kommer detta skifte i fokus ur en strävan att göra politiken mer evidensbaserad. Som ett led i denna utveckling ser vi även ett genombrott för olika internationella mätningar. Politiker har fått en ny arena att förhålla sig till och nationella mätningar kan inte längre ensamt legitimera exempelvis ett utbildningssystem. Det krävs också bevis för att systemet står sig i internationella jämförelser (Pettersson, 2010, s.264).
Det är med utgångspunkt i denna politiska utveckling som den här studien genomförs. Det övergripande intresseområdet är hur politiker förhåller sig till och använder sig av olika kunskapsunderlag i politiken. Detta undersöks genom att analysera Programme for
International Student Assessments (PISA:s) roll i svensk utbildningspolitik sedan år 2000, det år då den första PISA-studien genomfördes. PISA är en internationell kunskapsmätning med syfte att utvärdera och jämföra kvalitén hos olika länders skolsystem (OECD 2001, s.27). Att studera just svensk utbildningspolitik är relevant av flera anledningar. Utbildningspolitiken
4
såväl som PISA har fått mycket uppmärksamhet i svenska media. Dessutom har Sveriges resultatförsämring i PISA varit stor jämfört med andra länder vilket skulle kunna öka sannolikheten att svenska regeringar förhåller sig till studien.
Flera undersökningar visar hur Organisation for Economic Co-operation and Development (OECD) genom PISA fått ett allt större inflytande över utbildningspolitiken i olika länder (Engel, 2015; Lewis, 2014; Morgan, 2016; Teodoro & Estrela, 2010). Detta förklaras bland annat med undersökningens höga trovärdighet (Carvalho & Costa, 2015, s.643). Forskare framhåller dock att det finns stora luckor i forskningen kring PISA:s policypåverkan. Vissa pekar på bristen av detaljerade fallstudier (Engel, 2015, s.100) och andra argumenterar för vikten av studier som noggrant analyserar specifika utbildningspolicys för att förstå PISA:s påverkan (Pons, 2011, s.547). Den här studien är ett steg på vägen mot att fylla denna lucka inom forskningen kring PISA.
2 Syfte och undersökningsfrågor
PISA är ett kunskapsunderlag där problembild såväl som lösningsförslag preciseras och när detta ges inflytande över politiken förändras politikers policyutrymme. Det skulle till och med kunna leda till en maktförskjutning där experter och andra aktörer ökar sitt inflytande på bekostnad av politikers. Det blir därför relevant att undersöka hur svenska regeringar sedan år 2000 de facto har använt sig av PISA i centrala politiska dokument. Det är en sak för politiker att bemöta PISA:s resultat i media och diskutera dem i olika debatter, det är något helt annat att använda sig av PISA i politiska beslut.
Studiens syfte är därför att:
Undersöka om och på vilket sätt svenska regeringar sedan år 2000 har refererat till PISA i utbildningspolitiska propositioner.
Detta syfte konkretiseras genom följande undersökningsfrågor:
1. Hur många implicita och explicita referenser till PISA finns i propositionerna?
2. Vilka teman rör sig de implicita referenserna inom och finns det någon skillnad mellan dem vad gäller omfattning?
3. Har referenserna en central position samt vilken funktion fyller referenserna?
4. Går det att urskilja mönster över tid?
5
I den här studien undersöks alltså inte endast explicita omnämningar av PISA. Målet är också att fånga upp implicita referenser, det vill säga referenser till de värden och politiska fokus som kan kopplas till PISA. Utifrån tidigare forskning finns det en förväntan att regeringar kommer att referera till PISA. Det är däremot svårare att veta i vilken utsträckning det sker samt om referenserna är implicita eller explicita. Fler förväntningar diskuteras i avsnitt 3.6.1 efter att den teoretiska utgångspunkten presenterats.
Det är viktigt att nämna att det finns tidigare forskning om PISA:s närvaro i svenska politiska dokument (Ringarp, 2016; Ringarp & Waldow, 2016). Den här undersökningen skiljer sig dock från tidigare forskning på två sätt och därför är den relevant. Först och främst fokuserar de andra studierna på PISA:s närvaro i Statens offentliga utredningar (SOU:er), medan den här studien analyserar propositioner. En SOU är förvisso resultatet av en utredning som kan resultera i en proposition och därför kan innehållet i många fall stämma överens. Det är dock inte säkert att politiker i slutändan väljer att gå vidare med det som föreslås i en utredning och det blir därför relevant att studera propositioner. I dessa finns det som regeringar slutgiltigt väljer att inkludera i sin politik. Den andra skillnaden är att den här studien strävar efter ett mer systematiskt tillvägagångssätt. I de andra studierna finns ingen tydlig operationalisering av författarnas bild av referenser till PISA. Författarna nämner några utvalda referenser som ett led i argumentationen, men en mer heltäckande genomgång av PISA:s närvaro i
dokumenten saknas. Den här studiens bidrag till forskningen kring PISA är således att på ett systematiskt sätt studera hur svenska regeringar refererar till PISA i utbildningspolitiska propositioner.
2.1 Avgränsningar
För att möjliggöra studien inom ramen för den här uppsatsen görs flera avgränsningar. Fem avgränsningar har gjorts redan i samband med syftesformuleringen. För det första begränsas som tidigare nämnts kunskapsunderlag till PISA. PISA väljs dels eftersom det är den största internationella studien av detta slag och dels eftersom den har fått mycket uppmärksamhet från allmänheten, forskare och politiker (Engel, 15, s.100). För det andra definieras
kunskapsanvändning som referenser, implicita och explicita. Vidare kommer studien inte att undersöka hur politiker generellt refererar till PISA utan fokusera på regeringars referenser i utbildningspolitiken. Det finns många möjliga forum där detta kan studeras. Eftersom målet är att få en förståelse för PISA:s närvaro i formella politiska dokument är den fjärde
avgränsningen att endast undersöka lagstiftande dokument i form av propositioner och inte
6
den bredare debatten. För det femte görs det av naturliga skäl en tidsmässig avgränsning genom att endast propositioner efter den första PISA-undersökningen (2000) kommer att studeras. Det finns runt 100 utbildningspolitiska propositioner efter 2000
(Riksdagsförvaltningen, u.å.-b). Det sker därför av praktiska skäl även en innehållsmässig avgränsning som diskuteras närmare under avsnitt 4.4. Det är dock viktigt att uppmärksamma att denna avgränsning resulterade i att endast propositioner mellan 2007 och 2016 undersöks.
2.2 Reflektion kring avgränsningar och generaliserbarhet
När en studie avgränsas är det viktigt att fundera kring hur det påverkar generaliserbarheten.
Då endast propositioner mellan 2007 och 2016 undersöks är det inte säkert att den bild som presenteras vad gäller referenser till PISA stämmer för samtliga utbildningspolitiska
propositioner efter 2000. Det kan till och med antas att så inte är fallet då urvalet till viss del har gjorts utifrån propositionernas innehåll. Vidare är det viktigt att ta ställning till om det utifrån studiens resultat går att säga något om hur det förhåller sig utanför den specifika undersökningskontexten? I den här studien kanske resultaten exempelvis skulle kunna säga något om svenska regeringars användning av PISA i utbildningspolitiken generellt eller om politikers användning av PISA internationellt. Eventuella generaliseringar kan alltså ske på olika abstraktionsnivåer och möjligheten att generalisera i sådana här studier beror på hur det fall som undersöks förhåller sig till tänkbara populationer.
Regeringars referenser till PISA i svenska utbildningspolitiska propositioner kan tänkas skilja sig från politikers referenser till PISA i allmänhet på flera punkter. Först och främst kan referenser tänkas vara av en annan karaktär i mer öppna sammanhang, så som debatter.
Vidare kan det finnas skillnader mellan regeringar och andra politiker. Regeringar kommer troligtvis, tack vare rollen som exekutiv, att granskas hårdare än andra politiker samt behöva förhålla sig till ansvarsutkrävande i större utsträckning. Slutligen kan det finnas skillnader mellan svenska politiker och politiker i andra länder när det gäller faktorer så som politiska traditioner och förvaltningens organisation.
Möjligheten att generalisera studiens resultat utanför den specifika kontexten kan alltså
ifrågasättas. Den här studien använder sig av ett mer kvalitativt tillvägagångssätt där ett fall av politikers kunskapsanvändning studeras ingående. Många kritiserar möjligheten att över huvud taget generalisera vid sådana studier (Bryman, 2011, s.369). Denna undersöknings bidrag är att beskriva hur kunskapsanvändningen av en viss sorts kunskap (PISA) ser ut i ett
7
urval av svenska utbildningspolitiska propositioner, alltså i en specifik kontext. Som tidigare nämnts visar flera forskare på behovet av djupgående analyser av hur PISA används i olika kontexter för att komplettera forskningen kring PISA-användning (Engel, 2015, s.100; Pons, 2011, s.547). Genom att studera hur PISA används i ett specifikt fall kan nya insikter om relevanta aspekter uppstå. Resultaten från den här studien kan tillsammans med fallstudier från andra kontexter bidra till förståelsen om PISA:s roll i politiken. Denna studie fokuserar alltså på andra mål än generaliserbarhet.
3 Teoretisk utgångspunkt
I följande del presenteras tidigare forskning och det teoretiska utgångsläget för studien. Några allmänna trender inom utbildningspolitiken, forskning kring PISA, en beskrivning av PISA samt information gällande Sveriges deltagande diskuteras.
3.1 Evidensbaserad politik, jämförelser och mjuk makt
Som nämndes i inledningen finns det en trend mot en mer evidensbaserad politik.
Evidensbaserad politik handlar i korta drag om politik som baseras på objektiv kunskap.
Erfarenhet såväl som forskning ska inkluderas i policyprocessen för att finna bättre lösningar (Knill & Tosun, 2012, s.194–195). En central aspekt är därför kunskapsproduktion eller snarare produktionen av de bevis som ska ligga till grund för politiken. Frågan om vad som utgör tillfredsställande bevis är dock omdebatterad och uppfattningar förändras med tiden (Badie, Berg-Schlosser, & Morlino, 2011, s.860). Som uppmärksammades under avsnitt 1 så räcker det inte längre med ett nationellt fokus för att försvara den politik som förs. Det krävs även bevis för att politiken håller internationellt.
I linje med denna utveckling har det växt fram en forskningsgren kallad ”Comparative Education” (jämförande utbildning, min översättning). Denna gren karaktäriseras av att vara resultatinriktad. Fokus ligger på att utveckla en optimal utbildningspolitik som politiker världen över ska (vilja) implementera. Den ska vara ideologiskt neutral, såväl som
vetenskaplig och objektiv (Morris, 2015, s.470-471). Det görs alltså en direkt koppling mellan vetenskap och objektivitet. Vetenskap blir sanning genom att den är fri från fördomar (Gorur, 2011, s.76). Ytterligare en utveckling som har observerats av forskare är hur en ökad
konkurrens inom den globala ekonomin förändrat synen på utbildningens roll i samhället. Ett utbildningssystem av hög kvalitet ses som avgörande för ett lands konkurrenskraft (Teodoro
8
& Estrela, 2010, s.626, Sahlberg & Oldroyd, 2010, s.284). PISA och andra internationella mätningar passar bra in i denna mer övergripande trend. Genom att granska och jämföra länder bidrar undersökningen till transparens och kunskap om vad som fungerar och ger önskvärda resultat (Meyer & Benavot, 2013, s.10). Ofta används PISA:s “vetenskapliga natur” (min översättning) som ett argument till varför PISA-mätningarna utgör ett legitimt mått på utbildningssystems prestationer (Rautalin & Alasuutari, 2009, s.546). PISA är en del i en ambition att genom statistiska metoder skapa säkerhet (Gorur, 2011, s.76).
Huruvida länder väljer att ta hänsyn till PISA:s resultat eller inte är dock frivilligt. OECD besitter inga möjligheter att tvinga länder till förändring. Det handlar istället om mjukt makt (Sellar & Lingard, 2014, s.918). Genom undersökningar så som PISA skapas ett
kunskapsunderlag från vilket OECD kan identifiera problem såväl som lösningar och på så sätt kan organisationen vara en aktör vid flera olika stadier i policyprocessen (Sellar &
Lingard, 2014, s.929). Detta speciellt då organisationen har fått en sorts expertposition (Rautalin & Alasuutari, 2009, s.540). Sammanfattningsvis finns det en efterfrågan världen över efter den typ av kunskapsunderlag som OECD producerar och på så sätt kan
organisationen utöva inflytande (Sellar & Lingard, 2014, s.918–919).
3.2 PISA
För att kunna undersöka referenser till PISA krävs en förståelse av vad undersökningen är och vad den försöker mäta.
3.2.1 Vad är PISA
PISA genomförs vart tredje år på ett urval av nationers 15-åringar. Den första PISA- undersökningen gjordes år 2000. Inledningsvis genomfördes undersökningen på
medlemsländer i OECD, men med tiden har dess omfattning ökat. Antalet deltagande länder har stigit från 43 stycken år 2000 till 72 stycken år 2015. Resultaten från en PISA-
undersökning presenteras ungefär ett och ett halvt år efter att den genomförts (OECD, u.å.-a, u.å.-c). Målet med PISA är att få en bild av vilka kunskaper och färdigheter eleverna i olika länder besitter. De ämnen som undersöks är matematik, läsförståelse och naturvetenskap.
Varje undersökning har olika huvudfokus och det skiftar mellan de tre ämnena (Skolverket, u.å.).
9
För att förstå vad PISA försöker mäta krävs en förståelse av begreppet ”literacy” (läs- och skrivkunnighet). Läs- och skrivkunnighet så som PISA använder det handlar om i vilken utsträckning elever kan tillämpa de kunskaper och färdigheter som de lärt sig. Elever ska kunna ta sig an problem i olika situationer och använda det de lärt sig för att resonera kring lösningar (OECD, 2004, s.23). Kopplingen till verkliga situationer och problem betonas. Vad som undersöks i PISA är inte baserat på nationella läroplaner utan på kunskaper och
färdigheter som anses universellt viktiga. OECD:s ambition är att ge politiker ett
kunskapsunderlag genom vilket de kritiskt kan granska landets utbildningssystem. Genom att placera det nationella utbildningssystemet i en internationell kontext kan politiker upptäcka brister och ifrågasätta antaganden som tidigare tagits för givet (OECD, 2001, s.27).
3.2.2 Policyrekommendationer härledda ur PISA
Målet med PISA är dock inte endast att mäta framgång hos nationella utbildningssystem och ranka länder gentemot varandra. I samband med PISA-undersökningarna samlar OECD också in ett omfattande material gällande variabler som kan antas påverka elevers resultat. Utifrån detta kan organisationen ta fram faktorer som korrelerar på ett positivt sätt med elevers prestationer. Från studien härleds alltså olika policyrekommendationer (Bieber & Martens, 2011, s.101). Flera olika typer av reformer har föreslagits av OECD, exempelvis förespråkas en övergång till mer inkluderande system (OECD, 2004, s.266). Vidare framhålls vikten av återkoppling till elever och föräldrar liksom de positiva effekterna av att skolor informerar allmänheten om elevers resultat (OECD, 2007, s.276). Vad gäller granskning understryks fördelarna med externa prov och att ta fram nationella standards som kan fungera som riktlinjer (OECD, 2009, s.104). Höga lärarlöner och en hög status hos läraryrket är också relaterat till elevers prestationer och bör prioriteras över exempelvis små klasser (OECD, 2009, s.106). Slutligen förespråkas skolors självständighet, dock endast om det sker i kombination med ett effektivt ansvarsutkrävande (OECD, 2009, s.105) Utöver de policyrekommendationer som görs i samband med PISA-rapporterna så publiceras flera fördjupande rapporter samt landspecifika studier där OECD tar fram rekommendationer för specifika länder (OECD, u.å.-b).
3.3 PISA som policyinstrument
PISA är omdebatterat i media såväl som inom många forskningsfält, inte minst bland pedagoger och statsvetare. Många forskare menar att PISA spelar en framträdande roll inom
10
nationell utbildningspolitik (Engel, 2015; Lewis, 2014; Morgan, 2016; Teodoro & Estrela, 2010). Forskare presenterar dock lite olika uppfattningar gällande vilket inflytande PISA faktiskt har. En övergripande skiljelinje gäller huruvida resultaten i sig driver fram policyförändring eller om de används för att legitimera redan planerad politik. Pettersson (2010, s.260) framhåller hur politiker använder fakta selektivt för att skapa stöd för sin utbildningspolitiska vision. Exempelvis kan dåliga resultat används för att legitimera ett omfattande skifte i den förda utbildningspolitiken (Grek, 2009, s.25; Takayama, 2008, s.391).
Synen på PISA som ett instrument som politiker själva förfogar över är den mest
framträdande inom tidigare forskning kring ämnet. Det finns dock forskare som framhåller den mer “tvingande” funktionen hos PISA. PISA har blivit ett mått på kvalitet inom utbildningspolitiken (Engel, 2015, s.109) och OECD som organisation har fått en sorts
“expertstatus” (min översättning) (Rautalin & Alasuutari, 2009, s.541). Likaså har PISA befäst sin position inom den utbildningspolitiska diskursen och den som vill delta i debatten blir tvungen att förhålla sig till undersökningen och dess resultat (Rautalin & Alasuutari, 2009, s.552). Till följd av PISA har det också skapats en vilja hos de med sämre resultat att försöka härma framgångsrika länders utbildningssystem och på så sätt påverkar PISA nationell politik. Inom policyforskningen kallas denna utveckling för policyisomorfism (Wiseman, 2013, s.312). Ytterligare en kanal genom vilken PISA kan tänkas påverka utbildningspolitiken är att politiker prioriterar de ämnen och färdigheter som testas i PISA.
Skolan anpassas på så sätt till det som granskas. Inom policyforskningen är detta ett välkänt fenomen som går under namnet ”creative compliance” (kreativ anpassning, min översättning) (Power, 2000, s.115)
Det finns alltså olika teorier om hur PISA påverkar nationell politik. Forskare ställer sig också olika till huruvida detta är önskvärt eller inte. Från flera håll lyfts kritik gällande PISA:s validitet och reliabilitet (Meyer & Benavot, 2013, s.10). En problematik som betonas är att allt inte mäts (Gorur & Wu, 2015, s.655). Exempelvis kommer elevers prestationer påverkas av hur skolan prioriteras utanför den obligatoriska undervisningen, men det är inte en aspekt som inkluderas. Flera östasiatiska länder presterar högt i PISA-undersökningarna. I dessa länder deltar dock många elever också i undervisning utanför skolan, något som inte stämmer för alla länder som deltar i PISA. Alla faktorer som kan tänkas påverka elevers prestationer inkluderas alltså inte i PISA-diskussionen och därför måste den kausala länken mellan utbildningssystem och testresultat problematiseras (Gillis, Polesel, & Wu, 2016, s.134).
11
Det framförs också kritik gällande PISA-undersökningens negativa effekter. Användningen av jämförande prestationsmätningar bidrar till ett fokus på testande och mätande (Sellar &
Lingard, 2013, s.480) och ett ökat fokus på granskning påverkar förutsättningarna för
utbildningspolitiken (Meyer & Benavot, 2013, s.12). Exempelvis observeras en utveckling där länder i ambition att förbättra sin ranking standardiserar och smalnar av läroplaner vilket hämmar individuell anpassning och kreativitet (Sahlberg & Oldroyd, 2010, s.284). En viktig begränsning med PISA är att det som studien utvärderar måste vara mätbart. Det finns andra kunskaper och färdigheter som är minst lika viktiga, men som exkluderas då de är svårare att mäta (Grek, 2009, s.27). Det här är en del i en större kritik om att PISA inte är ett neutralt instrument. Beroende på vad som mäts så kommer bilden av ett framgångsrikt
utbildningssystem att förändras och PISA riskerar att bidra till en avsmalning av vad som definieras som utbildningspolitisk framgång (Engel & Rutkowski, 2014, s.769).
Forskning kring intern och extern granskning visar att det finns både fördelar och nackdelar.
Extern granskning, exempelvis i form av test, är ett viktigt inslag med hänsyn till transparens och ansvarsutkrävande. Då PISA möjliggör en internationell jämförelse kan medborgare också få en förståelse för hur landets utbildningssystem presterar ur ett bredare perspektiv.
Kamens (2013, s.135–136) framhåller hur olika test kan nyansera debatten genom att stimulera kunskapsutveckling hos politiker samt skapa förståelse för de avvägningar som finns inom utbildningspolitiken. Det finns alltså stora fördelar med en internationalisering där politiker försöker lära av varandra. Det måste dock ske på rätt sätt så att vinster i jämförbarhet och transparens inte sker på bekostnad av diversitet (Meyer & Benavot, 2013, s.21).
3.4 Användning av PISA i utbildningspolitiken internationellt
I föregående avsnitt presenterades hur forskare ser på PISA:s policypåverkan. I följande avsnitt konkretiseras detta genom att lyfta några empiriska exempel. Ett land som tydligt inkorporerat PISA i sina utbildningspolitiska ambitioner är Australien där det finns ett politiskt mål om att nå en topp fem placering i PISA-rankingen (Gorur & Wu, 2015, s.648–
649). I Portugal å andra sidan syns PISA:s närvaro genom flitiga referenser till PISA samt att undersökningen har använts för att legitimera olika reformer (Pons, 2011, s.541). Ytterligare ett land som diskuterats av flera forskare är Tyskland. Landet fick inledningsvis chockerande låga resultat i PISA-mätningar och det genomfördes därefter omfattande utbildningspolitiska reformer (Ertl, 2006). Exempelvis infördes system för att granska och utvärdera kvalitén i
12
olika skolor (Grek, 2009, s.30). Det finns också exempel på länder som inte påverkats i så stor utsträckning av PISA-mätningarna med medföljande resultat. Det kanske tydligaste exemplet är USA. Där har PISA inte alls fått genomslag trots låga resultat. Vissa förklarar det med att PISA-resultaten inte var någon chock. Det fanns redan en medvetenhet i landet om stora brister i utbildningssystemet och dessa diskuterades och försökte åtgärdas (Bieber & Martens, 2011, s.108–109).
3.5 PISA och Sverige
När det gäller Sveriges förhållande till PISA så har undersökningen fått stor uppmärksamhet i svenska media och framför allt har det rapporterats kring de sjunkande resultaten. Jakobsson (2013, s.16) framhåller också att referenser till PISA:s resultat används som argument för förändring inom utbildningspolitiken. Det exempel som lyfts är SOU 2008:109: En hållbar lärarutbildning. Denna bild bekräftas av andra forskare (Ringarp, 2016; Ringarp & Waldow, 2016). Ringarp (2016, s.457) visar hur det i olika SOU:er görs referenser till andra länders utbildningssystem såväl som OECD:s mätningar. Hon argumenterar för att Sverige har upplevt en ”PISA-chock” (min översättning) under 2000-talet (Ringarp, 2016, s.449). Sedan 2004 har därför den svenska skolans kvalitetsproblem fått mycket uppmärksamhet (Ringarp, 2016, s.454-456). Ringarp och Waldow (2016, s.1) belyser att det skett ett skifte inom svensk utbildningspolitik när det gäller vilka argument som används för att legitimera olika reformer.
En viktig tidpunkt är 2007, från och med då refereras det i allt större utsträckning till PISA i SOU:er. Det görs också fler jämförelser med andra länder, så som Finland och Kanada och Sveriges sjunkande resultat ses som en orsak till detta (Ringarp & Waldow, 2016, s.5–6).
PISA:s närvaro syns också i Skolverkets arbete. Från det att den första PISA-studien gjordes har Skolverket i samband med att PISA-resultaten publiceras gett ut en rapport helt dedikerad till PISA och den svenska prestationen (Skolverket, u.å.). Regeringen har också agerat på ett sätt som visar på en tilltro till OECD och PISA-projektet. 2015 publicerade OECD en rapport vilken sammanfattar organisationens utvärdering av den svenska skolan. I rapporten finns problembeskrivning såväl som lösningsförslag. Enligt OECD var det den svenska regeringen som själva, år 2014, bad om en sådan utvärdering (OECD, u.å.-d).
3.5.1 Sveriges resultat
Sverige har deltagit samtliga år som PISA genomförts och resultaten har försämrats kontinuerligt fram till PISA 2012 (Skolverket, 2013). I de första två studierna, 2000 och
13
2003, var svenska elevers prestationer signifikant högre än OECD-genomsnittet och detta inom samtliga testområden (Skolverket, 2001; Skolverket, 2004). I studien från år 2006 hade det skett en viss nedgång. Svenska elevers prestationer var fortfarande signifikant bättre i läsförståelse, men endast i linje med OECD-genomsnittet i matematik och naturvetenskap (Skolverket, 2007). 2009 hade läget försämrats ytterligare. Svenska elevers prestationer låg inte signifikant över OECD-genomsnittet i något av de tre testområdena. För första gången talades det också om en signifikant försämring av resultaten (Skolverket, 2010). Läget förbättrades inte i PISA 2012. Svenska elever presterade då sämre än OECD-genomsnittet inom alla tre testområden (Skolverket, 2013). Både OECD och Skolverket beskriver Sveriges försämring i resultat som den värsta i jämförelse med andra länder (OECD, u.å.-d; Skolverket, 2013). Den senaste studiens resultat presenterades alldeles nyligen och då hade dock svenska elevers prestationer förbättrats (Rosén, 2016, 26 december).
3.6 Sammanfattning
Ovan har den teoretiska utgångspunkten för studien presenterats. Först och främst har det inom politiken observerats en strävan mot en mer evidensbaserad politik där politiker söker legitimitet genom att hänvisa till vetenskaplighet och objektivitet. Det har också skett en utveckling där internationella mätningar används för att jämföra kvalitén på olika länders politik. PISA är en sådan mätning, men studien kritiserats från många håll. Tidigare forskning är också oense om vilka effekter som PISA-undersökningarna faktiskt får på nationell politik.
Det har genomförts flera empiriska studier gällande effekterna i olika länder och dessa ger en tudelad bild. Den här studiens bidrag till forskningen kring PISA är att på ett systematiskt sätt studera om och på vilket sätt svenska regeringar sedan år 2000 har refererat till PISA i
utbildningspolitiska propositioner.
3.6.1 Förväntningar
Utifrån den kritik som framförts mot PISA skulle det kunna finnas en viss försiktighet hos politiker när det gäller att inkludera PISA i politiken. Tidigare empirisk forskning visar dock hur PISA inkluderats i flera länders utbildningspolitik och det finns därför en förväntan att regeringar på något sätt kommer att förhålla sig till PISA i de propositioner som undersöks.
Troligtvis kommer PISA dock inte att ges samma utrymme hela tiden. Med utgångspunkt i Ringarp och Waldows (2016) forskning görs ett antagande att antalet referenser kommer att öka över tid. Tidigare forskning lyfter fram PISA:s legitimerande funktion och hur bristfälliga
14
resultat i en PISA-studie kan användas som ett argument för förändring. Utöver en sådan användning är det är dock svårt att förutsäga på vilket sätt det kommer att refereras till PISA.
4 Metod och genomförande
I detta avsnitt beskrivs studiens tillvägagångssätt. Metodval, begreppsoperationalisering, studiens material och det praktiska genomförandet kommer att presenteras. En kritisk diskussion gällande fördelar och nackdelar med olika val finns för samtliga aspekter.
4.1 Innehållsanalys
I den här studien har metoden innehållsanalys använts. Innehållsanalys är en variant av textanalys och en metod som används inom flera olika vetenskaper (Bergström & Boréus, 2000, s.46). Det är en användbar metod då målet är att systematiskt beskriva innehåll i material med fokus på ett specifikt tema, i det här fallet förekomsten av referenser till PISA i ett antal propositioner. Metoden går ut på att klassificera innehållet i materialet utifrån
kategorier, vilka beskrivs i avsnitt 4.3. Genom denna process kan innehållet struktureras och presenteras på ett sätt som är överblickbart för läsaren. Undersökningens syfte är till viss del också att jämföra dokument över tid och då är innehållsanalys en lämplig metod (Bergström
& Boréus, 2000, s.46).
Enligt Bergström och Boréus (2000, s.45) kan innehållsanalys vara både kvantitativ och kvalitativ. I litteraturen kring innehållsanalys verkar det råda viss oenighet kring var gränsen mellan kvalitativ och kvantitativ innehållsanalys går. Bergström och Boréus (2000, s.45) menar att ett kvalitativt angreppssätt kan innehålla moment av kvantifiering men det skiljer sig från det kvantitativa på så sätt att det finns utrymme för tolkningar som är mer
komplicerade. Enligt deras definition har den här studien använt en kombination av
kvantitativ och kvalitativ innehållsanalys. Den är kvantitativ på så sätt att vissa referenser, de explicita, inte krävde tolkning utan endast en summering av antalet. Dock krävdes både tolkning och en mer noggrann läsning för att urskilja implicita referenser till PISA och därför kan metoden inte klassas som rent kvantitativ. Dessutom efterfrågas det kvalitativa
angreppssättets induktiva inslag och flexibilitet vad gäller utformning av kategorier (Schreier, 2012, s.25). Detta då önskan var att de teman av implicita referenser som inkluderades i undersökningen skulle vara relevanta med hänsyn till empirin.
15
4.2 Styrkor och svagheter med metoden
Med innehållsanalys, precis som alla andra metoder, finns det fördelar såväl som nackdelar.
Enligt Bergström och Boréus (2000, s.78–84) måste en forskare fråga sig om allt verkligen är
”meningsfullt att kvantifiera”. Kritiken gällande relevansen i att räkna förekomsten av referenser är viktig att förhålla sig till. Innehållsanalysen kan inte ge någon förklaring till varför PISA omnämns eller vad det får för effekter. Dock har detta tillvägagångssätt ansetts värdefullt för att bidra till forskningen om i vilken utsträckning och på vilket sätt PISA används. Genom innehållsanalys kan relevanta aspekter synliggöras. Likväl är en systematisk och noggrann beskrivning en nödvändighet för att kunna gå vidare till förklarande ansatser (Teorell & Svensson, 2007, s.23).
I den här studien användes, som tidigare beskrivits, en kombination av kvantitativ och kvalitativ innehållsanalys och det finns stora skillnader mellan angreppssätteten vad gäller styrkor och svagheter. Enligt Schreier (2012, s.27) betonas inte objektivitet och reliabilitet i samma utsträckning inom kvalitativ analys som det görs inom kvantitativ analys. Fokus ligger istället på undersökningens validitet. Validitet handlar om att faktiskt studera det som
forskaren säger sig vilja studera. Om syftet är att studera referenser till PISA så måste de indikatorer som valts ut för att symbolisera PISA-referenser stämma överens med
verkligheten. Därför är det positivt att studien använt sig av ett mer flexibelt angreppssätt där de teman av referenser till PISA som inkluderats i undersökningen anpassats efter empirin. På så sätt kunde alla relevanta passager i propositionerna fångas upp vilket höjer undersökningen validitet (Schreier, 2012, s.7). Likaså inkluderades i den här studien implicita referenser till PISA trots att de krävde tolkning. Ett upplägg där endast omnämningar av ordet PISA räknats hade förvisso förbättrat reliabiliteten, men det hade samtidigt inneburit att många referenser förbisetts vilket hade påverkat validiteten negativt (Bryder, 1985, s.42–44).
I studien prioriterades alltså validiteten, men det innebär inte att kriteriet om reliabilitet helt kunde förbises. Schreier (2012, s.5–6) framhåller att kvalitativ innehållsanalys kan vara systematisk om den genomförs på rätt sätt. Många åtgärder för att förbättra reliabiliteten kan vidtas så länge som forskaren är medveten om tänkbara problemområden. Först och främst är tolkningsinslaget i den här studien problematiskt då tolkningar kan skilja sig mellan individer såväl som tidpunkter (Bergström & Boréus, 2000, s.53). I den här studien har därför mycket fokus lagts på att utforma en tydlig operationalisering av referenser till PISA. Genom att använda sig av ett precist analysverktyg med tydliga instruktioner för hur materialet ska
16
analyseras kan studiens reliabilitet och replikerbarhet förbättras. Tydlighet ökar nämligen chansen för en likvärdig tolkning, både av olika forskare och mellan de olika texter som behandlas (Bryder, 1985, s.39). Tolkningsinslaget gör också att det med hänsyn till
intersubjektiviteten blir viktigt att forskningsprocessen såväl som motiveringar till tolkningar dokumenteras noggrant. Vidare bör referenser som kräver alltför krångliga eller osäkra bedömningar uteslutas. I denna studie har samtliga av dessa åtgärder vidtagits.
4.3 Definition och operationalisering
Ett centralt steg i innehållsanalys är, som tidigare nämnts, att precisera vad som ska fångas upp i materialet. I den här studien behövde det göras en konkretisering av vad som skulle ses som referenser till PISA samt hur dessa referenser kunde variera.
4.3.1 Referenser till PISA
Först definierades och operationaliserades referenser till PISA. Efter en systematisk genomgång av tidigare forskning gick det inte att finna en lämplig definition och därför preciserades en egen sådan. Genom att läsa flera vetenskapliga texter om PISA samt OECD:s egna beskrivningar kunde olika relevanta aspekter av PISA urskiljas. Under tidigare avsnitt har resultatet från litteraturgenomgången presenterats och det är alltså detta som låg till grund för den teoretiska definitionen och operationaliseringen.
Teoretisk definition: Referenser till PISA kan vara både implicita och explicita. Explicita referenser är när olika former av ordet PISA används. Till implicita referenser räknas omnämningar av det som mäts i PISA, samt de värden som kan kopplas till PISA.
Den teoretiska definitionen måste sedan operationaliseras på ett sätt som gör referenser till PISA mätbart. I den här undersökningen gjordes operationaliseringen i två steg. Först preciserades explicita referenser samt generella teman för vilka värden och politiska fokus som är centrala i förhållande till PISA (implicita referenser). Till explicita referenser räknas användandet av ordet PISA i alla olika böjningar med mera (PISA*). Självfallet räknas både förkortningen och när namnet skrivs ut i sin helhet. Implicita referenser ansågs i den första operationaliseringen bestå av fem olika teman: fokus på vetenskaplighet och mätbarhet, fokus på internationella aspekter och jämförelser, fokus på jämlikhet och likvärdighet, fokus på PISA:s undersökningsområden och fokus på ansvarsutkrävande och kvalitetsgaranti.
17
Som nämnts tidigare användes i den här studien ett till viss del induktivt angreppssätt.
Definitionen av referenser till PISA skulle alltså vara möjlig att revidera med hänsyn till empirin. På så sätt gick det att undvika att centrala referenser förbisågs. För att försäkra sig om att den operationella definitionen var relevant utifrån empirin lästes proposition
2006/07:86 och proposition 2015/16:149. En tidig och en sen proposition valdes ut för att fånga upp eventuella förändringar över tid. Utifrån innehållet i dessa ansågs den första operationaliseringen problematisk. Det behövdes läggas till ett tema som handlade om kunskapsmätning och kunskapsutvärdering, men där syftet med detta inte preciseras.
Nästa steg i operationalisering var att skapa ett analysverktyg, även kallat kodningsschema. I det skedde ytterligare en precisering genom att varje tema beskrevs och exempel på relevanta ord preciserades. Enligt Schreier (2012, s.147) är det viktigt att först testa kodningsschemat på en liten del av materialet för att kunna justera eventuella oklarheter. Kodningsschemat
testades därför på proposition 2006/07:86 och proposition 2015/16:149. Under testkodningen visade det sig att temat om jämlikhet och likvärdighet behövde exkluderas. Detta tema kunde förvisso motiveras utifrån teorin, men visade sig svårt att använda på empirin. Det är ett brett tema och i propositionerna fanns flera passager som stämde överens med det, men som ansågs ha en alltför långsökt koppling till PISA. Att betona vikten av jämlikhet och likvärdighet är en del av det politiska språket i Sverige och har varit det både innan och efter PISA. Om ett tema ger upphov till en systematisk felkodning riskeras studiens validitet och därför exkluderades temat. I den slutgiltiga operationaliseringen finns därför 5 typer av implicita referenser till PISA. Uppfattningen är att när något av dessa teman berörs kan det i förlängningen räknas som en referens till PISA. Nedan listas dessa tillsammans med en mer utförlig beskrivning.
Exempel på referenser som hör till varje tema inkluderas också.
1. Fokus på kunskapsmätning och kunskapsutvärdering- används när åtgärder för att utvärdera att elever når målen och vikten av att mäta elevers kunskaper och
måluppfyllelse omnämns utan att en anledning till detta anges. Exempel: ”Det behövs fler och tidigare avstämningstillfällen med tillhörande ämnesprov…”
(Prop.2006/07:86, s.5)
2. Fokus på vetenskaplighet och mätbarhet- används när en vetenskapligt baserad utbildningspolitik och olika inslag av mätbarhet omnämns. Denna kategori används också när forskning lyfts fram i propositionen. Exempel: ”… internationell forskning som stöder sambandet mellan utökad undervisningstid och kunskapsresultat.” (Prop.
2015/16: 149, s.11)
18
3. Fokus på internationella aspekter och jämförelser- används när den internationella aspekten såväl som Sveriges konkurrenskraft internationellt omnämns och det görs jämförelser mellan Sverige och andra länder. Det handlar också om referenser till högpresterande länder eller länder som förbättrat sina resultat i PISA. Exempel:
”Bilden av svenska elevers försämrade kunskaper i matematik bekräftas i flera internationella utvärderingar.” (Prop. 2015/16: 149, s.9)
4. Fokus på PISA:s undersökningsområden- används när de ämnen, kunskaper och färdigheter som studeras i PISA omnämns. Exempel: ”Utökad undervisningstid är en av de åtgärder som kan höja svenska elevers kunskaper i matematik…” (Prop.
2015/16: 149, s.11)
5. Fokus på ansvarsutkrävande och kvalitetsgaranti- används när införandet av åtgärder för att kunna kontrollera såväl som utvärdera skolors och skolsystems prestationer omnämns. I denna kategori inkluderas också omnämningar av vikten av information för att möjliggöra ansvarsutkrävande. Exempel: ”Skolinspektionen, med tätare och skarpare inspektioner, kommer att bidra till att uppföljningen på såväl huvudmannanivå som skolnivå utvecklas och stärks” (Prop. 2008/09: 87, s.19)
I appendix 1 finns det två kodningsscheman, både en ursprunglig och en reviderad version (tabell 4, 5, 6 och 7). Under testkodningen utformades också instruktioner för hur kodningen skulle ske (kodningsmanual). Kodningsmanualen finns också i appendix 1.
4.3.2 Hur referenser kan variera
Målet med studien är också att belysa hur det refereras till PISA. Det finns flera sätt på vilka referenserna kan variera. I detta fall var det dock svårare att utifrån tidigare forskning
precisera relevanta aspekter och därför utnyttjades den kvalitativa innehållsanalysens
möjlighet till ett induktivt angreppssätt. Utifrån empirin definierades vilka aspekter (variabler) som var intressanta att ta hänsyn till. Därefter konkretiserades dessa genom att precisera hur variablerna kan variera (variabelvärden). Tillvägagångssättet diskuteras mer utförligt under avsnitt 4.5. De variabler som inkluderades i undersökningen var funktion och centralitet.
Funktion handlar om med vilket syfte en referens inkluderas i propositionen, det vill säga vad referensen fyller för funktion. Som nämnts under avsnitt 3.3 så har forskare observerat hur PISA används som ett argument för förändring. PISA kan också kopplas till ett konkret utbildningspolitiskt mål, Australiens ambition att nå en topp fem placering är ett exempel på
19
det. Variabeln funktion har i denna undersökning fem tänkbara variabelvärden. En PISA- referens kan vara ett argument, en beskrivning, ett förslag, ett mål eller ett påstående.
Variabeln centralitet handlar om vilket utrymme referensen ges i propositionen och tänkbara variabelvärden är ja eller nej, antingen är en referens central i propositionen eller så är den inte det. För att en referens ska ses som central ska den antingen tillhöra propositionens huvudsakliga förslag, ha ett eget stycke eller vara en rubrik. Kodningsschema (tabell 8) och kodningsmanual återfinns i appendix 1.
4.3.3 Diskussion gällande operationaliseringen
I den här undersökningen var operationaliseringen av implicita referenser en utmaning. Det har varit omöjligt att helt gardera sig mot felkodning på grund av tolkningssvårigheter. Det finns också en risk att de teman som inkluderats fångat upp felaktiga referenser. Naturligtvis kan det vara så att svenska politiker diskuterar vikten av exempelvis betyg eller
matematikundervisning utan att PISA är orsaken och kanske diskuterades dessa idéer i lika stor utsträckning innan PISA-undersökningarna kom. Det här är en svaghet i denna
undersökning. Alternativet hade varit att endast inkludera explicita referenser. Nackdelarna med att exkludera implicita referenser har dock, som tidigare nämnts, ansetts vara större och därför hat ett bredare angreppssätt använts. Med detta sagt kunde inte alla tänkbara teman av implicita referenser inkluderas. När ett tema, så som det om jämlikhet och likvärdighet, visar sig ge upphov till systematisk felkodning bör det uteslutas.
Likväl finns det många andra teman som också skulle kunna ses som referenser till PISA, men som inte inkluderats i den här studien. Två exempel på teman som övervägdes var fokus på lärares kompetens och fokus på skolors självständighet. Dessa kan ses som referenser till PISA eftersom de är två centrala policyrekommendationer som OECD härlett från PISA.
Referenser till OECD:s policyreko mmendationer är en viktig del för att få en fullständig förståelse av vilket inflytande organisationens kunskapsproduktion får över nationell utbildningspolitik. Det ryms dock inte inom ramen för den här studien eftersom OECD:s policyrekommendationer förändrats över tid och alltså skulle det krävas annan typ av analys med flera olika kodningsscheman för att undersöka referenser till dessa. Den här
undersökningen fokuserar istället på själva PISA-undersökningen. De fem teman som slutgiltigt inkluderats i implicita referenser till PISA handlar antingen om vad PISA som instrument står för och kan användas till (1, 2, 3 och 5) eller vad PISA faktiskt mäter (4).
20
Enligt Schreier (2012, s.71–77) kan kvalitén på ett kodningsschema och dess kategorier bestämmas utifrån kriterierna; endimensionalitet, ömsesidigt uteslutande, uttömmande och relevans. Vid operationaliseringen har hänsyn tagits till dessa kriterier. Genom att pröva operationaliseringen på en del av materialet var det möjligt att avgöra om någon kategori var överflödig (relevans) samt försäkra sig om att ingen central kategori förbisetts (uttömmande).
När det gäller ömsesidigt uteslutande så finns det en teoretisk risk att teman överlappar varandra. Exempelvis kan det vara problematiskt att skilja fokus på kunskapsmätning och kunskapsutvärdering (1) från fokus på vetenskaplighet och mätbarhet (2). Dessa farhågor bekräftades utifrån empirin och därför var ambitionen att skapa en så tydlig kodningsmanual som möjligt för att ge vägledning i hur teman ska hållas isär rent generellt såväl som i specifika fall. Överlag ligger skillnaden mellan dessa teman i om syftet till varför något ska mätas preciseras och vad det i så fall är. Tema ett används när vikten av kunskapsmätning diskuteras men utan att någon specifik anledning till varför det är viktigt preciseras. Tema två å andra sidan används när mätning framställs som viktigt för att det exempelvis bidrar med vetenskapliga belägg eller liknande.
När det gäller endimensionalitet så var den ursprungliga idén att inkludera både referenser och hur det refereras i samma kodningsschema, men med hänsyn till detta kriterium användes istället två separata kodningsscheman. I kodningschemat för hur en referens kan variera har endast två aspekter inkluderats. Självfallet finns andra tänkbara variabler så som hur lång en referens är eller var i propositionen referensen nämns. Det är därför tveksamt om Schreiers uttömmandekriterium är uppfyllt. Dock ansågs dessa två variabler vara de mest relevanta utifrån empirin och att inkludera mindre relevanta variabler skulle endast bidra till otydlighet på så sätt att fokus flyttades från det om är mest relevant. Slutligen är det med hänsyn till kriteriet om ömsesidigt uteslutande problematiskt att variabelvärdena för funktionsvariabeln kan vara svåra att skilja åt. Exempelvis kan vissa referenser ses som både ett argument och en beskrivning. Detta hanterades genom att i kodningsmanualen precisera strikta kriterier för vad som kan ses som ett argument.
4.4 Material
Det material som studien ämnat undersöka är, som tidigare nämnts, utbildningspolitiska propositioner efter år 2000. Det är dock inte samtliga propositioner efter år 2000. Ett
strategiskt urval har gjorts med hänsyn till propositionernas innehåll. Först och främst valdes endast propositioner som behandlar grundskolan ut. PISA-studierna genomförs på 15-åringar
21
och blir därmed en utvärdering av skolan innan dess. Naturligtvis kan förändringar inom gymnasieskolan också kopplas till PISA, exempelvis för att korrigera bristande kunskaper hos elever som upptäckts genom PISA. Dock kunde inte samtliga propositioner studeras inom ramen för den här undersökningen och då ett urval var nödvändigt ansågs propositioner gällande grundskolan vara mest relevanta. Propositioner gällande förskolan har inte heller inkluderats eftersom fokus är på obligatorisk utbildning.
Ytterligare ett urvalskriterium var att propositionen skulle behandla innehållet i
undervisningen eller generella förändringar för grundskolan i helhet. Därför inkluderades inte propositioner som uteslutande handlade om en viss sorts skola exempelvis friskolor. Vidare uteslöts propositioner som fokuserade på en viss elevgrupp, exempelvis nyanlända elever. Ett förtydligande som behöver göras är att propositioner gällande lärarutbildningen inte har inkluderats. Förvisso är detta en mycket central del av utbildningspolitiken och något som belyses i OECD:s policyrekommendationer. Dock har denna aspekt en mer indirekt koppling till elevers utbildning och hur den ska utformas. Dessutom är fokus i den här undersökningen inte på OECD:s policyrekommendationer utan på vad PISA som undersökning står för och faktiskt undersöker.
Alla utbildningspolitiska propositioner efter 1971 finns på riksdagens hemsida i PDF-form (Riksdagsförvaltningen, u.å.-a). Under urvalet gicks samtliga utbildningspolitiska
propositioner som kommit efter 2000 igenom. I många fall räckte det att läsa rubriken eller propositionens inledning för att förstå att propositionen inte var aktuell. Några propositioner krävde dock en noggrannare läsning för att kunna dra slutsatsen att de inte borde inkluderas. I proposition 2010/11:94 och 2013/14:148 föreslår regeringen att några ändringar och
förtydliganden bör göras i skollagen. Dessa propositioner borde inkluderas då skollagen är ett så centralt dokument i utbildningspolitiken. De aspekter som behandlas är dock mer tekniska eller rör endast en begränsad grupp elever och därför inkluderades inte propositionerna.
Tidsmässigt sträcker sig de utvalda propositionerna från 2007 till 2016 då de propositioner som kom mellan 2000 och 2006 inte uppfyllde urvalskriterierna.
Vidare har propositionerna inte analyserats i sin helhet. Det skulle vara alltför tidskrävande för att vara genomförbart inom ramen för den här undersökningen. På grund av antagandet att referenser till PISA kommer att förändras över tid har möjligheten att analysera flera
propositioner prioriterats. Urvalet av relevanta avsnitt gjordes styckevis med några generella
22
kriterier för vad som ansågs intressant. I alla propositioner finns inlagt både ursprunglig och förändrad lagtext. I propositionernas appendix finns också sammanfattningar av relevanta dokument. Vidare behandlar stora delar av en proposition rent tekniska aspekter av
genomförandet och olika remissinstansers uttalanden. Dessa delar uteslöts ur analysen då de inte ansågs vara relevanta i förhållande till frågeställningen. De delar som analyserats är främst de som behandlar anledningarna till förslaget samt vad som faktiskt föreslås. Samtliga propositioner ser olika ut och det finns ingen enhetlig rubriksättning över tid. I tabell 9 i appendix 2 listas därför de delar i varje proposition som inkluderats i analysen.
4.4.1 Beskrivning av inkluderade propositioner
De propositioner som inkluderats i studien behandlar lite olika teman. I den första
propositionen presenteras regeringens önskan att införa tidigare och fler avstämningstillfällen samt tydligare information i grundskolan (Prop. 2006/07:86). Den andra propositionen lägger fram ett förslag om en ny betygsskala som ska möjliggöra en mer precis bedömning av elever (Prop. 2008/09:66). Nästa proposition som uppfyllt urvalskriterierna föreslår nya riktlinjer för utformning av läroplaner med målet att förtydliga mål och kunskapskrav (Prop. 2008/09:87). I den fjärde propositionen lägger regeringen fram ett förslag till en ny skollag (Prop.
2009/10:165). I nästa proposition föreslås att betyg ska införas från årskurs 6 i grundskolan (Prop. 2009/10:219) Två av propositionerna föreslår en utökning av undervisningstiden i matematik (Prop. 2012/13:64 & Prop. 2015/16:149). I den sjunde propositionen vill regeringen minska dokumentationskraven för att frigöra mer undervisningstid (Prop.
2012/13:195). Vad gäller proposition 2009/10:165 så skiljer den sig från de övriga
propositionerna. Först och främst är den betydligt längre. Det är också en innehålls mässigt bred proposition som behandlar mycket olika aspekter. Det gör att den innehåller flera delar som inte är relevanta med hänsyn till de innehållsmässiga avgränsningar som gjorts i den här studien och därför har endast en liten del av propositionen analyserats.
4.4.2 Diskussion gällande val av material
Det finns ett flertal eventuella problemområden som måste belysas utifrån val av material och urval. Möjligheten att observera mönster över tid kan exempelvis ifrågasättas. De
propositioner som valts ut behandlar olika aspekter av utbildningspolitiken. Utifrån vilket tema som behandlas i en proposition så kommer troligtvis olika aspekter av PISA att betonas.
Exempelvis faller det sig naturligt att det i en proposition om att öka undervisningstiden i
23
matematik till stor del görs referenser till PISA:s undersökningsområden. Vid analys av mönster över tid måste denna aspekt vägas in. Det är också viktigt att i en jämförelse av antalet referenser över tid ta hänsyn till att propositionerna är olika långa. Därför viktades antalet referenser mot antal sidor i propositionerna. Dock inkluderades inte avsnitten förslag till riksdagsbeslut, lagtext samt författningskommentarer och bilagor i antal sidor eftersom de inte analyserats för någon av propositionerna. Ytterligare en problematik är risken att
relevanta propositioner såväl som stycken exkluderats. För att minska den risken gjordes urvalet med stor noggrannhet och materialet gicks igenom flera gånger. En viktig fördel med urvalet är däremot att det innehåller propositioner från båda blocken vilket bidrog till en viss bredd.
Avslutningsvis bör användningen av propositioner som material i en studie diskuteras. Enligt Teorell och Svensson (2007, s.104–106) kan en källas kvalitet bedömas utifrån 5 kriterier:
äkthet, samtidighet, centralitet, tendens och oberoende. De propositioner som inkluderats i undersökningen hämtades från riksdagens egen hemsida och är svenska officiella dokument.
Kriteriet om äkthet anses därför vara uppfyllt. Vidare är propositioner ett centralt dokument för att studera regeringars kunskapsanvändning vilket talar för att centralitetskriteriet är uppfyllt. De övriga tre kriterierna anses vara mindre relevanta. I undersökningen är det själva dokumenten som ska analyseras. De används inte med syfte att bekräfta eller beskriva en händelse utan målet är att undersöka vad som faktiskt står i propositionerna. Egentligen är det därför viktigast att de propositioner som analyseras är originalversioner och att de är äkta, vilket bedöms är fallet.
4.5 Praktiskt genomförande
Nedan följer en beskrivning av studiens genomförande. Inledningsvis lästes tidigare forskning kring PISA för att få en uppfattning om vad som redan studerats samt vad PISA handlar om ur ett bredare perspektiv. Mycket av materialet samlades in från bibliotekets sökmotor, men också från artikeldatabaserna PAIS International och SwePub. Material har även hämtats från OECD:s och Skolverkets egna hemsidor. Endast artiklar från granskade tidskrifter har
använts. För att få en nyanserad bild av PISA och forskningen kring PISA har flera olika typer av källor inkluderats. Målet har varit att genomföra en systematisk litteraturgenomgång fri från eventuella fördomar och personliga uppfattning av PISA. Exempelvis lästes forskning som framhåller både fördelar och nackdelar med PISA samt empiriska studier från flera olika
24
länder. Påståenden har också bekräftats genom att se om flera forskare instämmer. Slutligen har sekundärkällor undvikits i största möjliga mån då det finns en risk att det skett en feltolkning av primärkällan (Bryman, 2011, s.120).
Utifrån tidigare studier och annan information gjordes en konkretisering av referenser till PISA. Operationaliseringens relevans testades sedan med hänsyn till empirin. Detta beskrivs mer detaljerat under avsnitt 4.3. Informationssökningen syftade också till att få instruktioner för hur ett fungerande kodningsschema och kodningsmanual bör se ut. Likaså tillvaratogs råd för hur ett kodningsschema kan testas. I linje med dessa genomfördes en dubbelkodning, det vill säga kodning av samma material vid två olika tillfällen, för att se om kodningen var konsekvent. Dessutom testades kodningsschemat genom att låta en utomstående pröva det.
Det kunde då konstateras att kodningsschemat efter några små förändringar fungerade. När kodningsschema och kodningsmanual ansågs tillfredsställande var nästa steg att koda
samtliga propositioner. All kodning gjordes löpande i marginalen på propositionerna. Därefter sammanställdes resultaten i tabell 10 i appendix 3. Osäkra referenser fördes in i tabell 11 och gicks sedan igenom för att se om någon borde inkluderas. Detta dels för att bedömningen av dem skulle bli så likvärdig som möjligt och dels för att se om det bland dessa fanns ett tydligt tema som förbisetts. Det konstaterades då att så inte var fallet. Några intressanta observationer gjordes dock och dessa diskuteras i analysen. När explicita referenser till andra internationella kunskapsmätningar uppmärksammades i propositionerna sparades dessa i tabell 12.
När det gäller aspekten hur referenser kan variera utnyttjades, som tidigare nämnts, den kvalitativa innehållsanalysens möjlighet till ett induktivt angreppssätt. Det är problematiskt att i en studie med manuell kodning lägga till aspekter som ska kodas under studiens gång
eftersom allt material då måste kodas om. Därför skedde kodningen i två steg. Först analyserades allt material gällande aspekten vad som diskuterades och relevanta referenser kodades och sammanställdes. När materialet genom denna process reducerats gick det att få en bättre överblick över empirin. Utifrån det nya materialet skapades ett kodningsschema för hur referenser varierar. Det skapades också en separat kodningsmanual. Samtliga
propositioner kodades sedan en andra gång, men utifrån kodningssche ma 2. Resultatet sammanställdes i tabell 10.
25
5 Analys
I detta avsnitt presenteras studiens resultat i form av tre tabeller och ett diagram. Resultaten analyseras också utifrån studiens fyra undersökningsfrågor:
1. Hur många implicita och explicita referenser till PISA finns det i propositionerna?
2. Vilka teman rör sig de implicita referenserna inom och finns det någon skillnad mellan dem vad gäller omfattning?
3. Har referenserna en central position samt vilken funktion fyller referenserna?
4. Går det att urskilja mönster över tid?
5.1 Presentation av resultat och resultatdiskussion
5.1.1 Omfattning och typ av referens
Tabell 1: Sammanställning av antalet referenser:
Proposition Explicita referenser till PIS A
Implicita referenser
Summa
Kunskaps- mätning /utvärdering
Vetenskap- lighet/
mätbarhet
Internationella aspekter/
jämförelser
PIS A:s undersöknings- områden
Ansvars- utkrävande/
kvalitetsgaranti
S umma implicita referenser
Prop. 2006/07: 86 4 4 4
Prop. 2007/08: 66 3 1 2 6 6
Prop. 2008/09: 87 8 1 7 16 16
Prop. 2009/10: 165 1 2 3 2 16 23 24
Prop. 2009/10: 219 7 2 1 1 11 11
Prop. 2012/13: 64 1 3 3 15 21 22
Prop. 2012/13: 195 4 1 1 6 6
Prop. 2015/16: 149 10 3 6 16 25 35
Summa 12 28 10 15 32 27 112 124
Till att börja med går det att utifrån sammanställningen i tabell 1 konstatera att det refereras till PISA i de utbildningspolitiska propositioner som inkluderats i undersökningen (de exakta antalen går att utläsa i tabellen). Det finns implicita referenser i samtliga propositioner, men explicita referenser endast i tre utav åtta propositioner (Prop. 2009/10: 165, Prop. 2012/13: 64 och Prop. 2015/16: 149). Dessutom är explicita referenser den typ av referens som omnämns näst minst antal gånger. Det är alltså främst implicita referenser i propositionerna, vilket är
