Inledning
skolverket och skolinspektionen har en viktig roll i hur arbetet i skolans värld bedrivs. en av skolverkets uppgifter är att ta fram rekommendationer för olika arbetsmoment i lärarnas vardag, som att sätta betyg. bland skolinspektionens centrala uppgifter ingår att utvärdera hur arbetet i skolorna fungerar med avseende på nation- ella målsättningar för skolan. båda myndigheternas uppdrag är svårt eftersom skolans värld är komplex. ett sätt att hantera denna komplexitet har under senare år varit att söka stöd i metaanalyser och forskningsöversikter som sammanställer vetenskapligt grun- dade riktlinjer för vad som fungerar och inte fungerar i skolans arbete. Detta slags analyser och översikter har under senare år fått stort inflytande över skolverkets och skolinspektionens policy- orientring. Denna text anknyter till en gryende kritik av metaanaly- ser och forskningsöversikters betydelse i styrningen av skolan.
i synnerhet har John Hatties studie Visible Learning från 2009 om vilka faktorer som påverkar positivt eller negativt (eller inte alls) framgångsrikt lärande i skolor, vunnit uppmärksamhet i sve- rige.1 studien bygger på drygt 52 600 enskilda studier vilka ingår
i över 800 metastudier. Hans studie är inte en metastudie, det vill säga en studie som sammanställer data från olika studier, utan den är en sammanställning av metastudier, en meta-metastudie, eller megastudie om man så vill. resultatet har sammanställts i 138 faktorer som inbördes rangordnas med avseende på vilka effekter
1 Hattie, John Visible learning. A synthesis of over 800 meta-analyses relating to achieve ment, 2009, london: routledge.
de har på framgång i skolorna. De 138 faktorerna tematiseras i sex olika grupper: bidrag från eleven, hemmet, skolan, läraren, läroplaner (curriculum som är läroplan i smal bemärkelse) och undervisningsstrategier.
De svenska skolmyndigheterna har snabbt tagit till sig resul- taten. i en forskningsöversikt från skolinspektionen om vad som skapar framgång i undervisning sägs att slutsatserna grundas på ”framför allt John Hatties Visible learning (2009) tack vare sitt omfång och fokus på effekter”.2 likaså var skolverket snabbt med
att integrera Hatties bok i sin ofta citerade Vad påverkar resultaten i svensk grundskola (2009) och presenterar hans resultat tämligen okritiskt. lärarkårens största arbetsgivare, sveriges Kommuner och landsting (sKl), har givit ut en sammanfattning av Hatties bok, som inte är av det mer kritiska slaget, snarare är det fråga om ett förlängt abstract till boken.3 i denna myndighetsreception av
Hatties resultat förekommer försiktiga reservationer om att inte ta resultaten för bokstavligt och vi påminns om att studierna är hämtade från länder utanför sverige.4 vid närmare granskning
är det dock Hatties egna förmaningar att inte dra alltför långt- gående slutsatser som upprepas i de svenska myndighetstexterna. Det finns dock ett antal mer djupgående problem med hur meta- analyser och forskningsöversikter används i skolmyndigheter- nas myndighetsutövning. De oklarheter Hatties och en lång rad andra metaanalyser genererar har att göra med det grundläggande antagandet att deras studier kan säga något specifikt om de ting analyserna till syvende och sist adresserar, nämligen det faktiska arbetet i skolan med att få elever att lära sig olika saker.
en kritisk ansats riktar sig mot Hatties metod. ett axplock av denna kommer att redovisas längre fram i denna text. Här ska bara nämnas huvuddragen i den: genomgående är Hattie alltför okritisk när han väger samman olika metastudier. i en analys av
2 skolinspektionen Framgång i undervisning, 2010, s. 16.
3 sKl, Synligt lärande. Presentation av en studie om vad som påverkar elevers studieresultat, 2011.
4 skolverket Vad påverkar resultaten i svensk grundskola?, 2009, s. 161. Hattie tar inte hänsyn till så kallade modererande faktorer som elevers ålder och hem- förhållanden i relation till klasstorlekens (som i Hatties studie visar sig ha låg effekt) betydelse för resultaten. Mer om detta exempel längre ned i texten.
Hatties metod noterar ewald tehart att Hattie inte anger vilka kvalitativa krav han har ställt på de metaanalyser som han har tagit med i studien. normalt är detta något som metaanalytiker ägnar stor möda åt.5 eftersom Hattie till synes har blandat ihop
friska äpplen med ruttna dito och eventuellt också med päron, har hans studie i detta avseende ett trovärdighetsproblem, eller med teharts formulering: ”the sheer scale and amount of the empirical basis is impressive, but the quality of the different zones of this data base is very heterogeneous”.6 i sverige har Claes nil-
holm i en debattartikel i Pedagogiska Magasinet fört en snarlik argumentation. Hattie hävdar att problembaserat lärande har låg effekt.7 Detta grundar han på sju metastudier som i övervägande
grad baseras på högskolestudier. en av metaanalyserna i Hatties sammanställning av problembaserat lärande på högstadie- och gymnasienivå (i algebra) visar dock på goda resultat, påpekar nil- holm.8 Faktorer, som i dessa sammanhang ofta kallas modere-
rande faktorer, som skulle kunna vara väsentliga för att förklara låg effekt av en insats, som till exempel att problembaserat lärande inte har samma effekt i ett sammanhang (högskolestudier) men i ett annat har stor effekt (algebra på högstadiet) ignoreras av Hat- tie. om dessa modererande faktorer ignoreras och ett medelvärde räknas fram jämförs äpplen med päron. exemplet är signifikativt och mer än blott en randanmärkning.
syftet är att granska de kunskapsteoretiska premisserna för studier av det här slaget. Hatties undersökning är tacksam i det avseendet därför att den på grund av sitt omfång koncentrerar problemet med att kvantifiera komplexa sociala, psykologiska och kognitiva relationer. Mer specifikt kommer jag med utgångs- punkt i en professionsteoretisk och kunskapsteoretisk ansats för- söka visa på de grundläggande begränsningarna i Hatties studie. Förhoppningen är att denna kunskapsteoretiska kritik kan bidra
5 tehart, ewald ”Has John Hattie really found the holy grail of research on teaching? an extended review of visible learning” Journal of Curriculum Studies, 2011, 43:3, s. 429.
6 tehart, ewald ”Has John Hattie …” 2011, ibid. 7 Hattie, Visible learning, s. 210ff.
8 nilholm, Claes ”Det är dags att kritiskt granska John Hattie” Pedagogiska Magasinet, 2013, november 21.
med att synliggöra begränsningar i styrningen av skolan. argu- mentet här är inte att det handlar om att förfina metoderna för att på så vis komma närmare den praktik som forskningen vill bidra till att förbättra, utan att det helt enkelt inte låter sig göras med de metoderna oavsett hur förfinade de en dag blir.
Visible learning och styrningen av skolväsendet
sedan mitten av 1980-talet har de offentliga sektorerna i många västliga länder genomfört reformer som kräver utvärdering och dokumentation av effekterna av skattemedlens användning. ett viktigt led i denna utveckling har varit mål- och resultatstyr- ning som har siktet inställt på ökad effektivitet. Under 90- och 00-talen har en förändring i utbildningsdiskursen skett, bort från ett medborgarideal, där den grundläggande utbildningen ses som ett sätt att fostra politiska subjekt, till att handla om att skapa konkurrenskraftiga individer, som ska bidra till att stärka natio- nens konkurrenskraft på den globala arenan. På ett globalt plan kan tre huvudsakliga kännetecken i denna utveckling ut läsas, som också har satt tydliga avtryck i den svenska utbildnings politiken: en ökad standardisering av såväl kunskapsinnehåll som under- visningssätt, ökat fokus på basala kunskapsområden som läs- och skrivkunnighet samt matematik. standardiseringen och de angivna kunskapsområdena har dessutom, för det tredje, lett till en ökad utvärderingsaktivitet, som kommer till uttryck i de åter- kommande internationella kunskapsmätningarna, till exempel Pisa-utvärderingarna.9 Måluppfyllelse som leder till att skolan
presterar så att placeringen på den internationella rankingen blir bättre, har blivit en viktig framgångsfaktor.
inom ramen för dessa nya ideologiska strömningar har en
9 Grek, sotiria ”Governing by numbers: the Pisa ’effect’ in europe” Journal of Education Policy, 2009, 2v, (1). ozga, Jenny & lingard, bob ”Globalisation, education and politics” i lingard, bob & ozga, Jenny The Farmer Routledge Falmer reader in education policy and politics, 2007, london & new York: rout- ledge. sahlberg, Pasi ”education policies for raising student learning. the Fin- nish approach” Journal of Education Policy, 22:2, 147–171. För en sammanfatt- ning av dessa, se sjöberg, lena ”’same same, but different’. en genealogisk studie av den ’goda’ läraren, den ’goda’ eleven och den ’goda’ skolan i svenska lärarutbildningsreformer 1940–2008”, 2010, Educare, (1), s. 92.
specifik kunskapsform kommit att få stor betydelse för offentlig förvaltning: en benämning på den är evidens. ordet förekom- mer i en rad olika sammanhang som; medicin, socialförvaltning, skolvärlden, politik etc. där besluten ska vara evidensbaserade. i korthet handlar evidens om att till exempel politiska beslut eller professionellt arbete ska ta sin utgångspunkt i bästa möjliga kun- skap om vad som fungerar. evidensrörelsen har sina förespråkare och motståndare, men här ska inte alla de betydelser som har lagts in i begreppet gås igenom.10 ett av de vanligaste sätten att skapa
evidens är att ta fram systematiska forskningsöversikter som söker att identifiera så många som möjligt av de studier som undersöker om en insats fungerar eller inte. ofta används statistiska kalkyler för att syntetisera olika studier i så kallade meta-analyser. Hatties bok hör således hemma i denna genre.
evidensrörelsen har sina rötter inom medicinen på 1990-talet och har fått snabb spridning. till exempel var den svenska soci- alstyrelsen snabbt ut på 1990-talet för organiseringen av evidens- baserat socialt arbete. evidensrörelsen har således snabbt institu- tionaliserats internationellt och nationellt.11
evidensrörelsens attraktionskraft för myndigheter som vill hushålla med och ansvara för skattemedel ligger i dess grundläg- gande kunskapsform: den är till synes okomplicerad på grund av att den inte fokuserar på arbetsprocesser utan på effekter av insatser. Komplicerande sociala och kulturella faktorer sätts inom parentes, vilket gör att evidensrörelsen tar lätt på lokala varia- tioner. Det som fungerar i det ena landet antas fungera också i det andra landet. Frågor om varför en insats fungerar (eller inte fungerar) är underordnade. evidensrörelsen, framför allt i form av forskningsöversikter, erbjuder till synes säker kunskap om vilka
10 För evidensrörelsens framväxt och innehåll se Hansen, Hanne Foss & rieper, olaf ”evidensbevægelsens rødder, formål og organisering” i Grimen, Harald & terum, lars inge (red.) Evidensbasert profesjonsutøvelse, 2009, oslo: abstrakt forlag as och bohlin, ingemar ”evidensbaserat beslutsfattande i ett veten- skapsbaserat samhälle. om evidensrörelsens ursprung, utbredning och grän- ser” i bohlin, ingemar & sager, Morten (red.) Evidensens många ansikten. Evidensbaserad praktik i praktiken 2011, lund: arkiv förlag.
11 Hansen, Hanne Foss & rieper, olaf, 2009,”evidensbevægelsens rødder…”, s. 23ff.
insatser som är lämpliga.12 evidensrörelsen tillhandahåller hand-
fasta rekommendationer för hur olika situationer ska lösas. Ur detta perspektiv är det inte underligt att politiker och deras olika myndigheter har tagit till sig evidensrörelsens grundläggande kunskapsuppfattning.
Professionellt arbete
Den evidensbaserade forskningens rekommendationer riske- rar att komma på kollisionskurs med de professionella lärarnas grundläggande villkor i det dagliga arbetet. Professionellt arbete beskrivs ibland som diskretionärt.13 ”Diskretion” är ett besvärligt
begrepp då det inte finns någon bra svensk motsvarighet till det. norskan är bättre rustat. norskans ”skjønn” innebär att en pro- fessionell har ett bedömningsutrymme i vilket en kognitiv akti- vitet är central, som leder till handling. Grimen och Molander menar att skjønn är ett utrymme och en kognitiv aktivitet. Diskre- tion handlar således om bedömning och handling. när professio- nell diskretion beskrivs betonas ofta handling i definitionen, men handlingen följer på bedömningen och frågan om vilken hand- ling som är lämplig är direkt beroende av bedömningen. Den professionella kunskapsanvändningen sker därför i första hand i bedömningen, inte i handlingen.14 Kärnan i professionellt arbe-
te, det specifika är att arbetet är situationsbundet och begränsar vilka bedömningar som är möjliga. om dessa begränsningar inte fanns skulle vi inte kunna tala om diskretion, eller bedömnings- utrymme. begränsningarna utgörs av normer (lagar, regler, etiska riktlinjer etc.) som sätter gränser för det professionella arbetet.
12 resonemanget lutar sig delvis mot ibid s. 31.
13 För betydligt utförligare analyser av detta påstående se Grimen, Harald & Molander, anders ”Profesjon og skjønn” i Molander, anders & terum, lars inge (red.) Profesjonsstudier, 2008, oslo: Universitetsforlaget, Molander, anders & Grimen, Harald ”Understanding professional discretion” i svens- son, lennart G. & evetts (eds.) Sociology of professions. Continental and Anglo- Saxon Traditions, 2010, Göteborg: bokförlaget Daidalos.
14 Jag tackar lisa Wallander för att ha gjort mig uppmärksam på denna tem- porala (och grundläggande) skillnad mellan bedömning och handling. Den kognitiva dimensionen föregår handlingen och är en aspekt av professionellt arbete som skiljer det från andra typer av arbeten.
bedömningarna är inkapslade och bundna av olika sociala (kultu- rella, etiska, juridiska) villkor.15
i några fall, som till exempel inom juridiken, kan objektet för den professionella bedömningen härledas ur en lagtext och hand- lingen följer ur den påföljd som domstolens bedömning leder fram till. inom medicinen kan det vara fråga om en sjukdom som bedöms och ur den en (botande) handling som stöds av doku- menterat effektiva behandlingar. Diagnosen ska helst bygga på kliniska prövningar som är randomiserade, vilket kort innebär att den bästa behandlingen är framtagen genom dubbelblind- testning: varken de som behandlas eller de som behandlar har vid utprovningen vetat om de ingår i en test- eller kontrollgrupp.16
(Kontrollgruppen får inte något aktivt preparat om det gäller utprovning av medicin.)
i båda dessa exempel handlar det om att relatera den specifika situationen till lagtexter som har generell giltighet eller tidigare erfarenheter för att finna en lösning.17 Men för många andra pro-
fessionella grupper är det inte möjligt att söka stöd i generella lagar eller en stor dokumenterad erfarenhetsbank. i de fallen sak- nas generell vägledning för vad som bör göras i den konkreta situ- ationen som kräver en professionell bedömning och påföljande handling.
Professionella grupper som har sådana diskretionära förutsätt- ningar är till exempel psykologer, socionomer och lärare. Patien- ter, klienter och elever måste mötas individuellt. vi bör anta att det finns aspekter som gör att många situationer innefattar aspek- ter som liknar dem i andra situationer. om detta inte var fallet
15 Molander, anders & Grimen, Harald ”Understanding professional discre- tion” i svensson, lennart G. & evetts, Julia (eds.) Sociology of professions. Continental and Anglo-Saxon Traditions, 2010, Gothenburg: Daidalos, s. 174. 16 se bohlin, ingemar ”evidensbaserat beslutsfattande i ett vetenskapsbaserat
samhälle. om evidensrörelsens ursprung, utbredning och gränser” i bohlin, ingemar & sager, Morten (red.) Evidensens många ansikten, lund: arkiv Förlag, s. 38ff för framväxten av randomized clinical trials (rCt). 17 Detta är naturligtvis en förenkling av hur situationerna förmodligen i verk-
ligheten upplevs. bedömningarna görs med hjälp av kunskap från en mängd olika källor, men bedömningarna i de här båda exemplen legitimeras över- tygande av stödet från de generella lagtexterna respektive de randomiserade kliniska prövningarna.
skulle det vara svårt att tänka sig en erfarenhetsbaserad professio- nell kunskap. så egentligen är det fråga om en gradskillnad, där den individuella unika karaktären för dessa professionella grupper är av större betydelse än för till exempel jurister och läkare.18
olika professioner har således olika diskretionära villkor. Men det är inte, som exemplen med juridiken, medicinen och pedagogiken visar, bara fråga om olika kontexter i allmänhet, utan anknytningspunkterna för vilken kunskap som kan lösa det professionella problemet (bedömningen) ser också olika ut. De generellt giltiga lagtexterna har ingen motsvarighet i läraryrket och heller inte den kunskap som genereras genom randomiserade experiment kan ge vägledning, menar många. alla professioner har att förhålla sig till vad John rawls kallar ”the burdens of discretion”.19 Dessa bördor är inte jämförbara mellan olika pro-
fessioner. Detta är ett av de grundläggande problemen med Hat- ties studie och de tolkningar som inte minst svenska myndigheter har gjort av den.
Korrelationer och kausalitet
Hattie är noga med att redovisa de, som han menar, felaktiga tolk- ningarna som kan göras av studien. Genom hela boken diskute- rar och problematiserar Hattie resultaten med utgångspunkt i ett kunskapsteoretiskt förbehåll. studien presenterar korrelationer mellan fenomen. resultaten ska inte tolkas som ett kartotek över vad som fungerar eller inte – ”what works” –, framhåller Hattie i inledningen.20 ”What works” anger en kausal relation mellan en
insats och önskvärt resultat. en korrelation uttrycker inget annat än att ett fenomen samvarierar med ett annat. i en kritisk upp- görelse med konstruktivistiska pedagogiska ideal som bygger på idéer om att läraren i första hand ska tillhandahålla redskap för lärande och inte tala om vad som ska läras, talar Hattie dock om sina resultat som ”recipe” för bra undervisning.21
18 Molander & Grimen 2010, ”Understanding professional discretion”, s. 180f. 19 Här från Molander & Grimen 2010, ”Understanding professional discre-
tion”, s. 183.
20 Hattie 2009 Visible learning, s. 3f. 21 Hattie, Visible learning, s. 26.
Korrelationer och ”what works”-frågan ligger i epistemo logiskt avseende nära varandra. en korrelation uppfordrar till att ta ett steg till, nämligen att undersöka om det finns ett underliggande kausalt samband mellan de båda fenomenen.22 Det vill säga att försöka slå
fast att en typ av intervention leder till ett visst resultat: utan inter- ventionen skulle resultatet varit ett annat. thomas brante har före- slagit ett klargörande alternativ till distinktionen mellan korrelation och kausalitet. Han utvecklar en distinktion som vetenskapsteore- tikerna ingvar Johansson och nils lynöe har gjort mellan korrela- tionskunskap och mekanismkunskap.23 Korrelationskunskap beskri-
ver variabler som relateras till varandra, som till exempel att olika sjukdomar kan relateras till kön, klass, inkomst och liknande. orsa- kerna till relationerna behandlas som vore de dolda, det vill säga mekanismerna till varför olika variabler relateras till varandra fram- går inte. lynöe och Johansson kallar detta ”svart-låda kunskaper”. ”istället för mekanismer som binder orsaker till effekter ger svart- låda teorier statistiska korrelationer eller samband mellan inputs och outputs i lådan”.24 De ”mekanismer” som omtalas i citatet är
sådana mekanismer som förklarar (eller inte förklarar) varför två variabler kausalt är kopplade till varandra. ett exempel: om elevers resultat i skolan och föräldrarnas utbildningsnivå samvarierar kan mekanismen vara att elever med goda resultat från tidig ålder har lärt av sina föräldrar värdet av att tillägna sig den kunskap som vär- deras högt i skolan. Mekanismen i detta fall är då alltså föräldrarnas uppfostran. Det kan naturligtvis finnas fler mekanismer som förkla- rar varför två variabler samvarierar.
brante för in en nivå till i Johanssons och lynöes modell, mellan korrelationskunskap och mekanismkunskap, som han benämner kunskap om enkla orsakssamband.25 På denna nivå skapas
vad brante kallar horisontell kunskap.26 vi får reda på vad som 22 ibid. s 3.
23 Johansson, ingvar & lynöe Medicine and Philosophy. A Twenty-First Century Introduction 2008, Heusenstamm: ontos verlag.
24 ibid. s. 179. Här från brante, thomas Den professionella logiken. Hur vetenskap och praktik förenas i det moderna kunskapssamhället, 2014, stockholm: liber, s. 158.
25 ibid. s. 158. 26 ibid. s. 150.
händer, enligt formeln: om A, så B. Genom till exempel experi- mentella eller kvasiexperimentella studier får vi kunskap om en intervention fungerar eller om den inte fungerar. evidensrörel- sen och i någon mån Hatties resultat skapar horisontell kunskap. Denna kunskapsnivå har också blivit det politiska systemets och dess myndigheters favoritnivå. Det är en instrumentell kunskap som inte frågar efter (underliggande) mekanismer till relationen. vetenskaplig kunskap syftar dock också, till skillnad från den instrumentella kunskap som kunskap om enkla orsakssamband generar, till att skapa mekanismkunskap som förklarar varför a leder till b. ett kunskapssökande som har som mål att avtäcka mekanismer genererar därför vertikal kunskap.27 användningen
av vertikal kunskap är essentiell för bedömningar som kräver indi- vidualisering i en unik kontext, vilket jag snart återkommer till.
Ur resonemanget så långt kan två delresultat lyftas fram. För det första tycks det som om de korrelationer som Hattie redo- visar, av dem som är positivt inställda till hans resultat, blir tol- kade som enkla orsakssamband, vilket Hattie inte bör lastas för. För det andra: för att översättningen mellan korrelationskunskap och enkla orsakssamband, det vill säga för att kunna spekulera mer eller mindre trovärdigt om enkla orsakssamband där det ännu endast föreligger korrelationer, måste korrelationerna som ett första villkor vara av hög kvalitet.
Två exempel: klasstorlek och lärares ämneskunskaper
Kritiken mot Hatties boks tillkortakommande pekar ut ett gene- rellt problem med metaanalyser och forskningsöversikter. ana- lyser av detta slag är inspirerade av framför allt den medicinska