Del 2: Matematikblockens placering i provhäftet

Här presenteras resultaten från den andra delen av studien; regressionsmodellerna rörande matematikblockens placering och dess påverkan på antal överhoppade upp- gifter i ett givet matematikblock, för år 2003 och för år 2012 (se Ekvation 13). De olika placeringarna i provhäftet är hanterade som dummyvariabler, se variabelbe- skrivning i Tabell 1. I Tabell 6 syns parameterestimat och medelfel (angivet i paren- tes), för samtliga modeller gällande matematikblockens placering i provhäftet. I dessa modeller är Placering 4 referenskategori. Nedan följer analys av maximum likelihood- skattningarna.

Resultaten från Poissonregressionerna utan kontrollvariabler finns i kolumn (1) för år 2003 och i kolumn (7) för år 2012. Alla parameterestimat är negativa. Alltså är ONP<1 och detta innebär att väntevärdet i genomsnitt är lägre för Placering 1-3 rela-

tivt väntevärdet för Placering 4. Det här går också att avläsa genom medelvärdeslin- jerna i Figur 6 i avsnitt 4.2. Där visualiseras också att medelvärdet för antalet över- hoppade uppgifter i respektive matematikblock ökar ju senare i provhäftet som block- et ligger, vilket även parameterestimaten i kolumn (1) och i kolumn (7) i Tabell 6 bekräftar. Parameterestimaten är minst (mest negativa) i Placering 1 och störst (minst negativa) i Placering 3. För år 2003 är parameterestimaten för Placering 1-2 mer negativa än vad de är för år 2012. Hur mycket lägre väntevärdet är, relaterat till vad det skulle ha varit om Placering 4 varit aktuell, beror på de estimerade parame- tervärdena. Exempelvis är parameterestimatet för Placering 1 år 2003 -0,9143 och för år 2012 är det -0,7826. Detta ger att väntevärdet för antal överhoppade uppgifter i ett givet matematikblock i Placering 1 för år 2003 är e-0,9143≈0,40 gånger av vad vän- tevärdet hade varit om Placering 4 hade varit aktuell och allt annat hålls konstant. För år 2012 är motsvarande faktor e-0,7826≈0,46. Om vi istället ser till Placering 3 blir väntevärdet för år 2003 e-0,3783_{≈0,69 gånger av vad väntevärdet hade varit om Place-}

ring 4 varit aktuell, allt annat lika. För år 2012 blir motsvarande faktor e-0,3865≈_0,68. Här är det alltså marginellt mindre skillnad i väntevärdet för år 2003 än vad det är för år 2012. Överlag är dock förändringen i väntevärde för antal överhoppade uppgif- ter i ett givet matematikblock mer markant för år 2003 än vad den är för år 2012. Likt första delen av studien indikerar resultaten här att ansträngningen alltså har en

större påverkan på väntevärdet år 2003 än år 2012.

Den första omgången av kontrollvariabler innehåller specificering av kön, för- äldrarnas utbildningsnivå och antal matematikstudietimmar utanför skoltid. Efter att kontrollvariablerna har införts i regressionerna syns inga markanta skillnader, jämfört med de ursprungliga modellerna. Dessa regressioner finns i kolumn (2) för år 2003 och i kolumn (8) för år 2012. Då estimaten enbart påverkas marginellt när modellerna testas med kontrollvariablerna, innebär det att kontrollvariablerna inte heller i denna del av studien verkar korrelera med både den självuppskattade ansträngningen och med antal överhoppade uppgifter i en given provhäftesplacering. Detta innebär att

nämnda variabler inte ger upphov till omitted variable bias i någon av delstudierna. Den andra omgångens kontrollvariabler innehåller specificeringar av matema-

tikblock. Regressionerna innehållande dessa kontrollvariabler finns i kolumn (3) för år 2003 och i kolumn (9) för år 2012. Efter införandet av dessa kontrollvariabler syns dock mer markanta skillnader för estimaten jämfört med tidigare nämnda modeller. I de ursprungliga modellerna har alltså utelämnandet av dessa variabler givit upphov till omitted variable bias. För år 2003 har parameterestimaten nu lägre värden (mer negativa) än i tidigare kolumner (1) och (2). För år 2012 har parameterestimaten istället nu högre värden (mindre negativa) än i tidigare kolumner (7) och (8). Den ursprungliga modellen år 2003 verkar alltså ha underskattat ansträngningens påver- kan på antal överhoppade uppgifter i specifika provhäftesplaceringar, då parameter- estimaten blir mer negativa efter att dessa kontrollvariabler har adderats. Den ur- sprungliga modellen år 2012 verkar istället ha överskattat ansträngningens påverkan på antal överhoppade uppgifter, då parameterestimaten efter att kontrollvariabler har förts in blir mindre negativa. Man ser alltså att för år 2012, har ansträngningen inte en lika stor påverkan som estimerades i den ursprungliga modellen, och vice versa för år 2003. Emellertid är det större förändring i parameterestimaten för år 2003 efter införandet, än vad det är för år 2012. Det här betyder att magnituden av underskatt- ningen för år 2003 var större än vad magnituden av överskattningen var för år 2012. Exempelvis blir väntevärdet i Placering 1 för år 2003 e-1,1972≈_{0,30 gånger av vad vän-} tevärdet hade varit om matematikblocket hade legat i Placering 4 och allt annat hålls konstant. För år 2012 är motsvarande faktor e-0,7419≈0,48. För modellerna utan kon- trollvariabler, kolumn (1) för år 2003 och kolumn (7) för år 2012, är motsvarande faktorer 0,40 och 0,46.

År 2003 ökar storleken på medelfelen något efter att den andra omgången av kontrollvariabler som rör matematikblock har förts in. Detta sker inte för modellen år 2012. Detta betyder att osäkerheten i skattningarna nu ökar något för år 2003.

Om man ser till kolumnerna (4)-(6) och (10)-(12), där antagandet har gjorts att den beroende variabeln är negativt binomialfördelad, har parameterestimat och medelfel liknande värden som för motsvarande Poissonregressioner. Det observeras alltså inte heller några stora skillnader i denna del av studien mellan Poisson- regressionerna och de negativa binomialregressionerna. I de ursprungliga negativa binomialregressionerna för år 2003 och för år 2012, kolumnerna (4) och (10), är pa- rameterestimaten återigen identiska som för de ursprungliga Poissonregressionerna, kolumnerna (1) och (7). Medelfelen är dock marginellt större i de negativa binomial- regressionerna. Vid införandet av både första och andra omgångarna med kontrollva- riabler reagerar parameterestimat och medelfel för de negativa binomialregressionerna på förändringarna på samma vis som i Poissonregressionerna. Vid första införandet av kontrollvariabler är det alltså inga stora förändringar i parameterestimaten, men vid införandet av dummyvariablerna som specificerar matematikblocken förändras parameterestimaten mer markant. I de ursprungliga negativa binomialregressionerna finns alltså problem med omitted variable bias. För år 2003 har parameterestimaten efter införandet av andra omgångens kontrollvariabler lägre värden (mer negativa) än i tidigare negativa binomialregressioner, men skillnaderna är dock inte lika stora som när motsvarande kontrollvariabler infördes i Poissonregressionen. För år 2012 har parameterestimaten efter införandet av den andra omgången med kontrollvariabler högre värden (mindre negativa) än i tidigare negativa binomialregressioner, men skillnaderna är även här något mindre än när motsvarande kontrollvariabler infördes i Poissonregressionerna.

Spridningsparametern # är även i studiens andra del signifikant skild från 0, i alla negativa binomialregressioner. Se medelfel och konfidensintervall för # i Appen- dix Tabell 6. Detta innebär återigen att en icke-överspridningsjusterad Poisson- regressionsmodell inte bör användas på grund av överspridning.

Walds !R_{-test indikerar att det för regressionsmodellerna i denna del av studien}

är signifikanta skillnader mellan Placering 1-3 och Placering 4. Detta gäller alltså för både de ursprungliga modellerna och efter det att kontrollvariabler har införts, under båda sannolikhetsantagandena.

Tabell 6: Regressionstabell för modeller gällande provblockens placering

2003 2012

Poisson Negativ Binomial Poisson Negativ Binomial

(1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) (12) Intercept Placering Kontrollvariabler1) Kontrollvariabler2) 1 2 3 0,8510 (0,0407) -0,9143 (0,0548) -0,6717 (0,0520) -0,3783 (0,0531) 0,8672 (0,0464) -0,9113 (0,0546) -0,6687 (0,0519) -0,3738 (0,0530) 1,2567 (0,0951) -1,1972 (0,0722) -1,0180 (0,0772) -0,7801 (0,0846) 0,8510 (0,0515) -0,9143 (0,0618) -0,6717 (0,0609) -0,3783 (0,0639) 0,8692 (0,0566) -0,9133 (0,0617) -0,6703 (0,0608) -0,3758 (0,0637) 1,2327 (0,0984) -1,1918 (0,0732) -0,9973 (0,0788) -0,7587 (0,0875) 0,9942 (0,0229) -0,7826 (0,0408) -0,5803 (0,0441) -0,3865 (0,0527) 1,1319 (0,0322) -0,7826 (0,0407) -0,5819 (0,0439) -0,3833 (0,0525) 1,3879 (0,0439) -0,7419 (0,0413) -0,5144 (0,0450) -0,1611 (0,0683) 0,9942 (0,0277) -0,7826 (0,0419) -0,5803 (0,0464) -0,3865 (0,0573) 1,1476 (0,0377) -0,7919 (0,0417) -0,5869 (0,0462) -0,3969 (0,0570) 1,4199 (0,0522) -0,7702 (0,0435) -0,5202 (0,0476) -0,1922 (0,0724) N !3) "4) 6402 1,6414 . 6402 1,6373 . 6402 1,6031 . 6402 . 1,4213 6402 . 1,4052 6402 . 1,3228 6072 1,6913 . 6072 1,6845 . 6072 1,6409 . 6072 . 1,1874 6072 . 1,1641 6072 . 1,0748 1) _{Tjej, Mamma_utb, Pappa_utb och Timmar}

2)_{Specificering av matematikblock, se Appendix Tabell 3 och Appendix Tabell 4} 3) _{$ är spridningsparametern i Poissonregression och medelfelen har justerats med $}

6. Diskussion

Resultaten indikerar bland annat att elever som anger ett lägre värde på ansträng- ningstermometern i genomsnitt hoppar över fler uppgifter än elever som anger ett högre värde. Markanta skillnader i väntevärde för antal överhoppade uppgifter kan ses mellan elever som angivit Termometervärde 1 istället för Termometervärde 10. Det blir dock mindre skillnader i väntevärde för termometervärden som är närmare Termometervärde 10, vilket intuitivt kan uppfattas som ett rationellt samband. No- tera att skalstegen mellan de olika värdena på ansträngningstermometern inte nöd- vändigtvis är lika stora och det har inte heller gjorts något formellt test för skalstegen i denna studie. Det syns också att elever i genomsnitt hoppar över fler matematik- uppgifter i senare placeringar i provhäftet än i de tidigare. Det här påvisar att ele- vernas ansträngningsnivå inte nödvändigtvis är konstant genom hela testet. Båda dessa resultat pekar på att minskad ansträngning är förknippad med ett ökat antal överhoppade matematikuppgifter.

Resultaten indikerar att kontrollvariablerna som rör kön, föräldrarnas utbild- ning och antal matematikstudietimmar utanför skoltid inte ger upphov till omitted variable bias. Ser man till enbart dessa variabler verkar alltså inte estimaten i de ur- sprungliga modellerna ha varit under- eller överskattade. Det här gäller för båda de- larna av studien för såväl år 2003 som för år 2012. Däremot vid kontrollen av de spe- cifika matematikblocken i den andra delen av studien verkar det finnas problem med omitted variable bias. Den ursprungliga modellen år 2003 verkar som nämnt ha un- derskattat ansträngningens påverkan på antal överhoppade uppgifter i specifika provhäftesplaceringar. Den ursprungliga modellen år 2012 verkar istället ha överskat- tat ansträngningens påverkan på antal överhoppade uppgifter i specifika provhäftes- placeringar. Att ansträngningens påverkan under- och överskattades i de modeller där man inte tar hänsyn till specifika matematikblock indikerar att matematikblocken kan vara olika svåra. När man kontrollerar för matematikblock så tas effekten av va- rierande svårigheter i matematikblock bort.

Vid jämförelse mellan år 2003 och år 2012 påvisas att det finns skillnader mel- lan åren. Elever uppskattar att de anstränger sig mindre år 2012 och är inte heller lika uthålliga i slutet av provhäftet, som elever år 2003. Emellertid är ansträngning- ens påverkan på hur många uppgifter de hoppar över inte heller lika stark år 2012 som år 2003, trots att eleverna generellt sett hoppar över fler uppgifter detta år. I och med detta är det rimligt att anta att det är andra faktorer än ansträngning år 2012,

som till större grad än år 2003 påverkar ökningen av antalet överhoppade uppgifter. Exempelvis skulle den generella kunskapsnivån i matematik faktiskt kunna ha sjunkit mellan år 2003 och år 2012. En lägre kunskapsnivå kan ha gjort att eleverna hade svårare att lösa uppgifterna år 2012 och på grund av detta hoppade över uppgifterna. På så vis kan kunskap vara en större del av förklaringen för antal överhoppade upp- gifter år 2012 och i sin tur minskar ansträngningens del av förklaringen.

Det kan även finnas andra förklaringar än ansträngning, samt ovan nämnda aspekter, till att elever hoppar över olika många uppgifter i PISA:s kunskapstest. Att elever hoppar över olika många uppgifter i olika delar av testet skulle exempelvis kunna vara på grund av att alla inte nödvändigtvis gör uppgifterna i den ordning de kommer i provhäftet. Utöver detta skulle antalet överhoppade uppgifter, både i testet som helhet och i specifika provhäftesplaceringar, också kunna förklaras av faktorer såsom stress, fokus och välmående. Här finns utrymme för vidare studier.

Det huvudsakliga metodvalet i studien var Poissonregression. Då problem med överspridning upptäcktes, justerades Poissonregressionerna med två olika justerings- metoder. Dels testades överspridningsjusterad quasi-Poissonregression och dels an- vändes negativ binomialregression. Vid jämförelser av parameterestimat och medelfel mellan de överspridningsjusterade Poissonregressionerna och de negativa binomial- regressionerna är det som nämnt väldigt små skillnader. Det finns vissa skillnader i parameterestimaten mellan Poissonregressionerna och de negativa binomialregression- erna efter det att kontrollvariablerna som specificerar matematikblock har införts, jämfört med motsvarande ursprungliga modeller. Dessa skillnader är dock små och överlag reagerar Poissonregressionerna och de negativa binomialregressionerna på samma sätt. Det här pekar på att för denna studie spelar det en mindre roll vilken av dessa regressionsmetoder man väljer att använda, trots att Poissonregressionen är mer restriktiv. De negativa binomialregressionerna i studien är däremot stundtals förknippade med något större medelfel, vilket indikerar att det är något större osä- kerhet i dessa skattningar.

Tidigare studier av Skolverkets aktuella analyser, Hopfenbeck och Kjærnsli, Eklöf samt Wise och DeMars lyfter frågan om hur ansträngning på ett eller annat sätt kan påverka resultat i PISA-testen eller i andra internationella studier. De finner alla samband mellan ansträngning och hur väl elever presterar i dessa tester. Som nämnt bidrar denna studie med att angripa ansträngningsfrågan från en ny infalls- vinkel. Studien som genomförs här går inte in direkt på hur ansträngning påverkar resultaten i testen, utan snarare påverkan på antalet överhoppade matematik-

uppgifter. Således ska jämförelser mellan denna studie och tidigare studier gällande ansträngning behandlas med viss försiktighet.

När det gäller jämförelser mellan denna studie och Skolverkets aktuella ana- lysers rapport samt Hopfenbecks och Kjærnslis studie rörande PISA-tester, kan man komma närmare jämförbara analyser av likheter och skillnader. Detta på grund av att det är samma mätinstrument för självuppskattad ansträngning som används. Både Skolverkets aktuella analyser samt Hopfenbeck och Kjærnsli rapporterar att det finns ett samband mellan resultaten i PISA-testen och den rapporterade ansträng- ningsnivån. Även om studien som genomförs här inte specifikt tittar på resultat i PISA-tester, skulle antalet överhoppade uppgifter ändå kunna säga någonting om elevernas förmåga att genomföra PISA-tester. Skolverkets aktuella analyser rapporte- rar att sambandet som ansträngning har med resultat följer samma riktning i hur väl elever genomför testet, som denna studie indikerar att sambandet mellan ansträng- ning och antal överhoppade uppgifter gör. Detta samband innebär att en högre an- strängning är förknippat med ett bättre resultat i tidigare studier och ett lägre antal överhoppade uppgifter i studien som genomförs här. Hopfenbeck och Kjærnsli finner att norska elever rapporterar en hög ansträngning investerat i testet. De finner också ett samband mellan norska elevers motivation och resultat som följer samma riktning i hur väl elever genomför testet, som sambandet mellan svenska elevers ansträngning och antal överhoppade uppgifter gör i denna studie. I vidare studier hade det varit intressant att göra en mer ingående jämförelse mellan Sverige och Norge samt med exempelvis övriga nordiska länder.

I vidare studier skulle det vara intressant att kolla mer noggrant på sambandet mellan resultaten i PISA-tester och antal överhoppade uppgifter. Det skulle också vara intressant att studera om ansträngningen har en starkare eller svagare påverkan på resultat än vad den har på antal överhoppade uppgifter.

Resultaten från denna studie understryker en tydlig koppling mellan självupp- skattad ansträngning och antalet överhoppade uppgifter i PISA:s kunskapstest. Trots detta bör analyser baserat på ansträngningstermometern behandlas med försiktighet. Denna del av ansträngning mäts genom att eleverna anger på en skala hur mycket de upplevde att de ansträngde sig i det nyss genomförda testet. Här kan det finnas pro- blem med analyser av resultaten, då exempelvis upplevelsen över hur väl testet gick för eleven skulle kunna vara underlag för vilken siffra på ansträngningstermometern som anges. Det kan kännas rimligt att elever som upplevde att testet gick dåligt också anger en lägre siffra på den rapporterade ansträngningen och vice versa. Det

här innebär att den siffran som eleverna anger inte nödvändigtvis speglar den verk- liga ansträngningsnivån.

Det ska också nämnas att den självuppskattade ansträngningen som anges av elever, gäller för ett test som inte är betygsgrundande. Det är enligt Wise och De- Mars problematiskt att inte kunna skilja på faktisk och demonstrerad kunskap. Att svenska elever som nämnt rapporterar en stor skillnad mellan hur mycket de an- strängde sig i det nyss genomförda PISA-testet och hur mycket de skulle ha an- strängt sig om testet var betygsgrundande påvisar att det i denna studie kan finnas stora skillnader mellan elevernas faktiska och demonstrerade kunskap. För att komma åt den faktiska kunskapen skulle det vara av fördel att kunna kontrollera för individernas betyg. Den faktiska kunskapen skulle vara av intresse då man vill kon- trollera för om individer hoppar över en fråga för att de inte anstränger sig, eller för att de inte kan. Det är dock inte möjligt att kontrollera för betyg i nuläget, då ele- verna som skriver PISA-testen är helt anonyma.

Utöver detta bör man också reflektera över hur väl elever bedömer sina egna förmågor. Vissa elever kan ha svårt att utvärdera sina egna förmågor och också ha svårt att sätta en konkret siffra över hur mycket ansträngning som lades ner i testet. Brookover, Thomas och Paterson tar som nämnt upp att självbild är en viktig aspekt för hur väl elever värderar sina förmågor att prestera i skolan och att korrelation mel- lan självbild och skolprestation finns. Det här är något som bör tas i beaktning när man gör analyser baserat på ansträngningstermometern, eftersom självbild rimligtvis även skulle kunna vara en viktig aspekt för vilket värde på ansträngningstermome- tern som anges.

7. Slutsats

Resultaten i denna studie pekar på att elever som anger en låg självuppskattad an- strängningsnivå i genomsnitt hoppar över fler uppgifter i PISA:s kunskapstest. Resul- taten indikerar också att fler uppgifter hoppas över i senare delar av provhäftet, som en förklaring av en icke-konstant ansträngning under testtillfället. Således kan ses att en lägre ansträngning hos elever är förknippat med ett högre antal överhoppade upp- gifter.

År 2003 påvisas generellt sett större skillnader mellan de olika termometer- värdena samt provhäftesplaceringarna mot referenskategorierna än vad det gör år 2012. Det här innebär att förändringarna i väntevärden för antal överhoppade uppgif- ter är generellt sett större för år 2003 än vad de är för år 2012. Dessa resultat är tecken på att ansträngningens påverkan - mätt genom självuppskattad ansträngning samt provblockens placering i provhäftet - på hur många uppgifter individerna hop- par över är starkare år 2003 än vad den är år 2012.