Analysen av proven och provfrågorna har skett i fyra steg som motsvarar studiens syfte och frågeställningar. Det första steget handlar om provens ut-formning, bland annat graden av strukturering hos frågorna. I det andra står kunskapssynen i fokus. Det tredje steget behandlar den ämnessyn som kommer till uttryck i proven. Analyserna har gjorts i relation till de mål och riktlinjer som anges i styrdokumenten. I det fjärde analyssteget sätts slutligen undersök-ningens övergripande syfte i fokus då den bild av ämnet samhällskunskap som kommer till uttryck i proven jämförs med styrdokumentens mål och riktlinjer. Frågeställningen som handlar om skillnaderna mellan studie- eller yrkesförbere-dande program besvaras genomgående i samtliga analyssteg.
269
Bergström & Boréus (2000) s. 26f.
270
Kjørup (2009) s. 159f. och 238, Bergström & Boréus (2000) s. 26 och 50, Esaiasson et al. (2007) s. 252 samt Teorell & Svensson (2007) s. 99f.
7.6.1 Analyssteg ett – provens utformning
I denna analysdel studeras provens layout och det språk som används. Här ges bland annat svar på om proven innehåller till exempel bilder, statistik eller artiklar och vad de i så fall fyller för funktion. Vidare analyseras provens omfång och om eleverna skriver svaren direkt på proven. Slutligen analyseras även tilltalet i frågorna och proven.
Därefter analyseras graden av strukturering hos frågorna. Frågorna delas in i fyra frågetyper; bundna svarsalternativ, kortsvarsfrågor, långsvarsfrågor och essäfrågor. Det är viktigt att lyfta fram att det inte räcker att enbart räkna antalet frågor i de olika kategorierna. Undersökningen tar även sikte på det utrymme, eller den betydelse, som respektive frågekategori har vid bedömningen. Ett fåtal essäfrå-gor kan tillsammans väga minst lika tungt som ett större antal faktafråessäfrå-gor. Men det är inte heller säkert att så är fallet, tonvikten kan ligga på kortsvarsfrågorna. Denna analys sker initialt från prov till prov. Det samlade resultatet kan ge besked om det finns något genomgående mönster i undersökningsmaterialet. Det första analyssteget innefattar även vilken information proven ger till eleverna avseende bedömning. Det kan till exempel handla om provfrågorna poängsätts eller betygssätts på annat sätt eller vad som krävs av eleverna för att få godkänt resultat eller mer på provet.
7.6.2 Analyssteg två och tre – kunskaps- och ämnessyn i proven
De två följande analysstegen behandlar de kunskaps- och ämnessyner som kommer till uttryck i proven. Provens innehåll står i fokus. Här kan skjutas in att den innehållsliga frågan inte är helt skild från den tidigare berörda frågan om hur proven är utformade. Frågeställningarna kring kunskaps- och ämnessyn får sina svar genom att analysen av provens utformning kombineras med kun-skaps- och ämnessynsanalysens resultat. Långsvars- och essäfrågor kan till exempel vara att föredra om man strävar efter att mäta elevers analysförmåga och andra mer komplexa kunskapsnivåer. Flervalsfrågor med fasta svars-alternativ tenderar istället till att mäta kunskapsnivån med avseende på isolerade fakta.271 Sambanden är dock mer komplicerade än så och analysen kräver ett visst djup. En essäfråga kan vara utformad så att den i praktiken bara efterfrågar
271
faktauppräkningar samtidigt som en flervalsfråga med fasta svarsalternativ kan vara formulerad så att den mäter elevers förmåga att tillämpa sina kunskaper. Ett annat exempel på hur utformnings- och innehållsfrågan hänger ihop är att användningen av bilder i det skriftliga provet kan vara en ren layoutfråga men också ett inslag i en bildanalysfråga. Det är därför relevant att studera provens utformning i relation till frågan om kunskaps- och ämnessyn. Det kan påpekas att kunskapssyn och utformning även kan variera beroende på vilket kunskaps-område som tas upp. Därför görs analysen av den ämnessyn som uttrycks i proven i relation till kunskapssyn och utformning.
I analysen ingår att studera om de skriftliga provens kunskaps- och ämnessyn överensstämmer med de mål som uttrycks i den formella läroplanen. Denna analys görs i relation till den kunskapssyn som formuleras i Lpf 94, ämnes-planen, kursplanen och betygskriterierna för kursen Samhällskunskap A. Utöver detta ingår även bakgrundstexter och kommentarmaterial, dels kring läro-planens kunskapssyn, dels kring det mål- och kunskapsrelaterade betygssyste-met.272 I ett mål- och kunskapsrelaterat betygssystem är det viktigt att bedöm-ningsverktygen svarar upp mot de mål som har satts upp för undervisningen och att bedömningen av eleverna sker utifrån dessa i förväg uppsatta mål. Som framgår av kapitel 4 anläggs ett läroplansteoretiskt perspektiv baserat på Good-lads samt Lindensjös och Lundgrens teorier. En naturlig följd härav är att analysen av proven, som har använts på realiseringsarenan görs i relation till den formella läroplanen på formuleringsarenan. Detta leder vidare till analyssteg fyra.
7.6.3 Analyssteg fyra – bilden av ämnet samhällskunskap i jämförelse med styrdokumenten
Studiens ämnesdidaktiska fokus tydliggörs i det fjärde analyssteget då den bild av ämnet samhällskunskap som kommer till uttryck i de prov som ingår i under-sökningen jämförs med styrdokumentens mål och riktlinjer. I analysen fram-hålls i vilken mån och i vilka delar styrdokumenten implementeras genom proven.
272
Carlgren, Forsberg & Lindberg (2009) s. 15 gör en liknande definition av vilka dokument som är relevanta när “kunskapssynen i de svenska läroplanerna” ska behandlas.
7.6.4 Analysen av de skriftliga proven i förhållande till lärarnas enkätsvar
Enkätsvaren kan ge svar på hur de deltagande lärarna resonerar kring bedömning och skriftliga prov. Även här görs en jämförelse mellan lärare som undervisar på studie- respektive yrkesförberedande program. Eftersom de skriftliga proven även är kopplade till respektive lärares enkätsvar kan hans eller hennes svar på frågorna även jämföras med innehållet och utformningen av hans eller hennes prov. Genom att koppla enkätsvaren till analysen av de skrift-liga proven kan en slutlig diskussion föras kring skriftskrift-liga prov och bedömning i ett mål- och kunskapsrelaterat betygssystem.