• No results found

Metod

In document Vad kommer på provet? (Page 35-41)

I detta avsnitt förklaras och motiveras val av metod och urval. Först beskrivs insamlingen av prov i en förstudie. Därefter förklaras urvalet av informanter till intervjuer och hur dessa genomfördes. Sedan förklaras hur proven och lärarnas utsagor har analyserats och till sist hur forskningsetiska frågor hanterats. 1.5.1 Skriftliga prov

Studiens fokus är vilka kunskapsformer som testas i prov i samhällskunskap på gymnasiet. Det innebär med nödvändighet att prov behövde samlas in. Ett brev skickades därför till samtliga samhällskunskapslärare på gymnasier i ett medel-stort län i Sverige. Länet valdes utifrån att det finns en blandning av större, medelstora och små kommuner. Dessutom finns en blandning av gymnasie-skolor både vad gäller storlek och driftsform, det vill säga kommunala respektive friskolor. Det finns också en blandning av skolor med olika utbud av program, vilket innebär att det finns skolor med enbart studieförberedande pro-gram, enbart yrkesförberedande program och med både och. Namnen på lärar-na samlades in dels via skolorlärar-nas hemsidor, dels via direkta kontakter med skol-orna där det inte framgick på hemsidskol-orna vilka lärare som undervisade i sam-hällskunskap. Några friskolor i länet var nystartade och hade ännu inte genom-fört någon kurs samhällskunskap A och de hade därför inga lärare i ämnet. Kartläggningen visade att det i augusti 2009 fanns 135 lärare i länet, varav 80 män och 55 kvinnor, 109 var anställda vid en kommunal gymnasieskola och 26 vid en friskola.

Lärarna fick ett brev med information om denna studie. De ombads skicka in ett skriftligt prov om arbetsområdet Sveriges styrelseskick och ett prov om sam-hällsekonomi som de använt i en kurs Samhällskunskap A som helt eller delvis genomfördes under läsåret 2008/2009. Kursen Samhällskunskap A är en kärn-ämneskurs, vilken läses av alla elever och därför valdes denna. Lärarna ombads skicka in prov för både en kurs som genomfördes på ett studieförberedande program och för en kurs på yrkesförberedande program. Det innebär att varje lärare kunde ha skickat in upp till fyra prov. De som dock inte har använt ett

skriftligt prov på något eller båda av dessa arbetsområden kunde skicka in färre. Totalt skickade 21 lärare in 36 prov, 20 prov om Sveriges styrelseskick och 16 prov om samhällsekonomi (Vernersson 1999).13 De lärare som skickade in prov har enbart skickat in ett eller två prov. Alla utom en av de svarande hade enbart haft antingen yrkes- eller studieförberedande program. Den lärare som hade båda typerna av program hade använt samma prov på de olika programmen. Det skulle kunna finnas en risk att urvalet blir skevt, eftersom det var ganska få lärare som skickade in sina prov. Exempel skulle det kunna vara så att det främst är de som inte känner att deras prov är ”didaktiskt korrekta” som har avstått från att svara. Det skulle också kunna vara så att de som svarat har valt de bästa proven. Samtidigt visar analyserna av de inskickade proven att det är en stor spridning på dessa, vilket betyder att den låga svarsfrekvensen inte bör ha påverkat studiens resultat. Studien syftar inte heller till att kvantifiera mängden frågor eller prov i olika kunskapskategorier, vilket minskar betydelsen av en låg svarsfrekvens.

De två arbetsområdena valdes för att de är centrala i ämnet14 och för att kunna besvara frågan om proven ser olika ut beroende på ämnesområde. Genom att studera prov från olika typer av program kan det visas om gymnasieprogram är en ramfaktor som påverkar provens utformning. Till varje prov fyllde läraren i en blankett med information om provet, vilken handlade om vilka program provet hade använts på och vilken lärobok som användes i kursen.

Alla inskickade prov har sedan som en förstudie analyserats med hjälp av Blooms reviderade taxonomi (processen förklaras mer i detalj nedan). Detta innebär att provens olika frågor placerades in i taxonomins matris. Därefter har proven grupperats utifrån vilka kunskapsformer de i huvudsak mäter. Den avgörande kunskapsformen visade sig vara hur stor andel av frågorna som testar kategorin minnas. Utifrån denna kategori har proven delats in i tre grupper, en med en hög andel minnesfrågor (80 procent eller mer), en med en relativt låg andel (upp till 50 procent) och en tredje grupp med dem som hamnar emellan (mellan 50 och 80 procent). I gruppen med hög andel minnes-kunskaper hamnade 8 prov, i mellankategorin 19 prov, samt i gruppen med låg andel 9 prov. Indelningen valdes för att tydligare se ”extremerna”, det vill säga

13

Varav ett egentligen handlar om internationell politik. Det var lärare David som finns med i denna studie som inte hade haft prov om ekonomi. Hans prov är dock så intressanta, då de har en stor variation av testade kunskapsformer, att han ändå fick delta i studien.

14

de prov som hamnar längst ifrån varandra. Detta möjliggjorde ett strategiskt urval med så stor spridning som möjligt vid urvalet av informanter (Trost & Hultåker 2007). Detta var önskvärt eftersom det skulle kunna tänkas att lärare med olika prov resonerar på olika sätt kring sin provpraxis. Tanken är att studien täcker in den variation som finns i provpraxis och de uppfattningar som har sin grund i denna variation. Därmed ges också en viss möjlighet till generali-sering (Larsson 2010).

1.5.2 Intervjuer

Intervjuer valdes som metod som komplement till lärarnas prov. I taxonomin betonas att om frågor ska kategoriseras i högre kognitiva processer än att minnas måste det finnas något nytt i uppgiften. Det innebär att kategoriseringen av provfrågorna påverkas av undervisningen och läroboken. Frågor som i sin formulering pekar på mer komplexa kunskapsformer kan i verkligheten inne-bära att minnas om svaren på frågan har givits i undervisningen eller i läroboken. En vanlig uppgift i prov är att eleverna ska diskutera problem med att använda BNP per capita som ett mått på välfärd, en diskussion som de flesta läroböcker i samhällskunskap tar upp. Om eleverna själva skulle komma på nackdelar handlar det om att värdera, men när det finns i läroboken räcker det med att minnas. Detta gör att intervjuer blir ett sätt att få en bild av sammanhanget kring provet. I några frågor har läroboken kontrollerats, vilket har gjorts då läraren inte särskilt har kommenterat lärobokens roll, men det verkar inte rimligt att eleverna själva skulle kunna ha de kunskaper som frågan kräver. En alternativ metod för att se undervisningen som föregått provet skulle vara klassrums-observationer. Denna metod valdes dock bort av praktiska skäl, det skulle vara alltför tidskrävande att följa två hela arbetsmoment för sex lärare. En brist är dock att studien därmed bygger på lärarnas egen uppfattning av undervisningen och proven.

Urvalet av informanter har gjorts strategiskt (se ovan) för att få så stor variation som möjligt. Urvalet har därför främst gjorts utifrån de prov som lärarna skickade in. Två personer har valts ut från var och en av grupperna av prov, vilket innebär att sex personer har intervjuats. Nästa steg i urvalsprocessen var att i varje provgrupp ha prov som använts i både studie- och yrkesförberedande program. Det var bara en person av dem som skickat in prov som hade använt proven på både studie- och yrkesförberedande program. Därför har det i varje provgrupp valts ut en lärare som använt provet på studieförberedande program

och en lärare som använt provet på yrkesförberedande program. Den person som använt sina prov på både typerna av program återfinns i provkategorin där minneskunskaper dominerar och har också intervjuats. Den enda personen som hade använt ett mer analyserande prov på studieförberedande program avböjde att låta sig intervjuas och därför blev det två personer som undervisar på yrkes-förberedande program i den gruppen.

Urvalet har i nästa steg gjorts utifrån klassiska bakgrundsvariabler. Det innebär att det är två kvinnor och fyra män som har intervjuats, vilket avspeglar propor-tionerna bland dem som skickat in prov. Det är en variation i både ålder och i hur länge informanterna har arbetat som lärare. Två av informanterna arbetar på friskolor medan fyra arbetar på kommunala skolor. Både skolor och kom-muner varierar i storlek, men fem av lärarna arbetar i större komkom-muner och endast en i en mindre. Detta beror på att det var viktigare med hur proven såg ut än kommunstorlek. Urvalet kan sammanfattas enligt följande (de utvalda informanterna presenteras mer utförligt nedan):

Provgrupp 1 (upp till 50 procent minneskunskaper):

− David: undervisar på yrkesförberedande program på en friskola i en större kommun.

− Tomas: undervisar på yrkesförberedande program på en kommunal skola i en större kommun.

Provgrupp 2 (mellan 50 och 80 procent minneskunskaper):

− Lisa: undervisar på yrkesförberedande program på en friskola i en större kommun.

− Per: som undervisar på studieförberedande program på en kommunal skola i en större kommun.

Provgrupp 3 (80 procent eller mer minneskunskaper):

− Bengt: undervisar på både yrkes- och studieförberedande program på en kommunal skola i en mindre kommun.

− Sara: undervisar på studieförberedande program på en kommunal skola i en större kommun.

Intervjuerna förlades till lärarnas arbetsplatser, vilket de själva valde. Därigenom skedde intervjuerna på en plats som kändes bekant för lärarna. Detta är en för-del då lärarna lättare kan känna sig bekväma och slappna av under intervjun. Intervjuerna genomfördes som halvstrukturerade intervjuer utifrån en intervju-guide (se bilaga 2) över vilka frågor som skulle tas upp (Kvale & Brinkmann

2009). Lärarna fick inte intervjuguiden som helhet i förväg utan informerades om att intervjun skulle handla om ideala prov, vilka kunskapsformer som deras egna prov testar och vad som påverkar konstruktionen av prov.

Intervjuerna tog drygt en timme i snitt, den kortaste var 52 och den längsta 79 minuter. Intervjuerna var också dokumentbaserade på så sätt att lärarnas inskickade prov fanns med under intervjun. Intervjuerna spelades in med digital diktafon och transkriberades därefter till skriftlig text. Transkriberingen är i stort sett ordagrann, men anpassad efter skriftspråkets förutsättningar utan att förlora innehållets mening (Kvale & Brinkmann 2009, s. 193ff). Däremot har inte pauser, ljud, upprepningar av enstaka ord och liknande noterats, eftersom dessa saknar betydelse i denna studie. Likaså har inte avbrott i form av att kollegor eller elever kommit in under intervjun transkriberats. Lärarnas olika utsagor refereras sedan med deras egna uttryck och begrepp för att ge en tydligare bild av hur de uttrycker sig. Alla citat och referat i texten härrör således från intervjun med respektive lärare. Efter intervjuerna har de intervjuade lärarnas prov kategoriserats ännu en gång tillsammans med deras kommentarer kring proven. Intervjuerna utgör också grund för de andra forskningsfrågorna kring lärarnas provpraxis och ramfaktorer.

1.5.3 Analysprocessen av proven

Proven utgör en form av text, om än med ganska korta formuleringar. Analys av texter innebär alltid en tolkning (Bergström & Boréus 2005). I detta fall handlar det om att tolka vilka kvalitativa kunskapsformer som de olika prov-frågorna uttrycker. Det är därmed en kvalitativ innehållsanalys som har genom-förts. I en innehållsanalys används ett kodschema, vilket i detta fall är Blooms reviderade taxonomi. Kodningsenheterna utgörs av provens enskilda frågor till-sammans med de transkriberade utsagorna. Detta innebär att provens olika frågor har placerats in i taxonomins matris.

Varje provfråga och lärarens kommentar av densamma analyseras genom att dels kategorisera frågans innehåll, för att kunna placera den i taxonomins kun-skapsdimension, dels att kategorisera den kognitiva processen. Den förstnämn-da innebär oftast att se på frågans substantiv, vilka uttrycker vilken typ av stoff som efterfrågas. Den sistnämnda innebär att se på frågans verb, vilket uttrycker frågans kognitiva process. Det är dock inte alltid denna är framskriven. Ett exempel är frågan: ”Vilka är riksdagens uppgifter?” Substantivet är ”riksdagens

uppgifter”, vilket motsvarar faktakunskap (underkategorin specifika detaljer). Verbet ”är” motsvarar dock inte någon kognitiv kategori, men i frågan ligger underförstått att eleverna ska ”beskriva” vilka riksdagens uppgifter är, vilket i taxonomin motsvarar att minnas (underkategorin komma ihåg). Detta exempel skulle placeras i kategorin att minnas faktakunskap. I matrisen beskrivs detta med beteckningen A1, då kunskapsdimensionens fyra kategorier benämns med bok-stäverna A-D, och de sex kognitiva processerna med siffrorna 1-6 (se till exempel tabell 3, s. 71).

Många provfrågor innebär att flera kognitiva förmågor behövs och då placeras frågan i flera kategorier. Grunden är dock att en fråga placeras i den kategori som minst krävs för att lösa uppgiften. I exemplet ovan underlättar det natur-ligtvis om eleven kan förstå, men det krävs inte för att lösa uppgiften. I förklarin-gen av taxonomin betonas ett flertal gånger vikten av att det som uppgifterna kräver av eleverna måste vara något nytt för att de ska kunna placeras in i de mer komplexa kognitiva kategorierna. Om eleverna fått svaren i undervisningen eller i läroboken så ska uppgiften klassificeras som att minnas. Ytterligare en sak att notera är att lösandet av uppgifter i de mer komplexa kategorierna, som till exempel att analysera eller värdera, ofta också förutsätter att minnas och att förstå. I analyserna kommer dock uppgifterna inte att flerkategoriseras på detta sätt, utan de placeras enbart i de högre kategorierna då det är de kunskaperna som står i fokus i uppgifterna.

Exempel på analyser redovisas utförligt i studien för att ge transparens i hur bedömningarna har gjorts. Samtliga analyser har också lästs och granskats i seminarier under forskningsprocessen och synpunkter, vilka dock har varit få, som har framkommit har beaktats. Därigenom har analyserna prövats inter-subjektivt (Bergström & Boréus 2005).

1.5.4 Forskningsetiska överväganden

Lärarna fick själva ange om de kunde tänka sig att ställa upp för intervjuer i samband med att de skickade in prov. De gjorde detta genom att underteckna en samtyckesblankett och de hade då skriftligt fått information om deltagandet i forskningen. De informerades också på nytt vid själva intervjutillfället om fri-villigheten att delta och möjligheten att när som helst hoppa av deltagandet. De som intervjuats är också informerade om att de kommer att vara anonymiserade

i studien, vilket innebär att de namn som används i texten är fingerade. Därmed anses forskningsetiska krav vara uppfyllda (Kvale & Brinkmann 2009).

1.6 Presentation av lärarna

In document Vad kommer på provet? (Page 35-41)