Analysen har varit en pågående process under hela avhandlingsarbetet. Den har genomförts i flera steg, med olika analysverktyg och med begrepp från det teoretiska ramverket som beskrivs i kapitel 5. Elever och lärare har deltagit i det preliminära analysarbetet genom att ge feedback och bidra med förtydliganden (kapitel 6). De slutgiltiga analyserna har jag genomfört ensam.
Analyserna har haft som syfte att synliggöra 1) elevers förståelse av bedömning och av bedömningspraktiker och 2) de arrangemang som påverkar bedömningspraktikerna och samarbetet i forskningspraktiken. I nedanstående presenteras först innehållsanalys, följt av validitetsanalys och interrelaterad analys (IcDA-modellen). Dessa analyser har använts för att tolka elevers förståelse. Därefter beskrivs praktikarkitekturanalysen och praktikekologi-analysen, vilka använts för att klarlägga de arrangemang som formar bedömningspraktikerna respektive forskningspraktiken. Kapitlet avslutas med en sammanfattning av analyserna, vilken illustreras i figur 8.
7.2.1 Analys av elevers förståelse av bedömning
För att förstå hur elever uppfattar bedömning har Graneheim och Lundmans modell (2004) för innehållsanalys bidragit med ett konkret tillvägagångssätt i analysprocessen. Innehållsanalyserna har genomförts översiktligt vid preliminära analyser och mer ingående i analyser inför textproduktion.
Vid preliminära analyser har en kortform av innehållsanalysen använts. Citat med ett sammanhängande innehåll av relevans för studien, har valts ur de transkriberade samtalen. Dessa meningsbärande enheter har placerats i ett separat dokument och nyckelord har markerats. Utifrån nyckelorden har teman skapats. Hållbarheten i dessa teman har prövats gentemot de citat som placerats under respektive tema. Innehållsanalysen har kombinerats med tankekartor. Tankekartorna har även använts i analys- och planeringsmöten med elever och lärare för att åskådliggöra analysen (se 6.4.2). Citat från samtal och intervjuer har lyfts fram och tillsammans har vi reflekterat över om valda teman fångar in essensen i citaten. Vid behov har förändringar gjorts i tankekartorna. Teman som eleverna, lärarna och jag har ansett vara mindre relevanta i förhållande till studiens och utvecklingsarbetets fokus på bedömning och utveckling av bedömningspraktiker, till exempel ett tema om arbetsro, har plockats bort.
Efter fas 1 i studien genomfördes en mer omfattande innehållsanalys. De transkriberade intervjuerna djuplästes. De meningsbärande enheterna – citat med relevans för hur elever förstår bedömning – skrevs in en femfältstabell.
Tabell 4. Analystabell (efter Graneheim & Lundman, 2004)
Meningsbärande enhet Kondenserad,
textnära
Kondenserad, tolkad
Undertema Tema
Det är viktigt att det står vad jag behöver träna mer på. Det kan stå typ…den uppgiften som man har svårt för, alltså så kan man träna in sig på det och göra om provet tills man klarar det
Viktigt att det står vad jag behöver träna mer på
Vikten av feedback
Feedback Förståelse
Understanding
Tabell 4 visar ett utdrag ur innehållsanalysen som genomfördes efter fokusgrupintervjuerna (2010). Meningsbärande enheter kondenserades och kortades ner tills citatets kärna kvarstod. Den textnära kondenseringen tolkades utifrån frågan Vad representerar utsagan? Vid bearbetning av matrisen abstraherades de kondenserade textenheterna till underteman och teman. Med en tankekarta provades tolkningen av enskilda meningsbärande enheter mot teman och underteman. Tabellen korrigerades och tankekartan byggdes ut med noder.
I analysen framträdde tre kvalitativt skilda kategorier av hur elever förstår bedömning – prestation, förståelse och lärande (i artikel 1: performing, understanding och learning). Det som avgjorde i vilken kategori en utsaga placerades, var det sätt på vilket bedömningens utvärderande funktion och dess användning beskrevs. Utsagor som till sitt sammanhållande innehåll fokuserade summativ värdering av en prestation eller gav uttryck för en begränsad förståelse av bedömningsprocessen placerades i kategorin prestation. I dessa citat återfanns inga relationer mellan bedömningen och förståelse eller lärande. Utsagor som illustrerade en förståelse av sambandet mellan bedömning och målen för undervisnings- och läraktiviteter kategoriserades antingen som förståelse eller
lärande. Dessa båda kategorier var till viss del överlappande. Båda kategorierna
innehöll utsagor med en kognitiv dimension. De utsagor som placerades i
förståelse gav dock uttryck för en mer instrumentell syn och ett större behov av
kontextualisering än de som placerades i lärande. De senare kunde i högre grad kopplas till en förståelse av hur bedömningar och feedback kunde användas i lärandet och till kunskapens betydelse för den egna personen.
METODER OCH ANALYSER
Tabell 5. Exempel på citat inom respektive tema
”Typ när du får ett prov. Hon skriver bra och sen tar fram ’Du gjorde allt rätt!’ ’Bra gjort’ och sånt.” (Elev , år 5)
Prestation ”Om du till exempel får alla rätt så då vet du att det här förstår jag bra, men du
kan alltid göra bättre. Man kan alltid i alla fall som jag har lärt mig, som jag har hört, så kan man alltid lära sig bättre. (…) Du kan alltid fortsätta.” (Elev, år 7)
Förståelse
”Det handlar ju mest också om hur du själv också kan visa vad du kan för andra också så att de kan förstå, tror jag alltså. Det är ju…jo, jag tror också att lärarna också jobbar där och kan bedöma om du verkligen är bra på det. För att kan du till exempel i framtiden, om du får nåt jobb som handlar om att berätta för olika personer vad som händer, så måste du lära dig att se till andra, så att andra ska förstå.” (Elev, år 7)
Lärande
I tabell 5 exemplifieras de tre kategorierna med citat. Förståelse-citatet illustrerar att det finns en förbättringspotential knuten till bedömning. Lärande-citatet illustrerar en mer utvecklad förståelse för kopplingen mellan den givna bedömningen och framtida behov. Skillnaderna mellan kategorierna vidare-utvecklas i resultat- och diskussionsavsnitten i artikel 1.
7.2.2 Förståelse av bedömningspraktiker
För att koppla elevernas förståelse av bedömningspraktiker till praktikernas tillgänglighet och validitet har en analys i tre steg genomförts. I det första steget har kategorierna från innehållsanalysen av fokusgruppintervjuerna använts som analytiska begrepp för att synliggöra elevernas kvalitativt skilda sätt att förstå och beskriva bedömning. Kategorierna har således använts deduktivt samtidigt som deras giltighet prövats utifrån ny empiri. Beskrivningen av bedömningspraktikerna har därefter analyserats med hjälp av Stobarts ramverk för valid formativ användning av bedömning (personlig kommunikation, 16 november, 2012). Ramverket är uppbyggt utifrån förutsättningar och potentiella hot mot den formativa användningen utifrån tre huvudaspekter – klargjorda mål, diagnos och feedback (tabell 2, artikel 1). Elevernas utsagor har kopplats till aspekterna i ramverket. Vid analysen har ramverket använts för att få syn på hur mål kommunicerats, vilka bedömningsformer som använts, vilka möjligheter eleverna har haft att förstå bedömningens relation till mål och domän (Messick, 1989), samt hur, när och på vilken nivå feedback givits (Stobart, 2012). I elevernas beskrivning av bedömningspraktikerna, ramverkets fjärde aspekt, framträdde även kontext-specifika förutsättningar – undervisnings- och läraktiviteter (ULA), lärarstöd, lärares förväntningar och språk. Förutsättningarna möjliggör och begränsar
elevernas förståelse av bedömning och deras delaktighet och agens i bedömningspraktikerna (artikel 1).
Som ett operativt stöd i den övergripande analysen har den empiriskt framtagna IcDA-modellen (Interconnective DataAnalysis) använts (figur 7, jfr
figur 1, artikel 1). Modellen sammankopplar elevers kvalitativt skilda sätt att förstå bedömning (inre fält: innehållsanalysens kategorier) med grundläggande bedömningsaspekter (mittfält: Stobarts validitetsramverk) och kontext-specifika förutsättningar (yttre fält). Det inre fältet är statiskt medan de andra är rörliga. En utsaga har först kategoriserats utifrån prestation, förståelse eller
lärande. Därefter har aktuell bedömningsaspekt i mittfältet linjerats med
förståelsen. Slutligen har de kontextspecifika förutsättningarna beaktats och det yttre fältet linjerats med övriga. De olika kombinationerna som på så vis har uppstått, har givit en bred bild av hur bedömningsaspekter kan förstås i relation till specifika förutsättningar i praktiken och hur förståelsen är beroende av den individuella elevens uppfattning av bedömningens funktion.
Figur 7. IcDA-modellen
Figur 7 ger exempel på tre möjliga analytiska kombinationer som uppstår genom att en vridning av de båda yttre fälten. Citaten illustrerar länken mellan prestation, diagnos och lärarförväntningar; förståelse, klargjorda mål och språk; samt lärande, feedback och bedömning som en del i undervisnings- och läraktiviteterna. Förutsättningarna i det yttre fältet är ofta sammankopplade med varandra. Elevens förståelse kan därmed formas av flera förutsättningar.
METODER OCH ANALYSER
7.2.3 Arrangemang som påverkar
bedömningspraktiker
I den ovan beskrivna analysen har elevers förståelse av vilka förutsättningar som påverkar bedömningspraktikerna belysts. För att förklara vad som formar dessa iakttagbara förutsättningar har arrangemang som påverkar bedömnings-praktiker och utvecklingen av bedömningsbedömnings-praktiker identifierats och tolkats utifrån praktikarkitekturteorin (Kemmis et al., 2014). I analysen utgör citat ur de transkriberade elev- och lärarsamtal det empiriska underlaget. Tabell 6 ger en schematisk bild över analysen.
Tabell 6. Praktikarkitekturanalys (fritt efter Kemmis et al., 2014, s. 39)
Bedömningspraktiker Praktikarkitekturer
Huvudsakliga tal som rör förståelse och språk i
bedömnings-praktikerna
Kulturellt-diskursiva arrangemang: I det semantiska rummet
påverkas elevers och lärares förståelse till exempel av skrivningar i läroplaner och styrdokument, av den forskning om bedömning som får utrymme vid bland annat komptensutvecklingssatsningar och på Skolverkets hemsida. Huvudsakliga handlingar, och förutsättningar för handlingar, i bedömningspraktikerna
Materiellt-ekonomiska arrangemang: I det fysiska rummet påverkas
elevers och lärares handlingar bland annat av arrangemang som planeringar, tid, dokumentationsverktyg, tillgång på datorer samt övergripande organisationsstrukturer, scheman och strukturer för professionellt lärande.
Huvudsakliga relationer, roller och positioner i bedömningspraktikerna
Socialt-politiska arrangemang: I det sociala rummet påverkas elever
och lärare av arrangemang som handlar om solidaritet och makt. Det kan röra sig om beslut, hierarkier, samarbetsstrukturer och ansvarsfördelning.
Analysen inleddes med att huvudsakliga tal, handlingar och relationer, som beskrev de studerade bedömningspraktikerna, identifierades. Dessa utgjorde analysenheterna (vänster kolumn). Därefter identifierades betydande kulturellt-diskursiva, materiellt-ekonomiska och socialt-politiska arrangemang, vilka möjliggjorde och begränsade observerade tal, handlingar och relationer i bedömningspraktikerna (aspekter i siten, höger kolumn).
I analysen har tal, handlingar och relationer särskilts, trots att de i praktiken förutsätter och är beroende av varandra. Bedömning och dess användning kan exempelvis både tolkas som arrangemang, som påverkar tal och förståelse i det semantiska rummet, och som aktiviteter i det fysiska rummet. Styrdokument och texter som påverkar förståelsen för bedömning har kategoriserats som kulturellt-diskursiva arrangemang. Vid den praktiska tillämpningen av bedömning har själva handlingen fokuserats; bedömning har
i de fallen tolkats som aktiviteter. Hur dessa aktiviteter organiseras, möjliggör och begränsar elevernas handlingar. Till materiellt-ekonomiska arrangemang hör det som möjliggör och begränsar lärares handlingar. Dessa arrangemang härrör från såväl skolans praktiker som yttre praktiker: ekonomiska resurser, valda dokumentationsverktyg (här system Q) samt tester eller prognoser vilka genomförs på uppdrag av regeringen eller den lokala förvaltningen (artikel 2).
7.2.4 Arrangemang som påverkar samarbetet i
forskningspraktiken och utvecklingsarbetet
I analysen av forskningssamarbetet som praktik har Kemmis et al. (2014) teori om praktikarkitekturer och praktikekologier använts. Den första delen av analysprocessen har följt den som beskrivs i tabell 7, här med fokus på samarbetet i forskningspraktiken och utvecklingsarbetet. Fältanteckningar och transkriberade samtal lästes igenom. Samarbetets aspekter kategoriserades som tal, handlingar och relationer. I det semantiska rummet placerades utsagor och anteckningar som rörde gemensam begreppslig förståelse. I det fysiska rummet placerades forskningsmetoder, här tolkade som handlingar, medan aspekter som relationer, tillit, roller och agens placerades i det sociala rummet. Därefter identifierades de arrangemang som möjliggjorde eller begränsade samarbetet i det semantiska, fysiska och sociala rummet (jfr tabell 7).
Kategoriseringen tydliggjorde att vad som var möjligt för elever, lärare och forskare att säga och göra, påverkades i olika omfattning av de identifierade arrangemangen. Arrangemangen visade sig emanera från olika omgivande och yttre praktikers praktikarkitekturer. Som ett andra led i analysen av samarbetet användes därför teorin om praktikekologier (kapitel 5, figur 5). De praktiker som närmast påverkat forskningspraktiken identifierades som praktiker för elevers lärande respektive lärares lärande. Arrangemang som framkommit i den första analysen länkades till respektive praktiks praktikarkitekturer och tolkades utifrån hur de utgjorde möjligheter eller begränsningar för samarbetet i forskningspraktiken och utvecklingsarbetet. Nedanstående citat exemplifierar hur kulturellt-diskursiva arrangemang som härrör från praktiker för elevers lärande påverkade samarbetet i utvecklingsarbetet.
Jag tänker på reaktionen vi fick från eleverna i 8:an när vi sa att de skulle ta sina arbeten om franska revolutionen och bearbeta den texten även om de hade lämnat i den. Vissa var bra och andra var tagna rakt från nätet. ’Nu ska ni bearbeta den här.’ Där var ju de elever som normalt anses som duktiga som bara: ’Varför då? Jag är ju färdig.’ (Lärare, svenska och religion, 2012)
METODER OCH ANALYSER
I den aktuella situationen utgjorde elevers och lärares skilda förståelse, om vad det innebär att använda bedömning vid utveckling av förmågor och texter, begränsningar för samarbetet i utvecklingsarbetet.
Arrangemang som inte härrörde från praktiken för elevers lärande och lärares lärande länkades till andra praktiker. Praktikarkitekturer från samtliga praktiker inom utbildningskomplexet (Kemmis et al., 2014) och från yttre praktiker, formade i olika omfattning forskningspraktiken och utvecklings-arbetet (artikel 3). Fältanteckningen ger en bild av hur yttre praktiker påverkade samarbetet i både forskningspraktiken och utvecklingsarbetet.
Pedagogerna hade bestämt sig för att arbeta mer elevaktivt i bedömningsarbetet. När kravet på att sätta prognos i [system Q] kom var de inte förberedda utan fick släppa en del av sina planerade aktiviteter för att hinna med till utsatt datum. Det påverkade vår process så till vida att de inte kunde vare sig arbeta med bedömning som tänkt eller återkoppla till mig som planerat. (Fältanteckning, 18 november, 2012)
Yttre praktikers påverkan skedde vanligtvis indirekt via ledarskapets praktikarkitekturer vilket lärarcitatet nedan belyser.
När man pratar med skolledarna om det så menar de att mycket av det som tar upp tiden som finns utöver vår undervisningstid det kommer ju uppifrån. […] Vi skulle kunna sitta här och rabbla i timmar bara de senaste årens alla projekt och grejor, som ska göras, som kommer uppifrån. (2012)
Analysen av hur omgivande och yttre praktikers praktikarkitekturer formar samarbetet i studien är inte heltäckande. Den har identifierat de dominerande arrangemang som möjliggjort och begränsat samarbetet i forskningspraktiken och utvecklingsarbetet samt utvecklingen av bedömningspraktikerna.