Validitetsteorier ger, enligt Moss et al. (2006), en guidning om vad det innebär att hävda att en tolkning, ett beslut eller en handling (i original: interpretation,
decision, action, IDA) är giltig, på vilka grunder giltigheten baseras och hur man
utvecklar bättre tolkningar, beslut och handlingar.
Validitet handlar om till vilken grad bevisen stödjer eller motbevisar föreslagna tolkningar och användningsområden medan validering är själva handlingen att utvärdera föreslagna tolkningar och användningar (Kane, 2006). Validiteten baseras, enligt Stobart (2012), dels på avsikten med bedömningen och hur effektivt tolkningen och användningen av resultaten möter syftet, dels på hur effektivt det som bedöms säger något om domänen i stort (jfr Moss et al., 2006; Wiliam, 2011). Ämnesrelaterad validitet fokuseras inte i avhandlingen. Validitet innefattar även reliabilitet och rättvisa i bedömningen. Här handlar valideringen om att dra slutsatser om kvaliteten på bedömning och given feedback. Den feedback eleven får är beroende av var i lärandet eleven befinner sig och vilken feedback eleven har behov av. Det medför att likheten mellan den feedback olika elever får blir mindre relevant.
Validitet i formativa bedömningsprocesser relateras till möjligheten att förbättra lärande. Enligt Stobart (2012) uppnås en valid formativ bedömningsprocess då intentionen att förbättra lärandet leder till reella förbättringar. I avhandlingen fokuseras och valideras elevernas möjligheter att förstå mål och kvalitet, att använda given feedback i lärandet och deras agens i bedömningspraktikerna, inte måluppfyllelsen i respektive ämne. Stobart beskriver hur:
Validity is then about establishing what has contributed to further learning and what has gotten in the way of this. This will include the cultural and learning context, the quality of classroom interaction, the teacher’s and learner’s clarity about what is being learned, and the effectiveness of feedback. (Stobart, 2012, s. 241)
Som citatet belyser, innebär validering av bedömningspraktiker en utvärdering dels av olika bedömningsaspekter (förklaras nedan), dels av kulturella och kontextuella förutsättningar som möjliggör eller begränsar lärandet. Stobart har utformat ett ramverk för validitet i bedömningspraktiker (personlig kommunikation, 16 november 2012), i vilket han listar fyra aspekter av vikt för formativ användning av bedömning samt hot mot validiteten inom dessa fyra aspekter (se tabell 2 i artikel 1). Områdena beskrivs med begreppen
bedömningspraktiker, mål, diagnos och feedback.
Det största hotet mot validitet i bedömningspraktiker är faktorer som underminerar elevers möjligheter att delta i praktikerna. Perrenoud (1998) beskriver hur formativa bedömningsprocesser påverkas av det som pågår ”upstream”; det vill säga yttre arrangemang som påverkar elevers och lärares handlingar och interaktion. Interaktionen mellan elever och lärare är vanligtvis kulturellt betingad och kan kopplas till praktikens traditioner (jfr Kemmis et al., 2014). Elevers motivation och vilja att lära kan även påverkas av aspekter från en metanivå i skolsystemet. Det kan då röra aspekter som skolans fostrande uppgift, lärarens uppdrag och huruvida lärprocessen ses som kollektiv eller individuell, hur kursplanen ser ut och utvärderas (Perrenoud, 1998). Det kan även handla om hur förståelse för bedömningen kommer in i praktikerna via till exempel läroplaner eller Skolverkets allmänna råd. Hur styrdokumenten är konstruerade och skrivna samt hur mål i dessa utvärderas får, enligt Stobart (2012), konsekvenser för lärares autonomi och elevers agens. Det kan påverka hur styrd läraren blir i sitt uppdrag och få konsekvenser för relationer, tillit och motivation. Samarbetet i bedömnings-praktikerna kan undermineras, vilket får följder för validiteten (jfr Messick, 1989). Det finns här en tydlig koppling mellan validitets- och praktikteori.
Ett av nyckelantagandena vid formativ användning av bedömning är att effektivt lärande förutsätter att både elever och lärare är klara över vart eleverna är på väg, vilka intentionerna och målen med lärandet är (Black & Wiliam, 2012; Moss et al., 2006). Ett hot mot validiteten är om elever inte förstår vad de ska göra eller vad de ska lära och vad det innebär att uppnå målet på olika kvalitativa nivåer (Stobart, 2012). Ett annat hot är övertydliga
BEGREPPSVALIDITET OCH PRAKTIKARKITEKTURER
lärandemål som riskerar att leda till ytinlärning och avbockning. Detsamma gäller om uppgiften beskrivs i sådan detalj att undervisning och bedömning handlar om micro-teaching, det vill säga hur nivån på en enskild prestation kan höjas (jfr Torrance, 2012). Ecclestone (2002) summerar det som att elever blir ”hunters and gatherers of information without deep engagement in either content or process” (s. 36). Det formativa förhållningsättet applicerat i ett summativt klimat tenderar, enligt Stobart (2012), att få funktionen att stödja kraven på summativ bedömning. Det kan innebära att det formativa reduceras till en räcka av mini-summativa bedömningar (jfr Arter & Stiggins, 2004; Wiliam, 2004). Huruvida dessa bedömningar stödjer eleverna i lärprocessen blir beroende av om, och hur, elever och lärare använder dem.
Det finns fler hot mot validiteten som kan kopplas till diagnos. De två allvarligaste är underrepresentation (construct underrepresentation) – bedömningen är för snäv i förhållande till helheten – och irrelevans (construct irrelevant variance) – bedömningen är för vid och innefattar variabler som ligger utanför kunskapsområdet (Messick, 1989). När det gäller underrepresentation, bedöms inte hela domänen. Det kan handla om en överbetoning av särskilda empiriska aspekter och argument på bekostnad av andra eller att smådelar fokuseras på bekostnad av helheten. Vid irrelevans baseras bedömningen på empiriska bevis och argument som inte är direkt relaterade till den aktuella domänen. Det som bedöms är andra, i det aktuella fallet, irrelevanta aspekter. Irrelevans kan även vara kopplat direkt till själva uppgiftskonstruktionen. Om uppgiften konstrueras så att vissa elever får fördelar genom att ”knäcka koden” kan det vara detta resultaten visar, inte de förmågor, färdigheter och kunskaper uppgiften egentligen avsåg fånga29.
Hoten mot effektiv feedback, avslutningsvis, handlar om när feedback ges vid fel tillfälle, inte är relevant i förhållande till vidareutveckling av uppgift och förmågor, fokuserar på person snarare än uppgift, bidrar med lösningar snarare än strategier och/eller bidrar med för stor alternativt för liten utmaning i förhållande till den individuella elevens förutsättningar och behov (Stobart, 2012; jfr Gamlem & Smith, 2013). Oavsett hur informativ feedback är och om den ges vid rätt tillfälle, så finns det inga garantier för att den leder till lärande. Eleven har valet att använda feedback eller inte. Även om given feedback kan användas för att föra lärandet framåt, kan de emotionella och arbetsmässiga insatserna och konsekvenserna för eleven vara stora. Det kan
29Det kan jämföras med Koretz (2008), där felaktig användning av test listas som det tredje hotet mot validiteten.
medföra att eleven avstår från att använda given feedback. Det krävs en stark motivation och kunskaper hos både lärare och elever i hur man ger, skapar utrymme för och använder feedback, om feedback ska leda lärandet framåt (jfr Earl, 2013; Hayward, 2012; Sadler, 2010).
Som framgår av ovanstående, påverkar såväl elevers som lärares förståelse, handlingar och agens validiteten i bedömningspraktiker. Valida bedömnings-praktiker förutsätter således ett samspel mellan elever och lärare. Det är dock läraren som ansvarar för validiteten genom att skapa förutsättningar för eleven att förstå och använda bedömning och att vara en agent i lärandet.
I studien har validering utgått från huruvida det funnits kollaborativa bedömningspraktiker där både elever och lärare haft en förståelse för vart eleven är på väg (mål), vart hon befinner sig (kvalitet på prestationer) och hur hon kommer vidare (feedback och feed forward). Såväl underrepresentation som irrelevans har tolkats i förhållande till hur väl eleverna uppfattar att undervisnings- och läraktiviteter, innehåll och kunskapsinventeringar relaterats till målen för arbetsområdet (Biggs & Tang, 2011) samt hur väl feedback bidragit till att föra lärandet framåt. I min förståelse motsvarar detta evidensbasen i Messicks validitetsramverk (1989), begreppsvaliditet, relevans och nytta. Otydliga mål och för snäv eller för vid bedömning (under-representation och irrelevans), har även förståtts som utmaningar för elevens agens i bedömningspraktikerna. Mål, kvalitetskriterier och feedback som uttryckts med ett för eleverna komplicerat språk, har tolkats få konsekvenser för elevernas möjligheter att använda bedömningen i lärandet. En väsentlig del i valideringen av bedömningspraktikerna har fokuserat till vilken grad bedömningspraktikerna uppfattats bidra till att eleverna uppnår de avsedda målen samt bedömningspraktikernas avsedda respektive icke-avsedda påverkan på eleverna. Därav blir värdeimplikationer och konsekvenser i Messicks konsekvensbas viktiga att fokusera på. Stobarts validitetsramverk (2012) har använts som modell för att analysera, tolka och validera de fyra aspekterna i det empiriska materialet, vilket vidareutvecklas i kapitel 7. I kommande avsnitt beskrivs praktikteoriernas bidrag i avhandlingen.