Dolls 4R: Ett mått på kunskaps- utveckling?
– En studie om bedömning av studentens kun- skapsutveckling
Kandidatuppsats 15 hp | Utbildningsvetenskap | Vårterminen 2014
Av: Marcus Stenhols
Handledare: Staffan Nilsson
Abstract
Title: Dolls 4R: A measurement of knowledge development – A study of students’
development of knowledge By: Marcus Stenhols
Fellow Adviser: Staffan Nilsson
Aim: The aim of this study was to examine a way to measure students’ knowledge development by using a self-made measure instrument based on William Doll’s post- modern curriculum.
Question: Is it suitable to use an self-made measure instrument based on William Doll’s post-modern curriculum theory to measure development of knowledge?
Methods: The study was based on process-hermeneutics and was focused on analy- sing college students’ written and oral reflective thoughts. The data was collected over three lessons, where six students’ written reflective thoughts were handed in. An ob- servation was carried out each lesson for an extra control of validity. A group of nine students was taken as a control of the measure instrument’s reliability. The measure in- strument was built from Doll’s categories: Richness, Recursion, Relations and Rigor.
Each category was divided by three levels of thinking. Each reflective task was jud- ged by two judges. An extra text analysing was done to control whether there was a knowledge development outside the measure instrument.
Results: The results of the judged reflective tasks was tested with both Cohen’s Kappa and Cronbach’s alpha. Cohen’s Kappa revealed the accordance of k= -0.047 n=9 for the control group and k= 0.364 n=14 (reflective tasks) for the test group. Cronbach’s alpha revealed a consistency of 0.645 n=9 (students) in the control group and 0.351 n=6 in the test group. After three lessons, judge one considered 66%, judge two 33% of the students demonstrated acquired development of knowledge. One criteria, Rigor, showed a low rate of acquired knowledge development. The reason behind that could be in the nature of the theory behind Rigor itself, and the students’ understandings of it.
Conclusion: The results does not support the premises of this study. The tests of reliability fail to support the claim that the measure instrument should be reliable enough to be used to measure knowledge. The instrument needs to be altered to be able to serve as a reliable tool for measurement. Further research is needed in order to reveal if the instrument and Doll’s 4R theory are useful as curriculum and measuring tool for knowledge development.
Nyckelord: Postmodernism, läroplansteori, Doll 4R, William Doll, Transformativ läroplan.
Keywords: Post-Modern curriculum, curriculum, Doll 4R, William Doll, Transfor- mative curriculum.
Innehåll
1 Inledning 1
1.1 Disposition . . . . 2
2 Syfte 2 3 Teoretisk referensram 3 3.1 Modern kontra postmodern läroplansteori . . . . 3
3.1.1 Modernistiska läroplansteorier . . . . 3
3.1.2 Postmodernistiska läroplansteorier . . . . 4
3.1.3 Dolls 4R . . . . 4
3.1.4 Bedömningsinstrumentet som sammanfattning . . . . 8
3.1.5 Kunskapsbedömning . . . . 10
3.2 Postmodernistiska läroplansteorier i praktiken . . . . 10
4 Metod 12 4.1 Vetenskaplig ansats . . . . 12
4.2 Avgränsning . . . . 12
4.3 Undersökningsgrupp . . . . 13
4.4 Datainsamling . . . . 13
4.5 Bedömning . . . . 14
4.6 Tolkning av data . . . . 14
4.7 Reliabilitet . . . . 15
4.8 Validitet . . . . 16
4.9 Etiskt förhållningssätt . . . . 16
5 Resultat 17 5.1 Bedömningsinstrument . . . . 17
5.1.1 Tillförlitlighet kontrollgruppen . . . . 17
5.1.2 Tillförlitlighet testgruppen . . . . 17
5.1.3 Reell kunskapsutveckling i rådata? . . . . 18
5.2 Observationer . . . . 18
5.3 Textanalys . . . . 19
6 Analys 20 6.1 Tillförlitligheten . . . . 20
6.2 Kunskapsutveckling . . . . 21
6.3 Observation och textanalys . . . . 22
7 Diskussion 23
8 Slutsats 25
9 Referenser 26
10 Bilaga 1 28
10.1 Bedömningsmall . . . . 28
11 Bilaga 2 31
1. Inledning
Det västerländska skolväsendet har under en lång tid fokuserat på kunskapsinhämtning och kunskapscertifiering: Studenten ska ha uppnått en viss kunskapsnivå under en tids- period och fått det certifierat med betyg (Säfström, 1999, s. 221–230). De skolpolitiska debatterna avlöser varandra när det kommer till svenska skolelevers prestationer (ex:
Brevinge, 2012; Winter, 2014). När den svenska skolpolitiken sadlade om inför den nya skolreformen, 2011, skiftade debatten naturligt till att bland annat handla om de förmågor och krav som läroplanen skulle innehålla (Svanelin, 2011). Den skolpolitiska debatten finns även inom Sveriges universitet och högskolor, där det ibland debatteras om lärarstudenternas antagningspoäng (Örstadius, 2013) eller om hur svår högskolestu- diernas lättja anses vara (Alvesson, 2014).
Redan för 15 år sedan påpekade Säfström (1999) att det saknades en verklig natio- nell diskussion kring alternativa läroplansteorier och bedömningsmetoder. Diskussionen har i dag inte tilltagit i någon omfattning, men den är dock livlig i den internationella skoldebatten. I den internationella debatten ställer läroplansforskaren Stacy Reeder, som ett led i att försöka skapa en diskussion kring vad skolväsendet ska ägna sig åt, en myc- ket intressant fråga:
Is it possible for us to transform schooling; to see beyond simply attempting to make adjustments in order to raise test scores or better prepare students for the next course in the sequence? (Reeder, 2005, s. 247)
Sprunget ur liknande tankar har flera forskare, exempelvis läroplansforskaren William Doll (1993, 2012), diskuterat hur skolväsendet kan använda en läroplansteori som är byggt på studentens utvecklingsprocess istället för måluppfyllelse. Diskussionerna om alternativa, så kallade postmodernistiska, läroplansteorier har hittills hållit sig på en teoretisk nivå. Få studier (ex: Kember, 1999; Lewis, 2004; Mattsson & Mutvei, 2013) har undersökt alternativa läroplaners funktion på vuxna studenter.
Utifrån Dolls idéer bidrar jag med denna studie till forskningsområdet genom att skapa ett postmodernistiskt bedömningsinstrument och studera dess funktion i prakti- ken.
1.1 Disposition
Teoridelen behandlar Dolls postmodernistiska läroplansteori som sedan följs av en ge- nomgång av funna empiriska bedömningsstudier.
Metoddelen behandlar ämnets ansatsdel samt den del som utgör den empiriska grun- den för studien. Däri förklaras bedömningsinstrumentets empiriska konstruktion och tillvägagångssätt. Metoddelen avslutas med sedvanlig etisk diskussion.
Resultatdelen behandlar den information som kom fram vid den empiriska under- sökningen. Resultaten analyseras och diskuteras i analys och diskussion.
2. Syfte
Syftet med denna studie är att undersöka om det går att bedöma kunskapsutveckling ge- nom att studera lärarstudenters reflektioner utifrån ett egentillverkat postmodernistiskt bedömningsinstrument som utgår från William Dolls postmodernistiska läroplansteori.
Frågeställning: Går det att bedöma kunskapsutveckling med mitt egentillverkade be- dömningsinstrument utifrån William Dolls postmodernistiska läroplansteori?
3. Teoretisk referensram
Läroplaner och dess bedömningsmetoder har länge varit en av skolans hörnstenar. Re- dan på 1500-talet började filosofer som John Calvin utforma det som vi idag känner igen som Curriculum Vitae – Livets väg (Doll Jr, 2012). Utifrån läroplansforskaren William Pinars (I: Doll Jr, 1993, s. 13) resonemang, för Doll en argumentation om att läropla- nen inte enbart består av innehåll och material, såsom en fysisk bok, utan är istället en process eller en väg som studenten färdas genom sin utbildning. Via dialoger, re- flektionstillfällen samt utvecklingstillfällen, genomgår studenten en erfarenhetsmässig förändring på en väg som kan liknas vid Curriculum Vitae. Med detta resonemang i tankarna avser jag läroplanen som en väg till inlärning om inte något annat anges.
I den här delen strukturerar jag upp en bakgrundsgenomgång av två grundläggande läroplansteoretiska perspektiv, där Dolls postmodernistiska läroplansteori utgör basen för denna studie. En redogörelse av empiriska studier avslutar detta kapitel.
3.1 Modern kontra postmodern läroplansteori
3.1.1 Modernistiska läroplansteorier
Som framgår av inledningen till denna sektion, har läroplanen en lång historia bakom sig och kan spåras ända till 1500-talet, då läroplanen för det västerländska skolväsendet till större delen styrdes av kyrkan. Kyrkans roll som styrande organisation för utbildningen började avta under den vetenskapliga revolutionen (Doll Jr, 2012). I industrialismens svallvåg har sedan ett nytt utbildningssystem trätt fram.
Enligt forskaren Antony Hargreaves (1994, s. 26–32) kallas den nya reformen för modernism eller den modernistiska perioden. Under 1900-talet var västvärldens styran- de politiker skeptiska till lärarna och dess yrkesprofessionalitet. Det fanns ett behov av att kompensera lärarnas olikheter i sin undervisning. Elevernas kunskaper kontrollera- des med standardiserade kunskapsutvärderingar, ämnade att kontrollera stoff som lärar- na var skyldiga att lära ut. Rådande fokusering på industrialismen resulterade i ett behov av en storskalig industriell utbildning med stora klasser, där eleverna var klassificerade efter ålder och standard. Alla barn skulle utbildas för industriproduktion (Hargreaves, 1994, s. 26–32), vilket medförde stor systematisk byråkrati med tydliga läroplaner.
Utifrån den rådande modernistiska samhällssynen beskrev Ralph W. Tyler en läro-
plansteori i sin bok Basic Principles of Curriculum and Instruction (1950), som har kommit att bli en mall för läroplansskapare än idag (Tyler, 1976). Tyler förespråkade en tydlig linjär läroplan som skulle föra studenten från A till B i en tydlig progres- sion. Kunskapsutvärdering var för Tylor viktigt och standardiserade prov skulle som ovan beskrivit, säkerhetsställa att eleverna hade tillräckliga kunskaper för framtida ar- bete. Han tog under senare tid (Tyler, 1976) ståndpunkt till inlärning som sker utanför klassrummet och implementerat den i sin bedömning, vilket liknar den holistiska syn på kunskapsbedömning som i Sverige används idag (Skolverket, 2011 kap2 Betyg och Bedömning).
3.1.2 Postmodernistiska läroplansteorier
Enligt läroplansforskaren Patrick Slattery (1995, s. 20–28) är postmodernismen en sam- hällsförändring som söker ombilda den moderna synen på samhället genom att dekon- struera modernismens syn på kultur, språk, sanning och vetenskap. Genom ett tveeggat svärd i en cyklisk process, när det gäller att samtidigt ge kritik och hyllning i dialo- ger, söker anhängare till postmodernismen skapa en alternativ förståelse av samhället där både historia och framtid berikar nuet. Den cykliska processen går därför ifrån mo- dernismens linjära samband som via kriterier kan bli mätt, analyserat och objektifierat.
Slattery beskriver postmodernismens komplexa samband som att titta in i ett kalejdo- skop och se ett kaotiskt och komplext mönster som finner sin struktur (Slattery, 1995, s.
20–28).
Under åren har många försökt att göra en läroplan utifrån olika postmoderna läro- plansteorier. De flesta av dem försöker framhäva ett reflektivt tänkande hos vuxna uni- versitetsstudenter världen över. Här nedan återfinns en läroplansteori som utgör grunden för den här uppsatsen:
3.1.3 Dolls 4R
Doll (1993, 2008) ifrågasätter den moderna synen och Tylers linjära läroplan med förut- bestämda mål och dess ständiga kunskapsutvärderingar. Han anser att en postmodernis- tisk läroplan ska vara öppen och formbar. Sådana läroplaner ska fokusera på reflekteran- de processer som uppstår vid lärande istället för färdig kunskap utifrån förbestämda mål (Doll Jr, 2008). Doll delar upp sin läroplan i fyra områden som var och en utgör ett nät- verk till varandra, han namnger dem som 4 ”R”; ”Richness”, ”Recursion”, ”Relations”
och ”Rigor” (Doll Jr, 1993, s. 176-183):
Richness
Doll (1993 s. 176-183) anser att alla läroplaner behöver ett djup för att kunna fungera som en fullvärdig vägledning för både lärare och studenter. Vanligtvis får en traditionell läroplan sitt djup från sina förutbestämda ämnen såsom traditioner, skriva, räkna och läsa. För att en postmodernistisk läroplan ska vara både formbar och dynamisk krävs det andra egenskaper än enbart upplägget av ämnen. Det krävs enligt Doll en rätt blandning av misslyckanden, möjligheter, kaos och spridning tillsammans med möjligheterna att få manipulera sin omgivning.
Doll (1993, s. 87, 162) anser att varje människa har en egen förmåga att organise- ra, generalisera och skapa utifrån sin omvärld. Han förklarar i sin tillbakablick (Doll Jr, 2008) hur sambandet han såg mellan Jean Piagets biologiska jämviktsteori och Ilyla Prigogines teorier om självorganisation kom att spela en avgörande roll för hans sö- kande efter en alternativ läroplansteori. Han inspireras således av Prigogines teorier om självorganisation och spridningsstruktur där varje organism, eller för den delen natur- fenomen, ständigt strävar efter att organisera sig själv i en stabil jämvikt (se: Doll Jr, 1993; Smitherman, 2005). Doll (1993, s. 81) belyser sedan Piagets tertium quid, den tredje vägen: Interaktiva dialoger och reaktioner mellan individ och lärmiljö, som i det här fallet blir det tredje alternativet i det klassiska dilemmat mellan arv och miljö. Doll instämmer med Piaget (se: Piaget, 2013) som anser att faktorer som misstag, missför- stånd och förvirring skapar den ojämvikt som ständigt finns i strävan efter ett jämvikts- tillstånd: Då studenten i sin utveckling ständigt befinner sig i instabilitet tills hon har uppnått nästa utvecklingsstadium. Den förskjutna jämvikten eller spridningsstrukturen, från instabilitet till stabilitet, ojämvikt till jämvikt, möjliggör sedan att kognitiva föränd- ringar uppstår som leder till inlärning (se: Doll Jr, 1993; Smitherman, 2005).
För att skapa tillfällen för misstag, missförstånd och förvirring utgår Doll från na- turvetenskapens kaosteorier och argumenterar att även undervisningen, som allt annat i universum, underkastas fysikens lagar. Han definierar kaos som antingen en rik skapad massa som ordning utmynnar i eller ett kontinuerligt samspel mellan skapad ordning och den ursprungliga massan. Undervisningen bör således utgå från den sista defini- tionen av kaostillståndet som utgör en viktig faktor för en rik och fyllig läroplan (Doll 1993, s. 87, 162).
Läroplansforskaren Sarah Smitherman (2005, s. 158–169) sätter sin tolkning av Dolls ovan resonemang i ett sammanhang med fokus på konversationer i klassrum- met som kan variera beroende på deltagarnas respons på andras beteendemönster. Hon sätter sedan in konversationerna i samband med det utrymme som läraren har utifrån läroplanen. Fastän läraren är bunden till sina styrdokument har hon en stor repertoar av undervisningsmöjligheter, som tillsammans med konversationer utifrån deltagarnas beteendemönster utgör en grogrund för nästintill en oändlig variationsrikedom i under-
visningen och därmed en ny version av kaos.
En formbar läroplan är således en läroplan som hela tiden tillåter, uppmuntrar och utvecklar individens kapacitet till en komplex organisation (Doll 1993, s. 87). Richness utgör djupet och nätverket i läroplanen som möjliggör lärande. Richness utgör också själva möjligheten till inlärning via förskjutning av ståndpunkt som sätts igång tillsam- mans med de tre andra R:en som förklaras nedan.
Recursion
Rekursion kan definieras som: En process som ger upphov till en liknande iteration (upprepning) (Rekursion: Wiktionary, 2014). Med det menas att studenten går tillbaka till sina gamla erfarenheter, omvärderar och upprepar tankeprocesserna för att möjligen komma fram till en annan ståndpunkt (Doll Jr, 1993, s. 177-181). En rekursiv interaktion med omgivningen är en förutsättning för att skapa en process där spridningsstruktur uppstår (beskrivet ovan).
En viktig del i den rekursiva processen är studentens förmåga att reflektera över sina erfarenheter. Forskaren Jack Mezirows (1997, 2003) framställning av en egen läro- plansteori enligt vilken studenters lärande frammanas genom reflektioner i dialog med varandra, utgör en komplettering till Dolls ”Recursion”. I dialog med andra utvecklar studenten sin kognitiva förmåga att göra kritiska reflektioner om sin omvärld. För att kunna göra kritiska reflektioner behöver studenten ha utvecklat förståelse och förmå- gor nog att kunna validera sina erfarenheter med andra. Fastän Mezirow avgränsar sin läroplansteori till reflektiva processer utgör hans teorier i mitt tycke en bra grund för förståelsen av vad Doll menar med rekursion.
Doll (1993, s. 178-179) är dock väldigt noga med att poängtera att det finns en skarp och tydlig skillnad mellan rekursion och repetition, där reflektionsprocessen har en av- görande positiv roll för den rekursiva processen och en negativ roll för repetitionen. Vid repetition fokuseras arbetet på att gamla kunskaper ska befästas genom återkommande övningar. Medan reflektion i en rekursiv process ämnar att skapa nya möjligheter till inlärning enligt ovan. Det är just processen att gå tillbaka och lära sig något nytt av sina tidigare erfarenheter, som utgör basen för en formbar läroplan. Det är med andra ord väldigt viktigt att studenterna får samtala och reflektera med varandra om frågor som rör deras liv och bildning i nuläget.
Relations
Doll (1993) anser att själva konceptet samband har en avgörande roll i den postmoder- nistiska läroplanen. Han förklarar att de pedagogiska sambanden utgör själva klistret i en läroplan, där olika delar av ämnesinnehållet, som för studenten annars är små öar av information, får en helhet av vad ämnet tar upp. Inom det pedagogiska sambandet ligger
också förmågan att se att flera ämnen hör ihop till en enda stor kosmologisk enhet. Detta nätverk av ämnesområden är en ytterligare del i ”Richness”.
Det är inte bara ämnesinnehållet som ska klistras ihop genom samband med varand- ra. Doll tar också upp samband mellan olika händelser och skeenden som studenten möter i vardagslivet. För att lära sig behöver studenten t.ex. koppla de naturorienterande teorierna till vardagligt kända händelser som studenterna stöter på. Det kan också vara samband mellan händelser i en läsebok som kommer upp via associationer när studenten konfronteras med orden i en text (Doll Jr, 1993, 2008). Gregory Bateson (I: Reynolds, 2005, s. 265) menar att en tolkning av olika samband behövs för att skapa mening och förståelse av informationen som studenten tar in.
Studenten behöver inte enbart se pedagogiska samband för att bli medveten om sin omvärld. Doll anser också att det finns kulturella samband där narrationer och ling- vistiska dialoger utgör en väldigt viktig del av studentens inlärning. Studenten får en varseblivning av sig själv och andra genom att få deltaga i berättelser och dialoger med andra människor. Det faller tillbaka till den rekursiva process som är beskriven tidigare (Doll Jr, 1993).
Rigor
För att läroplanen och den tillhörande undervisningen inte ska spinna ut i ett slags okon- trollerbart fissionsmönster, som vi kan se vid radioaktivt sönderfall, av sina ständigt självkontrollerande nätverk av trådar, behöver varje läroplan ett kontrollmoment. I den traditionella modernistiska läroplansteorin kan begreppet Rigor definieras som The qua- lity of being extremely thorough, exhaustive, or accurate (Rigor: Oxford Dictionary, 2014). Den traditionella läroplansteorin litar således på någon form av kunskapsutvär- dering för att kunna kontrollera om studenten har fått med sig rätt kunskaper (Tyler, 1976).
För den postmodernistiska läroplansteorin har begreppet en annan betydelse: Be- greppet går att definiera som Demanding, difficult or extreme conditions (Rigor: Oxford Dictionary, 2014). Definitionen ligger mer i linje med det som Doll (1993) anser är korrekt i det postmoderna sammanhanget. Rigor är i det här fallet situationer där obe- stämdhet inom en viss tolkningsram inträder när både studenter och lärare reflekterar över hur de kan gå vidare på tankespåret och hur de kan jobba med att byta perspektiv för att komma vidare med problemet. Att kunna byta perspektiv och sedermera kunna omvärdera sina tankekoncept är en nödvändighet för att sedan omforma och undan- tränga sina dolda förutfattade meningar och eventuella hypoteser. Doll anser att det är viktigt att studenten kan undantränga sina förutfattade meningar och ständigt utforska kombinationer, mönster och tolkningar för att kunna komma vidare med sin inlärning.
3.1.4 Bedömningsinstrumentet som sammanfattning
Utifrån min egen tolkning av Dolls ovan beskrivna läroplansteori har jag gjort det be- dömningsinstrument som används i den här studien. Nedan beskrivning av instrumentet utgör härmed en bra sammanfattning av vad som menas med de ovan beskrivna 4 R:en.
En mer utförlig beskrivning av skapandet av instrumentet hittar du i metoddelen, instru- mentet i sin helhet hittar du i bilaga 1.
Bedömningsinstrument:
Richness:
I kolumnen Richness återspeglas studentens förmåga att förskjuta sin ståndpunkt från sin nuvarande till ny kunskap. Där studenten ger sken av att vilja lära och ta in den in- formation som det reflekteras om. Den här kategorin relaterar till de andra kategorierna och kan med fördel bedömas sist. Richness delas in i fyra nivåer:
0. Studenten har en fast ståndpunkt:
Studenten håller sin gamla ståndpunkt utan att ge sken av att vilja förändra sig.
Studenten refererar redan känd fakta utan reflektioner.
1. Studenten har en ståndpunkt och är beredd att ändra den:
Studenten håller sin gamla ståndpunkt men ger sken av att ändra sina vyer och ta in ny information. Studenten är på väg att ändra sin ståndpunkt via Recursion, Relations och Rigor.
2. Studenten förskjuter sin ståndpunkt mot nya mål:
Studenten är i förändring och ger sken av att förstå den nya informationen.
3. Studenten har bytt ståndpunkt och visar insikt i den nya kunskapen:
Studenten har nu tagit in den nya kunskapen och reflekterar insiktsfullt vad den nya informationen kan betyda för henne.
Recursion:
I kolumnen Recursion återspeglas studentens förmåga att reflektera över sin inlärning eller olika processer som förekommer i inlärning och i ämnet i fråga.
0. Studenten använder gammal kunskap utan att reflektera:
Studenten reflekterar inte över ämnet utan refererar text eller använder känslo- mässiga argument och reflektioner som inte utgör grund för lärande.
1. Studenten reflekterar om och runt ämnet:
Studenten håller sina reflektioner runt ämnet utan att lyfta blicken på sig själv eller på inlärningsprocessen. Här inräknas även reflektioner som rör processer runt ämnet, hur olika fenomen påverkar ex. naturen.
2. Studenten reflekterar över inlärningsprocessen:
Studenten riktar sina reflektioner runt sin inlärningsprocess och ställer frågor om sin inlärning och processerna runt.
3. Studenten reflekterar meta-kognitivt om ramar, begränsningar och kriterier för sitt eget lärande:
Häri ingår reflektioner om vad studenten förstår samt genom vilka ramar studen- ten förstår.
Relations:
Här ser studenten samband mellan olika ämnen, fenomen, kulturella händelser osv.
0. Studenten ser inga samband:
Studenten gör inga kopplingar till ämnen, kulturella företeelser eller fenomen.
1. Studenten ser samband mellan ämne och vardagssituationer:
Studenten gör kopplingar mellan sitt ämne och erfarenheter i sin vardag tex. elekt- ricitet kan användas för att värma huset hemma.
2. Studenten ser samband mellan ämnesområden:
Studenten kan se samband mellan olika ämnesområden och kan koppla dessa till en helhet t.ex. att biologi, fysik och kemi hör ihop på olika sätt när det gäller energi.
3. Studenten kan koppla sina egna erfarenheter med naturen i flera händelseled:
Studenten kan se flera samband efter varandra.
Rigor:
I den här kolumnen visar studenten att hon kan byta perspektiv i sina reflektioner.
0. Studenten ser enbart sitt perspektiv på problemet:
Studenten ger sken av självcentrering och reflektioner som enbart utgår från sig själv. Studenten byter aldrig perspektiv för att se andra lösningar på problemet i fråga.
1. Studenten byter perspektiv inom problemet:
Studenten byter perspektiv vid reflektion inom problemets gränser, tex till djur, andra människor, olika processer som kan tänkas vara andra lösningar.
2. Studenten ser problemet från en samhällsvy:
Studenten vidgar sitt perspektiv till att inrama samhällets perspektiv på problemet.
Hur ser lösningarna ut ifrån ett samhällsperspektiv.
3. Studenten kan anta ett globalt perspektiv:
Studenten antar ett bredare perspektiv på global nivå där hon reflekterar över hur ämnet kan påverka världen utifrån världsliga perspektiv.
3.1.5 Kunskapsbedömning
Även om vi nu har en utförlig beskrivning av Dolls 4R så är det inte säkert att teorin går att använda till bedömning. Den postmodernistiska läroplanen är inte så enkel till sin natur. Ju mer komplexa nätverken blir desto svårare blir det, enligt Doll (1993, s.
172–173), att utvärdera studenternas kunskaper. Han menar att standardiserade test och inlämningsuppgifter inte skulle återge studenternas reflektioner och kunskapsutveck- ling som detta slag av läroplan försöker skapa. Doll påpekar att det är viktigt att se den postmodernistiska öppna läroplanen som en plan som strävar efter att vara öppen för studenternas egen produktion av kunskap och inte som en plan som är emot kunskaps- utvärdering. Som bäst, men inte optimalt, utgör bedömning av inlämnade reflektioner en snarlik representation av kunskapsutvecklingen. Doll tänker sig att ett lag, eller en kommitté av utomstående personer skulle kunna utvärdera studenten. Läraren kan inte både vara med i det komplexa nätverket och samtidigt se nätverket översiktligt för att kunna bedöma (Doll, 1993, s. 172–182).
Mezirow (1997, 2003) hävdar det motsatta; att det går att utvärdera studenters kun- skapsutveckling i områdena; uppfattningar, känslor och värderingar, genom olika typer av samtal där studenterna får argumentera, bedöma bevis, försvara sin argumentation och förklara sin ståndpunkt. De får då genom samtal byta perspektiv och öva kritiskt reflekterande som sedan leder till en förskjuten ståndpunkt, likt den vi söker i Richness.
Läraren kan sedan bedöma och utvärdera dialogen. Bedömningen måste då vara inom en referensram som ingår i ämnet i fråga. Som i Dolls fall med Rigor, får studenten möj- ligheten att byta perspektiv genom återkoppling av det sagda och lära sig av skeendet.
3.2 Postmodernistiska läroplansteorier i praktiken
Frågan om hur lärare kan utvärdera studenternas kunskaper är beroende av hur läro- planen och dess teorier ser ut. I den traditionella läroplanen är det enklare att bedöma studenternas kunskaper eftersom att läroplanen både är linjär och innehåller normer och förbestämda mål som ska uppfyllas (Doll Jr, 1993; Tyler, 1976). Här nedan redogörs för ett urval av de empiriska studier som har använt antingen Dolls eller Mezirows modeller i sin egen undersökning. Dock finns det endast ett fåtal empiriska studier som baseras på Dolls teorier.
Lärarutbildarna Jan-Eric Matsson och Ann Mutvei (2013) har lokalt försökt bedöma kunskapsutvecklingen hos 131 lärarstudenter i tre årskullar under den ämnesdidaktiska naturorienterande delen av utbildningen. Studenterna fick reflektera över sin inlärning utifrån de erfarenheter de införskaffade när de arbetade med fältstudier utomhus. Matts- son och Mutvei använde sig av Dolls 4R för att kvalitativt bedöma reflektionsuppgifter- na. Det framgår inte utförligt hur de gjorde bedömningsmallen, eller hur de bedömde
uppgiften, men resultatet visar att 31% av de deltagande studenterna använde sig av de 4 ”R” en, 53% av studenterna visade att de hade uppnått någon form av kunskapsut- veckling. Studien redovisar inte någon uppgift om hur tillförlitlig metoden kan tänkas ha varit eller om den är valid nog för att användas.
Precis som föregående studie, undersökte forskaren David Kember (1999) universitets- studenter. Studenterna gick på fyra olika medicinska program. Han bad studenterna skicka in reflektionsuppgifter som sedan bedömdes utifrån en egengjord bedömningsmall, tillverkad utifrån Mezirows läroplansteorier. Uppgifterna kodades sedan med nivåerna 0-7 där 0 ansågs visa en oacceptabel nivå av reflektionskvalitet, och 7 som ansågs va- ra hypotesmässig reflektion av bra kvalitet. Bedömningsmetoden testades sedan med Cronbachs alfa1 som visade en reliabilitetskoefficient på 0.65, vilket enligt Kember är godtagbart. Efter det utfördes ett test på andra klasser med andra bedömare som fick relabilitetskoefficienten 0,74. Kember kommer fram till slutsatsen att bedömningsmeto- den är tillförlitlig nog att kunna användas för reflektiv undervisning och bedömning.
Utifrån Kembers metodologiska tolkning av Mezirow har doktoranden Andy Wall- man (2010) i sin doktorsavhandling utfört flera delstudier om farmaceutstudenters in- lärning under deras praktiker. I sin ena delstudie genomförde han en kvalitativ studie på 83 studenter som producerade 182 essäuppgifter av reflekterande format. Studenter- na fick möjligheten att reflektera flera gånger under studien. Essäuppgifterna bedömdes utifrån en modifierad version av Kembers 7-gradiga skala, där Wallman använde sex av graderna. Bedömningen kördes genom Cohens Kappa2och Wallman fick fram k=0,63 n=182 essäuppgifter, vilket enligt Wallman kan anses godtagbart. Han för en diskussion om eventuella validitetsproblem som möjligen kan uppkomma när studenter visar en muntlig reflektionsförmåga, men inte i den skrivna reflektionen. Svårigheter att reflek- tera kan då möjligen bero på det skrivna språket men även oförmåga att uttrycka sig reflekterande i skrift. I början av studien visade 25% en reflektiv förmåga som ökade i slutet av studien till 60%. 58% av deltagarna visade på en ökning av reflektiv förmåga, 31% visade en stagnation och 11% visade en nedgång.
Det finns en studie som inte berör kunskapsbedömning men som tittar på lärarens undervisning utifrån Dolls 4R. Forskaren Nancy Lewis (2004) har studerat hur tre lära- re från centrala Florida undervisar sina årskurs 1, 3 och 4:or. Hon utförde en kvalitativ observationsstudie där hon studerade om Dolls 4R gav sig tillkänna i lärarnas under- visning. Studien pågick i tre månader. Antalet studenter var omkring 41 stycken, det exakta antalet redovisas inte klart. Resultatet blev att hon fann att lärarna använde delar av Dolls 4R i sin undervisning, men att lärarna också var bundna till de läroplaner som skolan hade.
1Cronbachs alfa är en statistisk formel som testar reliabiliteten på ett test: 0 är oacceptabelt, 1 är helt överensstämmande. Se metoddelen för en utförlig förklaring.
2Cohens Kappa är precis som Cronbachs alfa ett sätt att räkna ut reliabiliteten på ett test, se metoddelen för mer information.
Studierna antyder att det går att omsätta Dolls 4R i praktiken. Dock har min sök- ning funnit få studier utifrån Dolls 4R och det som finns innehåller brister i metoden.
Det ger mig anledning till att fortsätta den här studien och gå vidare till den empiriska undersökningen.
4. Metod
4.1 Vetenskaplig ansats
Den vetenskapliga ansatsen valdes på basis av den teoretiska referensramen. Valet av ansats har ingalunda varit lätt för denna studie. Blandningen av kvalitativa och kvantita- tiva metoder utgjorde en svårighet i att bedöma ansatsens lämplighet. Ansatsen ska om möjligt kopplas till både den teoretiska och empiriska studien och då var Dolls (1993, s.
135–137) processorienterade hermeneutik lämplig.
Den Processorienterade hermeneutiken är, enligt Doll (1993, s. 135–137), en vida- reutveckling av hermeneutik som är en kvalitativ ansats. Hermeneutiken går ursprung- ligen ut på att förstå människans mentala tillstånd, tankar och kulturyttringar genom att tolka dess skrivna texter. Doll nämner att hermeneutik inom pedagogiken används för att skapa meningsfullhet mellan texten, författaren och läsaren. Han menar att den processorienterade hermeneutiken bygger vidare på dessa meningsfulla band mellan lä- saren och författaren och riktar sig på de tankeprocesser och utvecklingsskeenden som avslöjas i texten, mer än mentala tillstånd, tanke- och kulturyttringar.
Studien baseras på analyser av texter utifrån studentens tankeprocesser och utveck- lingsskeenden, vilket åsyftades med studiens huvudfråga: Går det att bedöma kunskaps- utveckling med ett bedömningsinstrument utifrån Dolls 4R? Dock utgör en sådan kvali- tativ ansats enbart ett delsvar på frågan. Frågan är om den processorienterade hermeneu- tiken räcker som ansats för den här studien. För att kunna uppfylla syftet behövs en mer robust metod som är kvantitativ. Här valde jag att genomföra två kvantitativ analyser på den kvalitativa bedömningen, vilket då får antagas uppfylla kraven jag satte.
4.2 Avgränsning
Vid inläsningen till den här studien letade jag teorier som tillhörde den postmodernis- tiska läroplansteorin. Precis som Kember (1999) fann jag flera varianter av postmoder- nistiska transformativa läroplansteorier. Dolls 4R (Doll Jr, 1993, 2008, 2012) var den som var mest intressant, då hans postmodernistiska nätverk av kaos och relationer gör
läroplanen fyllig och inriktar sig på studentens kunskapsutveckling istället för färdig kunskap. Det medför att studien tar hänsyn till studentens utveckling på flera områden än enbart reflektioner som utgör grunden för andra postmodernistiska läroplansteorier (jmr: Mezirow, 1997). Det finns däremot en risk att det komplexa nätverket av kaos och relationer försvårar förståelsen för sambandet mellan läroplansteori och empirisk kun- skapsbedömning. Fastän nätverket utgör en viss svårighet väger ämnesrikedomen och nätverket i Dolls teori tyngre än svårigheten att koppla teori till praktik. Därför avgrän- sar den här studien sig till Dolls postmodernistiska läroplansteori om inte annat sägs.
Modernistiska läroplansteorier tas inte upp, utom när det är nödvändigt för förståelsen av jämförelser. Studien tar heller inte upp teorier och forskning kring individualistiska inlärningsteorier.
Jag har valt att behandla tidigare empirisk forskning istället för tidigare litteratur- studier då den empiriska forskningen utgör större betydelse för denna praktiska studie.
Det finns gott om litteraturstudier som behandlar olika läroplansteorier, men det finns väldigt få empiriska studier som utgör en betydande funktion för detta ämnesområde.
4.3 Undersökningsgrupp
Studien genomfördes på en testgrupp på sex lärarstudenter som gick den femte termi- nen av åtta och studerade ämnesdidaktik i fysik. Alla lektioner genomfördes som ex- periment och laborationer på högskolans lärarutbildning. Ämnesområdet i det här fallet var energi. Undersökningsgruppens låga antal kan antagas vara ett problem vid test av ett nytt bedömningsinstrument. Antalet kan motiveras med att studien skulle undersöka om det gick att bedöma kunskapsutveckling med Dolls läroplansteori. För det behövdes ingen stor population då resultatet inte ska vara generaliserbart. Däremot är undersök- ningsgruppen känslig för bortfall som kan påverka resultatet och testets tillförlitlighet, vilket måste beaktas. Därför använde studien sig av en kontrollgrupp på nio ytterligare studenter som utgjorde grunden till Mattsson och Mutveis (2013) studie, för att dels ut- öka undersökningsgruppen och för att säkerhetsställa att bedömningsinstrumentet inte påverkades av testgruppens eventuella svårigheter med uppgiften.
4.4 Datainsamling
Undersökningens teoretiska referensram utgår till stor del från vetenskapligt granskade artiklar och litteratur som har stor tyngd inom området. För att svara på undersökning- ens frågeställning samlades skrivna reflektioner om studenters kunskapsutveckling i det aktuella ämnet in efter varje lektion. Den insamlade informationen utgjorde 14 uppgifter från sex studenter. Bortfallet var fyra uppgifter. Totalt nio andra reflektionsuppgifter an-
vändes som kontroll vid bedömningen. Observationer gjordes av en observatör som satt bak i klassrummet och noterade studenternas muntliga reflektioner under varje lektion.
Frågorna som ställdes till reflektionsuppgiften var:
Lektion 1 och 2:
Hur påverkar energi dig?
Hur ser du på energi?
Lektion 3:
Hur tänker du kring din förståelse/inlärning om energi?
Vad och hur har du lärt dig under denna period?
4.5 Bedömning
Informationen bedömdes utifrån ett egenskapat bedömningsinstrument, som visas på sida 8, som utgår från min tolkning av Dolls (1993) teori. Varje del av Dolls teorier tolkades som teorigenomgången belyser och delades in i hans fyra kategorier. Varje kategori har sedan graderats med skalan 0-3 som utgör nivåskillnaden i hur väl studenten har visat upp sina förmågor. Den här studien valde att göra en klar progression mellan varje nivå inom en kategori, där 0 är den nivå där studenten inte har uppfyllt kriterierna för den kategorin och 3 är när studenten visar en god kvalitet. En utförlig matris av bedömningsinstrumentet går att finna i bilaga 1.
För att studenten ska ha bedömts som att ha uppnått kunskapsutveckling behövde studenten ha nått nivå 1 i tre kategorier, där Richness ska ligga på minst nivå 1. Kriteriet motiveras genom att studenten behöver komma i ojämvikt för att åstakomma inlärning (se: Doll 4R på sida 4). Som det står i den teoretiska genomgången är de övriga tre kategorierna en förutsättning för att nå förskjutning i studentens ståndpunkt. Dock är det möjligt att nå en förskjutning utan att till exempel skifta perspektiv (Rigor) eller se samband mellan olika händelser (Relations). Därför går det bra att ställa kravet att studenten ska ha nått Richness nivå 1, samt minst två andra kriterier på nivå1.
Utifrån bedömningsinstrumentet bedömdes kontroll och studentuppgifterna utav två oberoende bedömare som i denna uppsats benämns som Bedömare 1 och Bedömare 2.
Bedömningarna utfördes på samma sätt, med samma uppgifter.
4.6 Tolkning av data
Resultatet från de två bedömarna har analyserats med avseende på interbedömaröver- ensstämmelse. Testet är vida använt och kallas Cohens Kappa (Viera & Garett, 2005).
Kappa används för att räkna ut tillförlitligheten för överensstämmelse mellan två obe- roende bedömare och genererar en reliabilitetskoefficient som varierar från -1 som en
systematisk skiljaktighet och 1 som är perfekt överensstämmelse. Värdet 0 innebär lika liten samstämmighet som om bedömningen slumpats fram.
Klassrumsobservationerna analyserades med samma bedömningsinstrument. De ut- gjorde en kontroll för reflektionsuppgiftens validitet.
För att undersöka om bedömningsinstrumentet funktion; att mäta om det fanns en kvalitativ kunskapsutveckling, genomfördes en textanalys på testgruppens reflektions- uppgifter av en bedömare som inte utgick från instrumentet.
4.7 Reliabilitet
För att kunna utröna bedömningens säker- och korrekthet behöver instrumentet testas utifrån flera olika perspektiv. Dels behöver instrumentet testas utifrån de olika katego- riernas förmåga att mäta kunskapsutveckling, dels behöver instrumentet testas utifrån frågan om bedömarnas överensstämmelse.
Forskaren Anders Jönsson (2011) menar att kunskapsbedömning alltid har dragits med svårigheter när det gäller tillförlitligheten i det pedagogen bedömer. Han menar på att det finns två faktorer som påverkar tillförlitligheten: Den första faktorn är bedöma- ren som alltid är subjektiv, oavsett hur noggrann och utförlig bedömningen är så finns det alltid en risk för att resultatet blir olika för olika bedömare. Den andra faktorn är uppgiften, d.v.s. att det är uppgiftens struktur som kan påverka svaren.
När det gäller att motverka bristande tillförlitlighet hos bedömaren, användes me- toden om interbedömaröverensstämmelse genom att använda två oberoende bedömare.
Resultatet från Cohens Kappa blev för kontrolluppgifterna k= -0,047 samt för student- uppgifterna k= 0,364 (se: resultatdelen). Tillförlitligheten för kontrolluppgifterna visar sig vara väldigt svag och ett negativt Kappa kan betyda att bedömningsinstrumentet el- ler uppgifterna i fråga inte är tillförlitliga nog (Viera & Garett, 2005). För testgruppen tyder Kappa på att tillförlitligheten är godtagbar.
Kategoriernas samstämmighet testades med Cronbachs alfa som är ett instrument för att mäta hur väl olika frågor eller kategorier hänger ihop i samma test (Tavakol &
Dennick, 2011, s. 53–55). I det här fallet mättes hur väl de fyra kategorierna mätte kunskapsutveckling. Cronbachs alfa har en koefficient som varierar mellan 0 och 1, där 0,7 anses vara en acceptabel nivå. Resultaten föreslår att instrumentet håller ihop med 0,645 för kontrollgruppen och 0,351 för testgruppen. Båda testerna gjordes med bedömarnas hopslagna resultat.
Sedan genomfördes observationer (beskrivet i Datainsamling på sidan 13) som an- vändes som ytterligare bedömningsunderlag för att höja tillförlitligheten. Vissa svårig- heter med uppgiftens tillförlitlighet förväntades fokusera på vilka frågor som ställdes varje lektion. Det visade sig (se: Datainsamling på sidan 13) att frågorna inte ställdes exakt på samma sätt varje lektion och svaret kan därför förväntas vara olika. Uppgiften
syftade till att samla in reflektioner om studenternas inlärning och kunskapsutveckling efter lektionen. Därför kunde inte frågorna eller svaren bli lika.
4.8 Validitet
Jönsson (2011) poängterar att uppgifterna måste vara i linje med bedömda mål. Ef- tersom att det ligger i den postmodernistiska läroplansteorins natur att vara flexibel och inte ha något förbestämt mål så blev det svårt att följa mål som inte fanns. Det förvän- tades att måluppfyllelsen skulle vara ett reellt problem som är kopplat till studiens syfte på sidan 2. Problemet med måluppfyllelsen löstes genom att bedömningsinstrumentet var kalibrerat för att upptäcka en förändring i studentens ståndpunkt och kunskapsut- veckling. På det sättet säkerhetsställdes bedömningsinstrumentets validitet.
Andy Wallman (2010) upptäckte i sin avhandling ett problem som även kan ha på- verkat denna studie. Han fann att hans studenter uttryckte sina reflektioner bättre munt- ligt än skriftligt. Att inte kunna uttrycka sina reflektioner skriftligt påverkar studiens validitet i hög grad då varken Wallman eller jag kan avgöra vad svaret på uppgiften ska syfta till. Problemet avhjälptes med de observationer som gjordes på studenternas diskussioner i klassrummet. som det går att läsa om i datainsamling- och resultatdelen.
4.9 Etiskt förhållningssätt
Utifrån vetenskapsrådets etiska riktlinjer (Vetenskapsrådet, 1:2011) tillfrågades infor- manterna om samtycke i studiens begynnelse. Att någon annan än läraren bedömer kunskaper kan vara känsligt i vissa fall, vilket bör respekteras. Det är också svårt att med sex studenter behålla den anonymitet studien annars har. All information om stu- denterna erhålls under konfidentialitet även mot de lärarutbildare som ingår i studien.
Ingen information från denna studie skall få ligga till grund för studenternas riktiga betyg.
5. Resultat
Här nedan visas resultatet av reliabilitetstesten, Cohens Kappa och Cronbachs alfa som utfördes på bedömningarna av både kontrollgruppen och testgruppen. Efter det redo- visas resultaten från bedömningsinstrumentet i sin helhet, kodat utifrån hur stor andel studenter som har uppnått kriterierna för kunskapsutveckling. Sedan visas resultaten från observationer och textanalysen.
5.1 Bedömningsinstrument
5.1.1 Tillförlitlighet kontrollgruppen
Först genomfördes ett test med Cronbachs alfa, förklarat i metoddelen, för att mäta kate- goriernas samstämmighet inom instrumentet. Resultatet blev en tillförlitlighet på 0,645 n=9, vilket anses vara en godtagbar kontinuitet mellan de olika kategorierna. Sedan ge- nomfördes ett test av interbedömaröverensstämmelse med Cohens Kappa som visar en överensstämmelse på k= -0,047 n=9. Kappa visar att överensstämmelsen mellan bedö- marna är lägre än vad den skulle vara om de båda enbart chansade (Viera & Garett, 2005, s. 360–363). Granskas spridningen (se: tabell 11.2 i bilaga 2) av antalet utfall går det att se att bedömare två är mer jämn än bedömare ett.
5.1.2 Tillförlitlighet testgruppen
Med testet Cronbachs alfa blev resultatet 0,351 n=6, som tyder på att någon faktor i kategorin Rigor påverkar mätningen. Som vi kan se i tabell 11.1 (i bilaga 2) höjs koef- ficienten om vi tar bort Rigor från testet. Sedan testades resultaten med Cohens Kappa som genomfördes på 14 av totalt 19 uppgifter över tre lektioner, där varje student hade optimalt tre uppgifter var. Bortfallet var fem uppgifter (26,3%). Analysen visar att det finns en överensstämmelse på K= 0,364 över 14 uppgifter, vilket visar att överensstäm- melsen mellan bedömarna är godtagbar. Resultatet skiljer sig från kontrollgruppen som visade ett negativt Kappa. Resultatet innebär också att det finns en överensstämmelse mellan bedömarna att enbart två studentfall har befunnit sig i kunskapsutveckling me- dan åtta studentfall har visat sig inte befinna sig i utveckling (se: tabell 11.3 i bilaga 2).
Uppgifterna behöver dock inte nödvändigtvis vara spridda över flera lektioner.
5.1.3 Reell kunskapsutveckling i rådata?
I tabell 5.1 redovisas andelen studenter med positiv kunskapsutveckling per kategori när det gäller kontrollgruppen:
Richness Recursion Relations Rigor
1 2
100% 89%
1 2
100% 89%
1 2
78% 33%
1 2
44% 22%
Tabell 5.1: Kontrollgrupp - Kunskapsutveckling
Resultatet visar att bedömare två ligger lägre i sina bedömningar än bedömare ett. An- delen positiva utslag i kategorin Rigor är lågt för båda bedömarna. För kategorierna Richness och Rekursion ligger bedömarna lika i sin bedömning.
I tabell 5.2 redovisas andelen studenter med positiv kunskapsutveckling per kate- gori när det gäller testgruppen. Alla bedömningstillfällen är hopslagna och andelen är beräknad för varje kategori var och en för sig:
Richness Recursion Relations Rigor
1 2
50% 57%
1 2
79% 64%
1 2
86% 57%
1 2
29% 50%
Tabell 5.2: Testgrupp - Kunskapsutveckling
En spridning mellan bedömarna förekommer och andelen positiva utslag i kategorin Rigor är låg för bedömare ett och lite bättre för bedömare två.
När det gäller bedömningen att studenten någon gång under tre lektioner uppnått en kunskapsutveckling så ser resultaten ut som följande: Under lektion ett fanns det ingen som uppfyllde kraven för kunskapsutveckling, under lektion två var det en av sex (16%) studenter som uppfyllde kraven. Under lektion tre bedömde båda bedömar- na att två studenter uppfyllde kraven. Bedömare ett bedömde att 66% visade prov på kunskapsutveckling medan bedömare två uppvisade 33%.
5.2 Observationer
Observationer utfördes som stöd till bedömningen av reflektionsuppgifterna. Runt tre av de sex studenterna var muntligt aktiva på lektionerna genom att diskutera ämnes- innehållet och sina inlärningsstrategier när det passade. De uppvisade således en aktiv muntlig reflektion. Vissa studenters tystnad tolkades som att det fanns ett visst motstånd att diskutera ämnet. Vid diskussionerna observerades en uppnåendegrad av flera huvud- kategorier i kombination med varandra. Här är ett exempel på Recursion 1: ”Jag tänker att det finns en kraft. . . Den utsätts för fart. . . Men beror inte det på massan?” och sedan Recursion 3 kopplat till Relation 2: ”Jag läser inte, jag skummar det som är viktigast.
Att läsa den här boken [kursbok som behandlar naturvetenskap] samtidigt som [en an- nan kursbok] gör att jag förstår boken bättre”. Ett exempel på Recursion 3 kopplat till Richness 2: ”Jag förstår att energi kan omvandlas men hur kan jag förstå det i praktiken också?”
5.3 Textanalys
En textanalys genomfördes på samtliga studenter i testgruppen. Fyra av sex individer påvisar en marginell kunskapsutveckling från lektion ett till lektion tre. Två av de fyra uppvisar en reflektion som påvisar en insikt över sin egen kunskapsutveckling. Individ 1 kan tas som exempel där reflektionen efter första lektionen gick att utläsa: ”Energi är [..] för att få alla elektriska produkter att fungera. [..] den är den kopplingen som får allt att sätta igång”. För att efter lektion tre skriva följande: ”Jag har också förstått och lärt mig [. . . ] hur [energi]omvandlingar går till och att energi inte är till spillo”.
6. Analys
I nedanstående analys koncentreras jämförelsen på kontrollgruppens resultat mer än på testgruppens. Det motiveras med att kontrollgruppens uppgifter är exakt det samma som Mattsson och Mutvei (2013, s. 5) har använt i deras studie. Det är därför enklare och mer riktigt att jämföra deras studie med kontrollgruppen.
6.1 Tillförlitligheten
Resultatet från interbedömaröverensstämmelseanalysen av frågan om positiv kunskaps- utveckling i kontrollgruppen visar en överensstämmelse som är under den som skulle vara av slumpen, k= -0,047 (Viera & Garett, 2005). För studenternas reflektionsuppgif- ter anses resultatet påvisa en svag till godtagbar överensstämmelse, där Kappa mättes till 0,364. Jämfört med Wallman (2010) ligger den här studien väldigt lågt. Wallmans studie är förvisso inte utförd på samma sätt, men det är en bedömning av liknande metodologi.
Orsakerna bakom en så stor spridning mellan bedömarna är svåra att analysera. I me- toddelen går det att läsa att jag förutsåg svårigheter av ett visst slag på grund av att de ställda frågorna inte var exakt samma varje tillfälle. Dock går det att utläsa av kontroll- resultaten att frågorna inte utgjorde någon tyngd, eftersom att kontrolluppgifterna var tagna från en pool som användes av Mattsson och Mutvei (2013, s. 5) och således deras uppsättning av frågor. Deras studie redovisar inte något tillförlitlighetstest, dock har jag antagit uppgifterna vara av en sådan kvalitet att de kunde tjäna som kontrolluppgifter för den här studien. Att uppgifterna var av en annan karaktär kan ha påverkat bedömningen något; framför allt för bedömare två som ansåg att fem av nio studenter inte befann sig i en utvecklingsprocess utefter de krav jag ställde, jämfört med bedömare ett som rap- porterade två av nio studenter som inte befann sig i en utvecklingsprocess (se: Tabell 11.2 i bilaga 2). Frågorna kan dock ha påverkat studentuppgifterna. Bortfallet i lektion 1 behöver tagas i beaktande vid den här jämförelsen. Skillnaden i erfarenhet mellan be- dömarna kan möjligtvis vara en förklaring. Dock ska instrumentet vara så säkert att den kan ge tillförlitliga resultat även om en av bedömarna är oerfaren.
Ett svagt negativt Kappa kan, enligt Viera och Garett (2005), vara ett tecken på att bedömningsinstrumentet inte var anpassat till uppgiften ifråga. Ett starkt negativt Kap- pa kan innebära en systematisk skillnad mellan bedömarna, och då möjligen visa på en viss kontinuitet. Dock visade Kappa ett godtagbart resultat, k=0,364 n=14 för testgrup-
pen. Resultatet av Cronbaschs alfa föreslår att det finns en svag-godtagbar kontinuitet mellan kategorierna i både kontrollgruppen och testgruppen. Testet visar en splittring i kategoriernas överensstämmelse med varandra. De verkar inte gå mot exakt samma håll, det vill säga, mot att mäta kunskapsutveckling. Möjligtvis kan det bero på uppgiftens konstruktion.
Oavsett om orsaken ligger hos uppgiften eller instrumentet, påverkar ett sådant re- sultat instrumentets användningsområde, vilket ligger till grund för fortsatta diskussio- ner om det går att använda instrumentet för att bedöma kunskapsutveckling.
6.2 Kunskapsutveckling
När det gäller bedömningen av kunskapsutveckling utifrån rådata, ligger båda bedö- marna högre i sin bedömning än vad Mattsson och Mutvei (2013, s. 5) redovisar i sin studie:
n Richness Recursion Relations Rigor
131 27% 21% 18% 17%
Tabell 6.1: Mattsson och Mutvei (2013)
n Richness Recursion Relations Rigor 9
1 2
100% 89%
1 2
100% 89%
1 2
78% 33%
1 2
44% 22%
Tabell 6.2: Kontrollgrupp
Tabellen till vänster visar Mattson och Mutveis resultat och tabellen till höger visar den här studiens resultat vid körningen av positiv kunskapsutveckling hos kontrollgruppen.
Bedömningsunderlaget är därför av samma typ (se: datainsamling på sida 13). Att deras studie inte rapporterar något tillförlitlighetstest eller bedömningsmetod måste beaktas vid fortsatta jämförelser. Underlaget skiljer sig åt i den bemärkelsen att Mattsson och Mutveis studie har 131 studenter och min studie har nio.
Genom en jämförelse mellan Mattsson och Mutvei, och mina resultat upptäcks ett intressant fenomen: Fastän deras metod är oklar går det att utskilja att båda testresultaten visar en lägre andel som uppnår Rigor. Varför Rigor ligger så lågt i båda studierna är en intressant frågeställning att analysera. Deras studie redovisar inte en detaljerad definition av Rigor, dock går det att finna en förklaring i Mattssons tidigare forskning (Mattsson & Lättman, 2004) som överensstämmer med den här studiens kriterier (se:
bilaga 1). Båda studierna följer Dolls teorier (se: Dolls 4R på sida 4 ) om perspektivskifte som förutsättning för inlärning. Rigors roll i bedömningsinstrumentet kan möjligtvis bero på att uppgifterna inte var av en sådan art att ett perspektivskifte kunde ske. Det kan också bero på bristande förståelse av vad Doll anser vara Rigor. Det är möjligt att Dolls definition och förklaring av begreppet Rigor inte överensstämmer med den tolkning som används av mig och Mattson och Mutvei. Kanske är det svårigheten att skifta perspektiv som möjliggör en naturlig svårighet att uppnå kraven, där den teoretiska betydelsen av Rigor utgör svårigheter för studenten. Möjligen är det så att 4R inte passar för att
genomföra en kunskapsutvärdering på det sätt som görs i denna studie, precis som Doll flaggar för (se: teoridelen på sidan 10).
Vidare analyseras studentens förmåga att reflektera, som är en mycket viktig del i Dolls 4R (se: Dolls 4R på sida 4) för att förskjuta sin ståndpunkt. Resultatet från den här studien visar att 64 - 100% uppvisade reflekterande förmågor. Resultatet är högre än både Mattsson och Mutvei (2013) (21%) och Wallman (2010) (60%). Wallmans studie utgår från Mezirows teorier som också ligger till grund för den här studiens reflektions- kriterier, medan Mattsson och Mutvei utgår helt från Dolls teorier. Resultaten kan tolkas som att det är möjligt att ha flera steg i kategorierna än enbart en nivå för varje kategori.
Resultaten visar att andelen i denna studie som har uppnått kunskapsutveckling uti- från kriteriet: Att uppnå nivå 1 i minst tre kategorier, där Richness ska ligga på nivå 1, ligger mellan 33-66%. Resultatet är omkring de resultat som Mattsson och Mutvei rap- porterar, vilket är 53%. Resultatet är tillfredsställande och visar på att instrumentet kan användas för att bedöma kunskapsutveckling när vi enbart tittar på andelen studenter som uppnådde kriterierna för positiv kunskapsutveckling.
6.3 Observation och textanalys
Med stöd av ovanstående analys av bedömningsinstrumentet, kan en analys av klass- rumsobservationerna genomföras. Som resultatet visar går det att se en viss kunskaps- utveckling utifrån studenternas muntliga reflektioner. I resultatdelen går det att läsa att det fanns en del studenter som öppet i gruppen uppvisade en kvalitet på nivå 2-3 i var- dera kategori. Rigor var däremot svår att upptäcka, troligtvis för att ämnet inte bjöd in till att skifta perspektiv. Observationerna stöder inte Wallmans (2010) hypotes om att validiteten skulle äventyras av att en del studenter föredrog muntlig reflektion istället för skriftlig. Tvärtom visar mina observationer att studenterna hade lättare att reflektera i skrift än muntligt.
Textanalysen fungerar som ett kontrollorgan för att kontrollera att det finns en inlär- ning i uppgiftsprocessen utanför bedömningsinstrumentet. Analysen genomfördes ge- nom en analys av inlämnade reflektionsuppgifter, där jag letade efter kunskapsutveck- ling utanför Dolls teorier. Resultatet visar att det finns inlärningspotential och kunskaps- utveckling i uppgifterna på den nivå som bedömningsinstrumentet föreslår i sina resultat (se: resultatdelen på sida 17).
