Kvaliteten i distansstudenters kamratresponser och självvärdering

Kvaliteten i distansstudenters

kamratresponser och självvärdering

Lisbeth Amhag

Lektor, fil.dr. & postdoktor i pedagogik

Fakulteten för lärande och samhälle

Malmö högskola

NU2012 Gränslöst lärande

17 – 19 oktober 2012

Presentation 18 oktober

Göteborg

Distansstudenters kamratresponser och självvärdering

I studien är det fokus på kvaliteten i

distansstudenters nätbaserade

kamratresponser och självvärderingar för

lärande. Min utgångspunkt är att ge/få och

ta till sig kamratrespons på egna/andras

texter och produktioner bidrar till att

studenter blir mer medvetna granskare,

eftersom de läser in sina egna erfarenheter

och intentioner i dem. En praktisk fördel

med att använda kamratrespons är att den

blir tillgänglig snabbare under lärprocessen

och ger fler betraktelsesätt än läraren kan

ge ensam (Topping, 1998).

Forskningsfrågorna är:

• Vilken effekt (potential, påverkan, intryck) och vilka mervärden

(behållningar, förtjänster) kan identifieras i studenternas kollaborativa

kamratresponser och självvärderingar som ett redskap för lärande

och utveckling?

• På vilket sätt är studenters feedbackprocesser ett mellansteg

Nyckelord

Kamratrespons kan betraktas som ett

mått på studentens förståelse för

kursuppgiften och att främja förmågan

med att ge, få och ta till sig återkoppling

(van der Pol et al., 2008).

Självvärdering syftar till att främja den

metakognitiva förmågan genom att

studenten reflekterar över kvaliteten på

innehållet i de egna kursuppgifterna och

jämför sina insatser med andras.

Start

Kamratrespons kan betraktas som ett mellansteg till självvärdering,

eftersom studenterna bedömer och jämför sina egna arbetsprestationer

och med andras. Det blir ett sätt att identifiera styrkor och svagheter i

det egna arbetet, vilket främjar förmågan att granska, bedöma, planera

och ta ansvar för sitt eget lärande.

Sex huvudteman för självvärdering beskrivs i litteraturen: påverkan av

olika förmågor, tidseffekten, arbetet med självvärdering, metoder för

självvärdering och innehållet i självvärderingen (Dochy et al., 1999).

Metod

Data samlades in från 22 lärarstudenters (15 kvinnor, 7 män)

kursuppgifter vårterminen 2011 där det ingick kamratrespons och

självärdering under de två första högskolekurserna i Lärarutbildning 90

hp; Läraruppdraget, 15 hp och Lärande och utveckling, 15 hp.

I början av den första kursen hade studenterna haft genomgång i och

tränat att ge kamratrespons utifrån följande kriterier (Dysthe, Hertzberg

& Løkensgard Hoel, 2011):

•

Koncentrera dig först på att fånga textens/produktionens

fokus/syfte, markera det som du tycker är tydligt och intressant,

notera också det som är oklart formulerat.

•

Formulera kortfattat med egna ord vad du anser vara det viktigaste.

Börja och avsluta med något positivt.

•

Skriv ner några frågor, be om preciseringar och klargörande t.ex.:

Jag känner igen/känner inte igen…? Jag reagerar på att…? Hur

menar du att…? Betyder det att…? Som jag uppfattar det, så

innebär det att…?

•

Kom med motförslag, alternativa lösningar och/eller råd och

problematisera utifrån begrepp och litteratur. Svara på eventuella

frågor som ställs i arbetet.

Genomförande

I båda studierna delades studenterna in i

samma sex grupper, med fem till sju i

varje. I varje grupp ingick både kvinnor

och män.

I kurs 1 hade studenterna i den första

kursuppgiften övat responsgivning. I

studien ingår den andra kursuppgiften

där studenterna arbetade med

dokumenterade fall om lärarens

ledarskap och roll i skolan.

6 grupper med 5-7 studenter

I kurs 2 skulle de utifrån egna observationer om andraspråkslärande

och tvåspråkighet i skolan beskriva ett undervisningsexempel och ge

egna didaktiska förslag.

Efter inlämningen av de individuella kursuppgifterna (LMS: It´s learning)

skulle de gruppvis ge kamratrespons under en viss tidsperiod och

därefter självvärdera dem med vidare reflektioner om sina egna inlägg i

kurs 1 och i kurs 2 jämföra sina egna och andras didaktiska förslag

med vidare reflektioner och koppling till kurslitteratur. Denna

sammanfattande version (N=44) lämnades in för bedömning och

analys.

6

Analys kamratresponser

Start

Analysen genomfördes i två faser. Den

första fasen innefattade att identifiera

meningsinnehållet i kamratresponserna

(N=155) med stöd av Toulmin’s

argumentmodell, TAP (1958).

TAP går ut på att urskilja påståenden,

fakta som är teorianknutna och/eller

erfarenhetsbaserade, understödjande

belägg och/eller motbevis, men också

relationen mellan påstående och fakta.

Data N=155 92 kurs 1 63 kurs 2

Toulmins argumentmodell (1958, pp. 98, 101, 103) innehåller sex

element eller byggstenar och kan betraktas som en förenkling av den

komplexitet och mångfald som finns i en argumentation. Emellertid

kan modellen stödja hur skribenter och läsare kan ta itu med texter

och hur de kan använda textresurser för att tolka vad de betyder -

eller snarare några möjliga betydelser. Alla dessa förslag och

lösningar som finns i meningsinnehållet är ett led i lärprocessen.

Den logiska relationen dem emellan är grundläggande för en

skribent att omsätta i praktiken.

Toulmin´s argumentmodell

Start

Källa: Toulmin, Stephen E. (1958). The uses of argument. Cambridge, England: Cambridge University Press.

D

So, Q, C

Since Unless

W R

On account of

B

Tre frivilliga byggstenar: Q (qualifier/styrkemarkör) R (rebuttal/villkor)

Reviderad version av Toulmin´s argumentmodell

Start

Data/grund (D)

information som påståendet bygger på ex. studier, personliga erfarenheter, sunt förnuft eller uttalanden som används som stöd

Styrkemarkör (Q)

bekräftar påståendet och anger graden av styrkan i det

Påstående (C)

ståndpunkt som fastställer eller rättfärdigar de normer eller värden som människor håller

eller önskan om accept

Understöd (B)

kopplas direkt till W med ofta implicita motiv till underliggande

antagande eller påstående

Villkor (R)

knyter an till Q med förklaringar eller omständigheter som motsäger påståendet, data eller garant eller

kvalificerar ett argument

Garant (W)

explicita eller implicita argument som förklarar relationen mellan

data och påståendet

“om” “men” “därmed” ”så” “därför ” “eftersom” “därför att” “på grund av”

Reviderad och utvecklad version av Toulmins´ argument pattern (Toulmin, 1958; Kneupper, 1978; Simon, Erduran & Osborne, 2006)

Start

Resultat kamratresponser

Nivåer av objekt Kurs 1 Kurs 2 Totalt

CD, CW, CR, DR, WB 1 (1 %) 0 1 (1 %)

CDW, CDR, CDQ, CWR, DWB 33 (37 %) 23 (35 %) 56 (36 %)

CDWB, CDWQ, CDWR, CDWRB 55 (62 %) 43 (65 %) 98 (63 %)

Totalt 89 (100 %) 66 (100 %) 155 (100 %)

Note: C, claim; D, data; W, warrant; B, backing; Q, qualifier; R, rebuttal

Resultatet efter den första analysen visar att studenterna i huvudsak presenterade sina idéer på ett begripligt och konsekvent sätt, baserat på

påståenden och fakta som är teorianknutna och/eller erfarenhetsbaserade med understödjande belägg och/eller motbevis, men också relationen mellan

påstående och fakta.

Två tredjedelar av kamratresponserna (63 %) innehöll tre av Toulmin’s

obligatoriska byggstenar (C, D, W), kombinerade med en eller två av de frivilliga av dem (Q, R, B). 36 % innehöll tre av de obligatoriska eller frivilliga delarna och bara 1 % innehöll två av dem.

Tabell 1. Nivåer i 22 studenters kamratresponser (N=155).

10

Analys feedbackprocessen

Start

1) Vad ska studenten utföra och vad är

målet (feed up)?

2) Var är studenten i förhållande till

målet (feed back)?

3) Vad behöver göras för att studenten

ska närma sig målet (feed forward)?

Data N=44 baserade på

155 kamrat-responser

I den andra analysfasen av 22

studenters kollaborativa

feedback-process (44 självvärderingar baserade

på 155 kamratresponser, 92 i kurs 1, 63

i kurs 2) användes Hattie och

Timperleys (2007) fyra nivåer på

Start

Figur 3: Reviderad version av Hattie och Timperleys modell (2007, s. 87).

Hattie och Timperleys feedbackmodell

Frågorna motsvarar designen av feed up, feed back och feed forward. Syftet med feedbackprocessen är att minska på avståndet mellan vad målet är med uppgiften och var studenterna befinner sig i förhållande till färdigheter,

förutsättningar och tillvägagångssätt för att kunna bedöma och självvärdera lärandet. Jag fokuserade på skillnaden mellan uppgiftsnivån (FT),

processnivån (FP), metakognitiva nivån med självreglerande handlingar (FR) och den personliga nivån (FS) och kombinerade sedan analysen med Toulmins argumentmodell.

Feedbackproc-essen minskar på avståndet mellan nivåerna Excerpt FT Excerpt FP Excerpt FR Excerpt FS

Lärande feedback svarar på tre frågor:

Vart är jag på väg? (lärandemålen) Feed Up Hur går det? (progression mot lärandemålen) Feed Back Vart ska jag? (hur större framsteg kan nås) Feed Forward

Varje feedbackfråga bearbetas på fyra nivåer:

Uppgiftsnivån (FT)

Hur väl uppgifterna förstås och utförs

Processnivån (FP)

Den huvudsakliga processen som behövs för att förstå/utföra uppgifterna

Metakognitiva nivån (FR)

Egenkontroll, styra och korrigera åtgärder

Personliga nivån (FS)

Personliga utvärderingar och intryck (oftast positiva)

Excerpt feedback på uppgiftsnivå (FT)

Start

Laura! (kamratrespons från Sara)

Man måste som lärare vara aktsam om den maktposition man har gentemot eleverna. I ditt fall har läraren dessutom med sig en grupp barn som står på hennes sida eftersom de sägs vara vittne till den situation som pojken anklagas för. Hon utsätter honom för en ”flera mot en” situation. Att han har sina kompisar runt omkring sig och kan ha svårt för att vara sig själv kränker honom bara ännu mer. […].

I detta fall har det skett en orättvis behandling gentemot eleven vilket är ett exempel på kränkande behandling. Man måste dessutom vara aktsam om elevens egenvärde (Erdis 2007:98). Läraren gör också fel när hon lämnar ut uppgifter till andra som kan bidra till missaktning, i detta fall alla hans kompisar i matsalen. Hon utpekar på så sätt eleven klandervärt vilket är ett brott (Erdis 2007: 99). Det är i strid med skollagens paragrafer att en lärare förolämpar en elev (Erdis 2007:109).

FT kunskaps-resultat FT uttalanden Toulmin Hattie & Timperley C påstående D fakta Q styrke- markör vilket W garant eftersom B under-stöd därför R villkor om, men Processnivå FT, feedback på uppgiftsnivå

• hur väl en uppgift görs eller utförs • efterfrågar mer eller annan input • korrigerande återkoppling eller vissa

kunskapsresultat

• uttalanden och reproduktioner från andra • brist på egna reflektioner om lärande

W garant

eftersom

FT

Excerpt feedback på processnivå (FP)

Start

Sara: Att elever med svenska som andraspråk skulle få möjlighet att läsa litteratur i svenska på sitt modersmål angav jag i min redogörelse på didaktiska förslag. Givetvis håller jag med

expertråd 1 och 2 om att det är viktigt att eleverna läser litteratur till större delen på svenska då syftet med litteraturläsningen är svenska som språk. Däremot menar jag att eleven skulle kunna få ta del av litteratur på sitt modersmål då syftet med skönlitteraturen är att få en djupare förståelse för hur människor har levt och tänkt i skilda kulturer under olika tider (www.skolverket.se). Att skrivandet i sig är viktigt för alla elever håller jag helt med om. Däremot tror jag att man kan skapa olika tillfällen för eleverna där det är mer eller mindre lämpligt att skriva. Har man elever i klassen med svenska som andraspråk står jag fast vid att det kan bli för svårt för dem att koncentrera sig på både vad som sägs och på vad som ska skrivas (Lindberg, 2005:339). Det är viktigt att försöka skapa samma förutsättningar för alla elever och inte exkludera någon. Det finns så många andra situationer där skrivandet kommer in i bilden, speciellt i den form av undervisning som lärarna använder sig av idag.

FP rel. fakta & påstående FP textfokus Toulmin Hattie & Timperley FP alt. lösningar FP diskuterar vidare Processnivå FP, feedback på processnivå

• fångar textens fokus eller syfte

• underliggande motiv eller relaterar till och vidgar uppgiften • insikt och relationer mellan fakta och påstående

• förslag på alternativa lösningar

• diskuterar problem utifrån litteraturen

C påstående W garant eftersom Q styrke- markör så R villkor men B under-stöd därför D fakta

Excerpt feedback på metakognitiv nivå (FR)

Start

Hannah: Sammantaget tycker jag vi har spänt över ett ganska stort område av olika ledarskapsproblem, om än långt ifrån alla. Det har varit intressant och lärorikt att ta del av allas åsikter och samtidigt kunna se att vi inte har identisk bild av hur skolan ska bedriva sitt ledarskap. Litteraturmässigt har jag baserat mycket av mina

tankegångar på skolornas likabehandlingsplaner med utgångspunkt i framförallt Barn och elevskyddslagen (SFS 2006:67) och Sveriges diskrimineringslagstiftning (SFS 2008:567). Att fler tänker som jag tycker jag mig se även om jag inser att jag inte varit så aktiv som många av de andra i källhänvisningen till dessa. […]

De svåra frågorna för mig är kanske inte så mycket vad som är fel utan hur man får alla med på tåget så att säga. Var blir det fel? Är det ett samhällsproblem eller är det enskilda skolor, enskilda rektorer eller lärargrupper? Vill vi inte öppna ögonen och se att man behöver ett systematiskt och långvarigt arbete på de här områdena för att förändra attityder och frambringa empatiska elever?

FR tankar & reflektioner FR utvärderar FR self-efficacy Processnivå FR, feedback på

metakognitiv nivå med självreglerande

handlingar

• skapar intern återkoppling, tankar och reflektioner • känslor av self-efficacy (tro på egen förmåga)

• eftersträvar och hanterar meningen i kamratresponserna • utvärderar olika nivåer av förståelse och strategier

• förmåga att söka stöd Toulmin Hattie & Timperley FR strävar & hanterar C påstående R villkor om D fakta Q styrke- markör så B under-stöd på grund av W garant eftersom

Excerpt feedback på personlig nivå (FS)

Start

Eric: Gemensamt för de fall som redovisats ovan och som avsett kränkningar har varit att det verkar ha saknats en konkret

handlingsplan för vilka åtgärder som skall sättas in och när. Det har till stor del rört sig om enstaka riktade insatser och det har också brustit i uppföljningen. Saknar också mera förebyggande insatser där såväl eleverna som deras föräldrar involveras. Exempelvis att ta fram gemensamma regler för hur man skall bete sig mot

varandra, grupparbeten som bland annat syftar till att lära eleverna att umgås med varandra.

Maria: Jag tycker att gruppens didaktiska, alternativa förslag

överensstämmer med mina egna didaktiska förslag angående min observation om Sena. De didaktiska förslag och åtgärder som gruppen nämner har jag själv tagit upp, reflekterat och analyserat i mina egna didaktiska förslag, därför känner jag att jag har inget mer att tillägga i det här avsnittet.

Toulmin Hattie & Timperley FS lite uppgifts-rel. info FS sällan engagerad FS sällan kritisk förmåga Processnivå FS, feedback på personlig nivå

• innehåller lite uppgiftsrelaterad information • omvandlas sällan till mer engagemang i lärandet • förbättrar inte ofta den personliga värderingen • utvecklar undantagsvis kritisk förmåga

FS sällan kritisk förmåga C påstående C påstående Q styrke- markör så R villkor om B under-stöd därför

Start

Summering av feedbackprocessen

Figur 4: Summering av de fyra nivåerna i feedbackprocessen online (N=199).

Processnivå Analys av 44 självvärderingar utifrån 155 kamratresponser FT, feedback på

uppgiftsnivå

N=17 (11 kurs 1, 6 kurs 2)

• hur väl en uppgift görs eller utförs • efterfrågar mer eller annan input

• korrigerande återkoppling eller vissa kunskapsresultat • uttalanden och reproduktioner från andra

• brist på egna reflektioner om lärande FP, feedback på

processnivå

N=14 (3 kurs 1, 11 kurs 2)

• fångar textens fokus eller syfte

• underliggande motiv eller relaterar till och vidgar uppgiften • insikt och relationer mellan fakta och påstående

• förslag på alternativa lösningar

• diskuterar problem utifrån litteraturen FR, feedback på

meta-kognitiv nivå

N=10 (7 kurs 1, 3 kurs 2)

• skapar intern återkoppling, tankar och reflektioner • känslor av self-efficacy (tro på egen förmåga)

• eftersträvar och hanterar meningen i kamratresponserna • utvärderar olika nivåer av förståelse och strategier

• förmåga att söka stöd FS, feedback på personlig

nivå

N=3 (1 kurs 1, 2 kurs 2)

• innehåller lite uppgiftsrelaterad information • omvandlas sällan till mer engagemang i lärandet • förbättrar inte ofta den personliga värderingen • utvecklar undantagsvis kritisk förmåga

Hattie & Timperley

Forskningsresultat

Resultaten av analyserna visar att;

a) kombinationen av vad studenterna gör tillsammans med kursuppgifterna och

b) det ansvar och de roller studenterna engagerar sig i som medförfattare och medaktör samt

c) den interaktiva strukturen, som ligger till grund för att ge/få och ta till sig kamratrespons och

självvärdera, är ett mellansteg till självvärdering och ger en potential att utveckla och utvidga utrymmet för lärande.

Emellertid saknade hälften av studenterna i kurs 1 reflektioner över de egna kamratresponserna i självvärderingen. De innehöll återupprepningar om vad de redan hade beskrivit. Kanske de var osäkra på hur de skulle självvärdera dem eller på vilket sätt de skulle kvalificera innehållet och/eller hade de låga känslor av

self-efficacy (tro på egen förmåga att utföra kursen/utbildningen på ett framgångsrikt

sätt).

I kurs 2 hade majoriteten av studenterna (82 %) självvärderat egna och andras kamratresponser med didaktiska förslag och jämfört dem med sina egna, men det finns en hel del reproduktioner och brist på egna reflektioner. De hade svårt att identifiera styrkor och svagheter i sitt arbete och reflektera över och värdera sitt lärande.

Implikationer

Start

Slutsatser som kan dras av studien är att kunna ge och ta till sig ändamålsenlig och relevant

kamratrespons och självvärdera sitt lärande är mångfacetterat och måste tränas och integreras i kursupplägget.

För det första kan kombinationen av kamratrespons och självvärdering med fördel användas som ett

lärande redskap för formativa ändamål genom att lärprocessen granskas och främjar progressionen av kritisk förmåga och meningsfullt lärande.

För det andra bidrar feedbackprocesserna till ökad delaktighet genom att

studenter och lärare arbetar tillsammans och skapar en ömsesidig förståelse för kursmålen och genomförandet av kursuppgifterna.

För det tredje blir studenterna ”medlärare” och denna rollförändring ger dem insikter i sambedömning, medan lärare får mer tid till att följa och coacha

lärprocesserna genom feed up, feed back och feed forward och för den slutliga summativa bedömningen.

För det fjärde kan lärare dra nytta av meningsinnehållet i studenternas

kamratresponser och självvärderingar som en resurs i sin återkoppling och för en kalibrerad bedömning, men också att justera och förbättra

Referenser

Adams, Carl & King, Karen (1995). Towards a Framework for Student Self-Assessment.

Innovations in Education & Training International 32 (4), 336-343.

De Wever, B., Schellens, T. , Valcke, M. , & Van Keer, H. (2006). Content analysis schemes to analyze transcripts of online asynchronous discussion groups: A review. Computers &

Education, 46 (1), 6-28.

Dochy, F., Segers, M., & Sluijsmans, D. (1999). The use of self-, peer- and co-assessment in higher education: a review. Studies in Higher Education, 24 (3), 331-350.

Dysthe, Olga, Hertzberg, Frøjdis & Løkensgard Hoel, Torlaug (2011). Skriva för att lära:

skrivande i högre utbildning. Lund: Studentlitteratur. (2:a uppl.)

Hattie, John & Timperley, Helen (2007). The Power of Feedback. Educational Research.

Vol. 77, No. 1, pp. 81–11.

Kneupper, Charles W. (1978). Teaching Argument: An Introduction to the Toulmin Model.

College Composition and Communication, 29 (3), 237-241.

Kostons, Danny, van Gog, Tamara, & Paas, Fred (2010). Self-assessment and task selection in learner-controlled instruction: Differences between effective and ineffective learners. Computers & Education(54), 932-940.

Simon, Shirley, Erduran, Sibel & Osborne, Jonathan (2006). Learning to Teach

Argumentation: Research and development in the science classroom. International Journal

of Science Education, 28 (2-3), 235-260.

Toulmin, Stephen E. (1958). The uses of argument. Cambridge, England: Cambridge University Press.

van der Pol, J., van den Berg, B.A.M., Admiraal, W.F. & Simons, P.R.J. (2008). The nature, reception, and use of online peer feedback in higher education.