Skrivuppgiften har stor betydelse för elevens skrivprocess vid ett prov (McNamara 1996), och utformningen av skrivinstruktionen är därför central ur validitetssynpunkt. Studien undersöker effekter av olika skrivinstruktioner på provresultat och elevers texter. I utprövningar inför nationella skrivprov har elevlösningar skrivna utifrån en utförlig skrivinstruktion jämförts med elevlösningar skrivna utifrån en kortfattad skrivinstruktion som presenterar samma uppgift. Jämförelsen omfattar dels 180 elevlösningar som bedömts och fått ett provresultat i form av ett betyg, dels ett urval av 20 texter som analyseras kvalitativt. Elevlösningar skrivna utifrån den utförliga skrivinstruktionen fick högre provresultat än lösningar skrivna utifrån kort instruktion. Enligt den kvalitativa analysen verkar elever som arbetat med kort instruktion ha saknat vissa av de hintar om eftersträvansvärda textegenskaper som gavs i den långa instruktionen. Andra hintar tycks vara mindre nödvändiga. Slutsatsen dras att en alltför kortfattad skrivinstruktion kan vara negativ ur validitetssynpunkt. Om skrivinstruktionen inte ger eleven sådan stöttning som tydliggör kommunikationssituationen verkar det som om elevtexterna som följd blir mindre anpassade till syfte och tänkta läsare. Därmed stöder studien tidigare forskning som argumenterar för en explicit beskrivning av kommunikationssituationen (Strömquist 1993; Bachman & Palmer 2010; Palmér & Östlund-Stjärnegårdh 2015). Det fiktiva inslaget i skrivinstruktioner har dock problematiserats (Berge 1988; Nyström 2000; Borgström 2010) och författarna föreslår att graden av fiktion i skrivinstruktionen ska tonas ned, medan provsituationen ska tydliggöras.
Skrivuppgiften kan definieras som dels ett fenomen som sätter igång en skrivpro- cess, dels en text som ställer stora krav på författaren (Otnes 2015:14 ff.). Den här studien sätter fokus på effekter av olika skrivinstruktioner, genom att under- söka samband mellan instruktioner till skrivprov, provresultat och egenskaper i de texter eleverna skriver utifrån instruktionerna. Som provkonstruktörer till nat- ionella prov i svenska undersöker vi dessa samband, och vi drar till sist slutsatser om hur skrivinstruktioner bör utformas, generellt och specifikt i de nationella pro- ven. De undersökta skrivuppgifterna riktar sig till elever i gymnasieskolans första år och har förekommit i det nationella provet i kursen svenska 1 och svenska som andraspråk 1. Provet består av tre delprov, som prövar muntlig förmåga, läsförståelse och skrivförmåga. Delprovets konstrukt definierar och avgränsar den förmåga som delprovet prövar. Skrivprovet i kurserna svenska 1 och svenska som andraspråk 1 prövar elevens förmåga att skriva texter, argumenterande eller utredande, och att anpassa dessa till olika givna skrivsituationer vilka är vanligt
65 förekommande i yrkes- och samhällsliv. I provet prövas också förmåga att hantera källor på ett kritiskt och normenligt sätt.
I samband med arbetet inför digitalisering av de nationella proven (jfr SOU 2016:25) har vi ställt frågan om skrivinstruktionernas design borde ändras för att anpassas till ett digitalt format. Kortfattade skrivinstruktioner skulle eventuellt vara lättare att överblicka på en skärm än mer utförliga instruktioner. Skriv- instruktioner till de nationella proven har också studerats och diskuterats i svensk bedömningsforskning (t.ex. Nyström 2000; Borgström 2010; Parmenius-Swärd 2015; Nilsson 2017). Idén om mer kortfattade instruktioner framkommer även i denna diskussion, där dessutom skrivinstruktioner problematiseras på andra sätt. Det finns alltså flera anledningar att undersöka vad som händer med provresultat och elevtexter när instruktionen till skrivuppgifter förändras. Studien berör olika principiella aspekter av skrivinstruktioner. Vilket stöd bör en skrivuppgift ge inför skrivandet för bästa möjliga validitet i ett prov? Hur öppen, respektive sty- rande ska en bra skrivuppgift vara – och hur lång får en skrivuppgift bli innan själva instruktionens längd blir en faktor som påverkar resultatet?
Undersökningen kan tydligast placeras inom forskning om skrivbedömning. Utifrån temat Bildning, utbildning, fortbildning faller bedömningsforskning främst inom temats andra del – utbildningen. I utbildning utgör bedömning av deltagarnas uppnådda kunskaper en självklar del. Bedömningen fungerar som instrument för utvärdering – av utbildningen, ämnet, kursen eller lektionen – men bedömning har också funktionen att vara samhällets urvalsinstrument när utbild- ningens deltagare söker tillträde till nya utbildningar (Klapp 2015:102 ff.).
Frågan om hur bedömning ska genomföras för att bli pålitlig och ändamålsen- lig är central inom bedömningsforskningen. Ett prov bör utformas så att förutsätt- ningarna att göra valida – giltiga – tolkningar utifrån provresultatet blir så goda som möjligt (jfr Messick 1989; Kane 2006; Kane 2015). I ett skrivprov av per- formanstyp löser eleverna en komplex uppgift som på ett direkt sätt motsvarar provets måldomän, exempelvis skrivaktiviteter i skola och samhälle (Kane et al. 1999). McNamara (1996) beskriver i följande modell den process som i ett skriv- prov leder fram till ett provresultat (se också Skar & Aasen 2018):
66 Bedömare Skala Text Resultat Skrivuppgift Elev
Figur 1. Bedömningsprocessen i språkprov enligt McNamara (1996). Utifrån en läsning som startar från elevens position i botten av modellen menar McNamara att skrivuppgiften är central i elevens skrivprocess – en process som resulterar i en text. I ett provsammanhang påbörjas därefter bedömningen, och bedömaren använder provets skala och de bedömningsanvisningar som hör till provet för att läsa texten. Denna process – där eleven skapar en text via en skriv- uppgift och där bedömaren gör sin tolkning via en bedömningsskala – leder till ett provresultat. I föreliggande studie laborerar vi med olika versioner av samma skrivuppgift och undersöker utifrån dessa både elevens text och provresultatet.
Skrivuppgiften i tidigare forskning
Skrivinstruktionernas betydelse för prov i skriftlig framställning diskuteras bland annat av Bachman & Palmer (2010:76). De menar att skrivinstruktionen (the
prompt) är en direktiv språkhandling. Vanlig information i instruktionen är
exempelvis vilket syfte uppgiften har, vilken mottagare som avses, efterfrågad form på texten och hur lång texten bör vara. Avgörande för hur ändamålsenlig skrivinstruktionen kan anses vara är hur väl kommunikationen når fram till test- tagaren. Instruktionen ska alltså vara lättfattlig för testtagaren, så att alla detaljer i uppgiften går fram.
Bedömningsbarheten i ett prov i skriftlig framställning är fokus i en artikel av Cecilie Bach (2015). Bach menar att bedömningsbarheten bör tillmätas största
67 vikt vid utformning av examensuppgifter. Alltför vaga instruktioner riskerar enligt Bach att öppna för att återge personliga erfarenheter snarare än kunskap.
I en studie av Kvistad & Smemo (2015) dras slutsatsen att det bör råda en väl avvägd balans mellan frihet och tydliga ramar i instruktionerna. De skrivuppgifter där flest elever hade lyckats bäst i denna studie innehöll detaljerade krav på inne- håll, textuppbyggnad och till viss del språklig utformning. Elever som inte nor- malt var högpresterande lyckades bättre med en mer utförlig instruktion. Däremot menar forskarna att de detaljerade instruktionerna inte ger lika stort utrymme för de skickligaste skribenternas egna idéer och originalitet. Kvistad & Smemo kon- staterar även att elevernas texter blev ovanligt lika sinsemellan då en utförlig instruktion hade använts.
En aspekt av skrivuppgiften är den fiktiva kommunikationssituation som kan rama in uppgiften. Eleven som skriver ett prov och ska bedömas av läraren kan få i uppgift att rikta texten till en fiktiv mottagare, ofta utanför skolans värld. I forskningen ses autentiska kommunikationssituationer ibland som idealet (t.ex. Teleman 1991; Karlsson 1997), och den fiktiva kommunikationssituationen framställs som problematisk på grund av dess dubbelhet (t.ex. Berge 1988; Nyström 2000; Borgström 2010). I de nationella proven i svenska ingår fiktiva kommunikationssituationer i skrivinstruktionerna. Palmér (2013:59 ff.) förklarar att de fiktiva skrivsituationerna används för att de ger möjlighet att pröva elevens kommunikativa medvetenhet (jfr Strömquist 1993:57 f.; Palmér & Östlund-Stjär- negårdh 2005:16). Detta grepp ska ses som ett skrivdidaktiskt ställningstagande där skrivande som kommunikation lyfts fram, precis som i läroplanen. Palmér (2013:16) framhåller också att dubbelheten i kommunikationssituationerna måste ses som typisk för skolskrivande i allmänhet; den finns även i skoluppgifter med autentiska mottagare utanför skolan, eftersom undervisande lärare och de verk- liga mottagarna kan läsa texterna utifrån olika textnormer. Vår utgångspunkt som provkonstruktörer är att de fiktiva kommunikationssituationerna representerar en utmaning och bör tänkas över noga, men de utgör också en resurs som vidgar skrivandets domäner till världen utanför skolan (jfr Nilsson 2017:172).
Ytterligare en aspekt av skrivinstruktionen är den underliggande styrning som instruktionen kan leda till. Berge (1988) framhåller att skrivuppgifter ofta inne- håller presuppositioner av åsikter eller hållningar som tas för givna och som det är svårt att som elev ta avstånd ifrån. Östlund-Stjärnegårdh (2002:157) diskuterar problemet utifrån en uppgift med rubriken Bidrag eller arbete – ett val? från det nationella provet enligt Lpf 94 (Läroplan för de frivilliga skolformerna 1994), där det i en enskild lärares bedömning förutsattes att eleven borde förespråka arbete framför bidrag. Borgström (2014:67) problematiserar en innehållslig ”moral” utifrån en uppgift från samma nationella prov där eleven förutsätts föredra läsning av hela romaner framför förkortade utgåvor. Nilsson (2017:144 ff.) analyserar skrivuppgifter från tidigare centrala och nationella prov och menar att den ”sub- jektsposition” eleverna får i vissa uppgifter implicerar en positiv inställning till
68
skönlitteratur. I all uppgiftskonstruktion är det viktigt att vara medveten om vilka förutsättningar en skrivuppgift innehåller.
Skrivuppgiftens längd utgör sällan fokus i forskningen, men den diskuteras ändå som en betydelsefull faktor. Nilsson nämner till exempel att de utförliga uppgifterna i de nationella proven ibland kan bli svåra att definiera utifrån hennes analysverktyg läsart ”då uppgifterna kan visa på flera olika läsarter på olika stäl- len” (2017:73). Att en skrivinstruktion kan ge motstridig information diskuteras också av Sahlée (2017:204 f.). I en studie om skrivuppgifter i nationella prov för kursen Svenska B menar Parmenius-Swärd (2015:69) att de utförliga skrivupp- gifterna innehåller alltför många parametrar för eleven att förhålla sig till. En parameter förstås i detta sammanhang som en del av instruktionen som eleven måste observera, förstå, balansera och agera utifrån för att genomföra uppgiften på det sätt som det är tänkt.
Sammanfattningsvis diskuterar forskningen skrivinstruktioners tydlighet, bedömningsbarhet, styrande egenskaper (explicita och implicita), den fiktiva kommunikationssituationen och skrivuppgiftens längd.
Syfte och forskningsfrågor
Studien har alltså sin bakgrund i dels digitaliseringen av de nationella proven, dels tidigare forskning och den problematisering av skrivinstruktioner som har förekommit där. Den tidigare forskning som refererats rör visserligen inte det prov som nu ges enligt Gymnasieskola 2011, utan tidigare centrala och nationella prov. Även om de nationella proven har förändrats utifrån den nya läroplanen har skrivinstruktionerna i kursprovet i svenska 1 och svenska som andraspråk 1 många gemensamma drag med de instruktioner som har studerats i tidigare forsk- ning. De utgår till exempel fortfarande från en fiktiv kommunikationssituation och är fortfarande relativt utförliga.
Studien innebar ett slags experiment där vi har låtit elever i två olika undersök- ningsgrupper skriva ”samma uppgift” men med skrivinstruktioner som är olika utförliga. Syftet är att jämföra resultat och texter från dessa undersökningsgrup- per för att belysa samband mellan skrivinstruktioner, provresultat och texter. Forskningsfrågorna lyder:
• Hur förändras resultatet i form av delprovsbetyg då skrivinstruk- tionen är mer koncentrerat formulerad än i en utförligare modell för instruktion?
• Vilka textegenskaper har elevtexter som skrivits utifrån en kortfattad instruktion?
• Vilka slutsatser kan dras om hur skrivinstruktioner bör designas – generellt liksom i det aktuella nationella provet?
69
Metoder och material
Materialet är hämtat från utprövningar av skrivuppgifter till nationella prov.1 Vid
det första utprövningstillfället arbetade alla elever med långa versioner av skriv- instruktioner, medan de korta skrivinstruktionerna prövades vid det andra till- fället. Eleverna fick vid båda utprövningarna välja mellan två alternativ. Ett av dessa leder till argumenterande skrivande om dagens konsumtion medan den andra leder till utredande skrivande om vänskap. Av utrymmesskäl är det främst den argumenterande skrivuppgiften Livsstil och köpvanor som diskuteras i denna artikel, och som återges i lång och kort version i figur 2. Den långa versionen prövades alltså vid den första utprövningen och den korta vid den andra.
Den långa versionen av instruktionen operationaliserar provets konstrukt (se
stycke 1) genom att efterfråga en argumenterande text vari en källa används som stöd i argumentationen. Texten ska passa in i en pågående, fiktiv debatt. Instruk- tionen har ett standardiserat format som följs i alla skrivuppgifter i det aktuella provet. I det första stycket finns en ingress, i det andra en presentation av den fiktiva kommunikationssituationen, och i det tredje den explicita handledningen inför skrivandet. Skrivinstruktionen ger eleven ett antal hintar om hur elevlös- ningen ska utformas. Exempelvis ger den första meningen en hint om vad käll- texten som hör till uppgiften handlar om, och hur källhänvisningen kan formule- ras.
I ingressen presenteras alltid ämnet och den källa som eleven ska använda i uppgiften. Om eleven ska ta ställning för eller emot något ska det enligt provens mål finnas hintar om båda hållningarna, som i detta fall att reagera emot dagens konsumtion eller att hävda att konsumtion är bra för att den skapar välstånd. Ingressen avslutas med en fråga som ringar in det som ska behandlas i uppgiften. Stycke två i den långa versionen beskriver den fiktiva kommunikationssituat- ionen. Här ges hintar om var och i vilket sammanhang texten kan tänkas publice- ras. Syftet med texten anges, och en avslutande mening förtydligar elevens roll. I den explicita handledningen anges genren debattinlägg, och en form av skriv- handlingar presenteras med verb i fet stil. Eleven uppmanas att ta ställning, argu- mentera utförligt och presentera något från en viss källa. Sist anges rubrik, för- väntat antal ord och en påminnelse om att källan ska anges.
Den korta versionen av instruktionen operationaliserar provets konstrukt på
samma sätt som den långa (se ovan). I denna version ströks dock sådana delar som skulle kunna anses onödiga och vi prövade att ge en minimal beskrivning av kommunikationssituationen. Vi strök också ordet ”utförligt” i det tredje stycket och uppmaningen att tänka på att läsarna inte hade läst artikeln. I den korta versionen till höger i figur 2 innehåller det första stycket endast en mening som presenterar källan. Det andra stycket är nu en kombination av den långa versionens stycke två och tre.
70
Livsstil och köpvanor
I artikeln ”Sopdykarna kan leva gott på vårt överflöd” av Elin Lindman (Sydsvenskan 27.02.2011) skildras hur några ungdomar reagerar på dagens konsumtion. De menar att det är fel att producera saker och sedan kasta dem. Andra tycker att det är bra med konsumtion eftersom den skapar välstånd. Är det positivt eller negativt att handla varor som vi gör i dag?
På webbplatsen Ung konsument pågår en debatt om köpvanor och livsstil. Redaktionen ber läsarna bidra med debattinlägg och du bestämmer dig för att medverka. Syftet med debattinlägget är att väcka intresse för frågan och att övertyga läsaren. Skriv ditt debattinlägg. Ta ställning till om dagens
konsumtion av varor är positiv eller negativ och
argumentera utförligt för din åsikt. Presentera
något från Lindmans artikel som är relevant för din argumentation. Tänk på att läsarna inte har tagit del av artikeln.
Rubrik: Livsstil och köpvanor
Skriv 300–700 ord.
Tänk på att ange källan när du refererar från en text.
Livsstil och köpvanor
I artikeln ”Sopdykarna kan leva gott på vårt överflöd” av Elin Lindman (Sydsvenskan 27.02.2011) skildras hur några ungdomar reagerar på dagens konsumtion.
Skriv ett debattinlägg som ska publiceras på
webbsidan ”Ung konsument”. Ta ställning till om
dagens konsumtion av varor är positiv eller negativ och argumentera för din åsikt. Presentera
något relevant från Lindmans artikel.
Rubrik: Livsstil och köpvanor
Skriv 300–700 ord.
Tänk på att ange källan när du refererar från en text.
Figur 2. Uppgiften Livsstil och köpvanor i lång och kort version (161 jämfört med 77 ord).
I såväl lång som kort version anges genren debattinlägg, och skrivaktiviteterna ta ställning, argumentera och presentera, även om ”argumentera” inte skrivs i fet stil i den korta versionen. Sist i båda versionerna anges rubrik, förväntat antal ord och en påminnelse om att källan ska anges.
I varje utprövning deltog 120 elever som skrev varsin text. Sammanlagt deltog alltså 240 elever i undersökningen. Skrivsituationen var en utprövning inför ett nationellt prov både när eleverna arbetade med längre och kortare skrivinstruk- tioner. Det innebär att skrivsituationen har varit provliknande, med begränsad skrivtid och information om att elevtexterna skulle bedömas, men utprövningen har inte utgjort ett ordinarie prov för eleverna.
71 Inför betygsjämförelsen bedömdes de elevlösningar som skrevs vid utpröv- ningarna av två bedömare från provgruppen vid Uppsala universitet. Den kvali- tativa bedömningen utfördes med hjälp av bedömningsanvisningar till det aktu- ella nationella provet. Bedömningsanvisningarna överensstämmer med hintarna i den långa instruktionen, och dessa anvisningar användes i bedömningen av skrivuppgifter utifrån både lång och kort instruktion. De två bedömarna gjorde först en enskild och därefter en gemensam bedömning av varje elevtext. Bedömningsskalan omfattar sex steg: A, B, C, D, E, F, varav A är det högsta omdömet och F det lägsta.
För att öka jämförbarheten har undersökningsgrupperna anpassats, genom att slumpvis valda elevlösningar plockats bort från materialet, så att fördelningen mellan studie- och yrkesförberedande program ska vara densamma i båda grup- perna. Fördelningen mellan program skulle också stämma överens med fördel- ningen i riket mellan yrkes- respektive studieförberedande program. Undersök- ningsgrupperna krymptes därför från 120 elevtexter per utprövning till 90 elever och texter per utprövning.
I betygsjämförelsen ingår därmed 180 elevlösningar. Betygsjämförelsen är en enkel statistisk analys där delprovsresultatet i form av delprovsbetyg i de två utprövningsgrupperna jämförs.
Inför den kvalitativa analysen valdes ett slumpmässigt stickprov ut om 20 elev- lösningar som skrivits utifrån kort instruktion, 10 lösningar som skulle vara argu- menterande skrivande och 10 lösningar som skulle representera utredande text. I stickprovet eftersträvades så stor betygsspridning som möjligt. Eftersom undersökningens fokus är lösningar utifrån kort instruktion har inte lösningar utifrån lång instruktion analyserats kvalitativt.
Analysmodellen är designad med utgångspunkt i de hintar som ges i den långa versionen av uppgiftsinstruktion men har blivit mindre explicita eller helt under- förstådda i den kortare versionen (se tabell 1). Syftet är att undersöka i vilken mån de texter som skrivits utifrån den korta instruktionen har de textegenskaper som hintarna efterfrågar, utifrån tanken att dessa hintar skulle kunna vara överflödiga.
Elevtexterna i urvalet närlästes och för varje hint bedömdes hur elevtexten mot- svarade hintens budskap. En kodning användes för tre kategorier (se nedan). Ana- lysen syftar till att komma fram till vad eleverna verkar ha förstått av sig själva, även med en kort instruktion, och vilka hintar de verkar ha saknat.
Intressant att notera är att ett par satser i den långa instruktionen inte ansågs bidra med hintar om hur den efterfrågade texten skulle vara utformad. Det gäller stycke två och satser som målar upp den fiktiva situationen: ”Redaktionen ber läsarna bidra med debattinlägg och du bestämmer sig för att medverka.”
72
Tabell 1. Innebörd av hintar som är tydliga i lång skrivinstruktion men saknas eller underförstås i kort instruktion. Uppgiften Livsstil och köpvanor.
Kod Hintens innebörd
H1 Det kan anses fel att producera och sedan kasta saker.
H2 Det kan anses rätt att konsumera eftersom det skapar välstånd.
H3 Texten ska ha fokus på konsumtion enligt kommunikationssituationen.
H4 Texten kan anknyta till en pågående debatt.
H5 Texten ska anpassas till syftet att väcka intresse.
H6 Texten ska anpassas till syftet att övertyga.
H7 Texten ska utformas med tanke på mottagaren.
H8 Argumentationen ska vara utförlig.
H9 Källan ska presenteras så att texten som helhet blir självbärande.
Resultat
Betygsjämförelsen presenteras i figur 3, där svart färg visar elevtexter som är skrivna utifrån lång instruktion, medan grå färg visar elevtexter som är skrivna utifrån kort instruktion.
Figur 3. Betygsutfall i procent av lång och kort instruktion.
Som helhet pekar resultatet på att eleverna presterade bättre i utprövningen med den långa än utifrån den korta instruktionen. Det var fler elever som fick höga betyg då de skrev utifrån den längre instruktionen. Skillnaderna för flera av ska- lans nivåer är dock begränsade, särskilt för betyget D men även för C och F.