17 av de 132 uppgifterna i datamängden föll under denna kategori.
Eleven förväntas redovisa fullständig lösning. Bedömningsanvisningarna är formulerade på så vis att även ett korrekt svar inte är poänggivande om inte lösningen redovisas.
Liksom hos kategori 4 delas minst två poäng ut per uppgift, ibland så många som fyra. Poäng delas ut för diverse delmoment av lösningen samt för ”i övrigt godtagbar lösning med korrekt svar” eller motsvarande.
Precis som kategori 4 behandlas främst problemlösningsförmåga.
Dock har begrepps- och procedurförmåga backat något och gett vika för kommunikations- och resonemangsförmåga, detta verkar vara ett resultat av att den öppna metoden ställer högre krav på att eleven är tydlig i sin redovisning.
Drygt hälften av uppgifterna har akademisk verklighetsgrad medan resterande tredjedel är halvverkliga. Precis som hos kategori 4 används halvverkliga uppgifter även när
modelleringsförmåga inte bedöms.
Stor variation i uppgiftslydelser, liknar kategori 4.
Ungefär hälften på A-nivå, men behandlar även C- och E-nivå.
Förekommer i den senare halvan av proven, återfinns ofta bland de sista uppgifterna. Denna uppgiftskategori skiljer sig från kategori 4 på två vis: metoden är öppen och
kommunikationsförmågan tar ett större uttrymme i poängsättningen. Eftersom
kommunikationsförmåga inte är poänggivande på E-nivå behöver den ökade poängsättningen inte nödvändigtvis betyda att dessa uppgifter kräver mer kommunikation, utan är snarare ett tecken på att den kommunikation som krävs är på högre nivå.
Precis som för kategori 4 skapas en konflikt där de sekundära syftena att behandla begrepps-, procedur- och kommunikationsförmåga med hjälp av mer komplexa uppgiftsstrukturer ställs mot en önskan att inte underminera uppgifternas huvudsyftet att behandla elevens problemlösningsförmåga. Uppgifternas öppna metod gör detta än mer problematiskt, om uppgiftsstrukturen förväntas fånga lösningens olika steg skulle den behöva förgrena sig med de olika lösningsmetoderna. Detta blir problematiskt eftersom de svårigheter som redan råder kring implementation upprepas för varje gren. Om uppgiftskategorins huvudfokus och öppna metod ska prioriteras verkar det således som att det finns ännu starkare skäl jämfört med kategori 4 att hålla sig till de riktlinjer som presenterats för kategori 1. Alternativet är att med hjälp av stödstrukturer stänga metoden, vilket leder till att uppgiften faller under kategori 4 och bör implementeras som sådan.
Kategori 6: Utredande uppgifter med olika grad av öppenhet som besvaras med redovisning Denna uppgiftskategori påvisar i de nationella proven följande karaktäristik:
11 av de 132 uppgifterna i datamängden föll under denna kategori.
Svaret består av ett matematiskt resonemang. Poängsättning utgår ifrån olika kvalitativa nivåer i det matematiska resonemanget. Här som hämtat ur bedömningsanvisningarna för det
nationella provet i matematik 3c höstterminen 2012:
I allmänhet delar uppgifter i denna kategori ut två eller tre poäng. För uppgifter på låg nivå delas ibland endast ett poäng ut.
Behandlar främst resonemangsförmåga, därefter inslag av resterande förmågor exklusive begreppsförmåga.
Uppgifterna är till övervägande del halvverkliga eller verklighetstrogna. De verklighetstrogna uppgifterna förekommer dock endast i samband med låg matematisk nivå.
Uppgiftslydelser presenterar ett matematiskt påstående som eleven får i uppdrag att ta ställning till, utvärdera, och/eller förklara. För uppgifter med akademisk verklighetsgrad är uppgiftslydelser mer begränsade medan de för högre grader av
verklighetskoppling blir alltmer omfattande. Till skillnad från kategori 4 och 5 presenteras innehållet på mer konventionellt vis, oftast används endast text och symboler.
Ungefär tre fjärdedelar av uppgifterna i denna kategori behandlar A-nivå, det är dessa uppgifter
som är öppna i metod och svar samt använder sig av högre grader av verklighetskoppling och mer omfattande uppgiftslydelser. Resterande uppgifter på C- och E-nivå liknar kategori 2.
Förekommer i den senare halvan av proven, återfinns ofta bland de sista uppgifterna. Syfte och anpassning av taxonomins variabler
Dessa uppgifter liknar kategori 2 med ett fokus på resonemangsförmåga och att de besvaras med ett matematiskt resonemang. Till skillnad från kategori 2 begränsar sig dock dessa uppgifter inte till korta resonemang som endast behandlar ett enskilt samband och enkel algebraisk manipulation samt
minimalistiska uppgiftslydelser. Istället används mer omfattande uppgiftslydelser; lösningsmetodik och svar är mer omfattande, varierade i representationsfomer och öppna; lösningen kräver ibland en kombination av matematiska uttryck, bilder och förklarande text; dessutom förväntas eleven ofta motivera ett eget ställningstagande, exempelvis genom att motivera varför ett uttalande är sant eller falskt.
Huvudsyftet är således detsamma som i kategori 2: att behandla resonemangsförmåga, i vissa fall i form av ett matematiskt bevis. Uppgifter i denna kategori förväntas dock göra detta på ett mer omfattande och flexibelt vis, samt utan de begränsningar på komplexitet som råder för kategori 2. Uppgiftsstruktur och svarshandling
I många fall kan uppgiftens struktur och innehåll vara sådant att det är möjligt att använda sig av ”Assembling Proof” som nämndes i samband med kategori 2, denna uppgiftsstruktur fångar mycket väl strukturen av matematiska resonemang. I och med att de matematiska resonemangen i denna kategori i allmänhet består av fler steg så förväntas antalet element som ska ordnas även öka. Denna ökning är acceptabel men bör hållas i åtanke utifrån vad elever kan förväntas kunna hantera.
Förutom detta är valmöjligheter utifrån ramverket få, resterande uppgiftsstrukturer som används för att behandla resonemangsförmåga baserar sig på enklare versioner av flervalsuppgifter och kritiseras för att inte komma åt högre ordningens förmågor så som resonemangsförmåga (Scalise och Gifford, 2006). Möjligtvis kan någon form av sofistikerad uppgift utformas för vissa fall men brist på forskning gör det svårt att rekommendera dessa då de möts av liknande problematik som kategori 4 och 5. Formativ återkoppling
Möjligheter till återkoppling begränsas i detta fall främst av uppgiftsstruktur, därmed gäller liknande möjligheter som för kategori 2.
Diskussion
Syftet med detta arbete var att tillhandahålla riktlinjer för hur självrättande digitala uppgifter kan utformas så att de till största möjliga grad motsvarar de kunskapsmål som Skolverket förväntar sig att elever ska uppnå. För att ta reda på vad Skolverket förväntar sig studerades nationella prov utifrån ett ramverk baserat på uppgifters syfte, vilket därefter kompletterades med diverse styrdokument från Skolverket. Utifrån ett teoretiskt ramverk kring digitalisering av uppgifter och formativ återkoppling presenterades sedan de riktlinjer som teoretiskt sett bör främja ett resultat som ligger i linje med det som observerats i de nationella proven och Skolverkets styrdokument.
Utifrån fyra granskade nationella prov observerades sex kategorier av uppgifter. Dessa var varianter av proceduruppgifter, problemlösningsuppgifter och utredande uppgifter. Över fyra femtedelar (112 av 132) av de bearbetade uppgifterna besvarades huvudsakligen med svarsformaten värde, uttryck eller val. Resterande uppgifter besvarades huvudsakligen med matematiska resonemang i form av mer eller mindre formella bevis.
Det som ansågs vara uppgifters huvudsyfte var ofta tätt sammanvävt med poängsättningen av uppgifter. Huvudsyftet sammanföll med poängsättningen i samband med det slutgiltiga korrekta svaret. Hos de uppgifter som delade ut flera poäng gjordes detta för olika delmoment av elevens lösning i samband med vad som betraktades som sekundära syften. När faktorer så som
uppgiftsstruktur anpassades för att behandla dessa sekundära syften uppstod i vissa fall konflikter där uppgifters huvudsyften riskerade att åsidosättas. I denna konflikt prioriterades uppgifternas
huvudsyften och dessa anpassningar förkastades, vilket ledde till att riktlinjer kring uppgiftsstruktur näst intill uteslutande utformades utifrån uppgifters huvudsyfte. Resultatet av detta är att de
uppgiftsstrukturer som rekommenderas kan upplevas som relativt få utifrån det teoretiska ramverket. Möjligtvis kan detta vara ett resultat av att detta arbete försöker fånga innehållet av pappersprov och således inte breddar perspektivet tillräckligt för fullt ut använda teknikens möjligheter. Det kan även ha att göra med att delar av det teoretiska ramverket inte var specifikt varken för självrättande
uppgifter eller för matematiskt innehåll och att många av de uppgiftsstrukturer som utgjorde ramverket därför inte var lämpliga.
Konfliken mellan huvudsyfte och sekundära syften var så återkommande att den misstänks uppstå på en fundamental nivå. En möjlighet är att den upptstår som följd av skillnaderna mellan de begränsade svarshandlingar som är tillgängliga för digitala självrättande uppgifter och den frihet som gäller för prov som skrivs på papper och rättas av en människa. Om så är fallet så är det möjligt att innovation kring svarshandling kan bidra till att lindra dessa konflikter.
Det verkar utifrån granskad forskning som att det är önskvärt att ge välutvecklad formativ
återkoppling där sådan kan ges. Möjligheter till detta verkar främst begränsas av informationsmängden som finns att bearbeta i elevens svar, vilket leder till att möjligheter att ge välutvecklad formativ återkoppling främst varierar utifrån vilken uppgiftsstruktur som används. Det verkar lämpligt att formativ återkoppling främst ges på uppgifts- och processnivå, dock bör även självregleringsnivå hållas i åtanke för att undvika vissa potentiellt negativa konsekvenser. Återkoppling som ges utifrån elevens svar bör behandla uppgiftsnivå och främst fokusera på att bekräfta huruvida svaret var korrekt eller felaktigt, i vissa fall kan den även bidra till felsökning. Ledtrådar bör vara på processnivå och användas för att rikta elevens uppmärksamhet mot information som är central för att förstå uppgiften. Förutom de riktlinjer som var arbetets huvudsyfte producerades i Del 1 en mängd data som kan användas för att få en uppfattning om diverse faktorer som täcks av datamängden. Om data används på
Tabell 10: Översikt av uppgiftskategorier detta vis är det viktigt att hålla i åtanke att kommunikationsförmåga inte poängsätts på E-nivå och därför inte finns representerad på samma sätt som resterande förmågor.
I Tabell 10 presenteras en översikt av arbetets uppgiftskategorier och riktlinjer för deras implementation.
Uppgiftskategori Huvudsyfte Sekundärt
syfte Begränsningar
Rekommenderad
Uppgiftsstruktur Återkoppling Stängda
proceduruppgifter som besvaras med värde eller uttryck.
Enskild procedur eller begrepp. Inget. Minimera komplexitet. Endast nödvändiga element. ”Single Numerical Constructed” ”Matching” ”Categorizing” Olika typer av flervalsstrukturer. ”Rätt svar” eller ”Försök igen” beroende på uppgiftsmängd. Möjligtvis ledtrådar. Stängda proceduruppgifter som besvaras med
redovisning. ”Visa att”-uppgifter: Resonemang kring enskilt matematiskt samband. Skiss-uppgifter: Grafisk representations form. ”Visa att”-uppgifter: Kommunikati va aspekter av matematiska bevis. Minimera komplexitet. Endast nödvändiga element. Fokus på det grafiska för skiss-uppgifter. ”Visa att”-uppgifter: ”Assembling Proof” Skiss-uppgifter: ”Limited Figural Drawing” ”Figural Constructed Response”. Mer välutvecklad felsökning tack vare information i svar som följd av uppgiftsstruktur. Stängda proceduruppgifter som besvaras med
val. Enskilt begrepp. Inget. Minimera komplexitet. Endast nödvändiga element. ”Matching” ”Categorizing” Olika typer av flervalsstrukturer. ”Rätt svar” eller ”Försök igen” beroende på uppgiftsmängd. Möjligtvis ledtrådar. Stängda problemlösningsupp
gifter som besvaras med värde eller
uttryck. Problemlösnin gsförmåga. Procedur- och begreppsförm åga i samband med delsteg i lösningen. Inga märkbara begränsningar. Möjligtvis önskvärt att tillföra extra komplexitet. ”Single Numerical Constructed” ”Matching” ”Categorizing” Olika typer av flervalsstrukturer. Sekundärt syfte går förlorat. ”Rätt svar” eller ”Försök igen” beroende på uppgiftsmängd. Möjligtvis ledtrådar. Problemlösningsupp gifter med öppen metod som besvaras
med värde eller uttryck. Problemlösnin gsförmåga. Kommunikati onsförmåga och andra förmågor i samband med delsteg. Inga märkbara begränsningar. Möjligtvis önskvärt att tillföra extra komplexitet. ”Single Numerical Constructed” ”Matching” ”Categorizing” Olika typer av flervalsstrukturer. Sekundärt syfte går förlorat. ”Rätt svar” eller ”Försök igen” beroende på uppgiftsmängd. Möjligtvis ledtrådar. Utredande uppgifter med olika grad av
öppenhet som besvaras genom redovisning. Mer omfattande matematiska resonemang. Kommunikati va aspekter av matematiska resonemang. Inga märkbara begränsningar. Ofta omfattande uppgiftslydelser. ”Assembling Proof” Mer välutvecklad felsökning tack vare information i svar som följd av uppgiftsstruktur.
Begränsningar
Konflikten mellan huvudsyfte och sekundära syften ledde till viss förlust av kommunikativa aspekter i uppgifterna. Det fanns en önskan att uppgiftsstrukturer skulle återspegla de olika delsteg som låg till grund för eventella sekundära syften så att elever skulle få en träffsäker bild av vad som förväntas ingå
i ett fullständigt svar; detta gick förlorat. Annars verkar det som att de kommunikativa aspekterna ha behandlats enligt förväntan; både för bortfall och åtgärder för att reducera det. Det verkar finnas goda möjligheter att inkludera symboler, representationsformer och begrepp. Dessa verkar främst begränsas av de tekniska och kreativa omständigheter som råder vid implementation.
Detta arbete har tagit en pragmatisk hållning genom att i så stor utsträckning anpassa sig till
Skolverkets syn på matematisk kunskap, möjligtvis på bekostnad av faktorer som kan vara viktiga ur ett pedagogiskt perspektiv. Detta har gjorts med hänvisning till att det inom det svenska skolsystemet i praktiken är Skolverkets syn på kunskap som elever kommer bedömas utifrån, och som därigenom bestämmer huruvida de lyckas i skolan eller ej. Om resultatet används är det viktigt att denna möjliga problematik tas i beaktande så att uppgifterna inte används på ett olämpligt sätt. Det är även viktigt att denna begränsning framgår tydligt så att de som utför uppgifterna är fullt medvetna om uppgifternas syfte.
I och med att 133 uppgifter granskades av en enskild person utifrån ett kvalitativt ramverk har det oundvikligen skett ett visst antal misstag i kategoriseringen av uppgifter. En iterativ designprocess för användningen av det teoretiska ramverket i Del 1 anses till viss del ha dämpat denna effekt, men problematik kring gråzoner så som för exempeluppgift 15 i Del 1 återstår. Trots detta påvisar data skarpa kontraster mellan de olika kategorierna vilket förhoppningsvis kan tolkas som ett tecken på att fall av felaktig kategorisering inte förvrängt synen på uppgifters huvudsyfte. Utifrån hela datamängden observerades cirka ett halvdussin fall i stil med uppgift 15. Bedömningen görs att dessa uppgifter kan implementeras enligt de riktlinjer som presenterats för de olika kategorier de skulle kunna tänkas falla under, det förväntade resultatet förväntas då variera beroende på vilka riktlinjer som följs. Exempelvis skulle uppgift 15 istället kunna implementeras med hjälp av ”Assembling Proof” utifrån riktlinjerna för kategori 2 och/eller 6, om så görs förväntas den primärt behandla resonemangsförmåga istället för problemlösningsförmåga.
Vidare forskning och arbete
Nästa steg i arbetet är att testa huruvida dessa riktlinjer i praktiken leder till önskat resultat, vilket bör göras både vid implementation och vid vidare forskning. Det kan även behövas mer djupgående arbeten inom de olika kategorierna för att tillhandahålla de mer specifika riktlinjer som gick förlorade som följd av arbetets breda perspektiv.
Det kan även vara användbart att undersöka möjligheten att använda ytterligare uppgiftskategorier i syftet att fånga delar av det innehåll som gått förlorat i digitaliseringsprocessen. Exempelvis skulle en ytterligare uppgiftskategori kunna ha som huvudsyfte att fånga de kommunikativa aspekter av
problemlösning som förväntas gå förlorade i implementationen av kategori 4 och 5.
Skolverket förväntas presentera sina digitala nationella prov i matematik under de kommande åren, det kan då vara intressant att genomföra en liknande studie som Del 1 för att undersöka huruvida de riktlinjer som ges i detta arbete fortfarande är representativa. Om det visar sig att så inte är fallet är det rimligt att förkasta detta arbete. Det kan även visa sig intressant att se hur Skolverket angriper den problematik som uppvisats i arbetet, särskilt utmaningen att behandla kommunikationsförmåga. Även om de digitala nationella proven inte kommer vara helt självrättande och således inte lyder under samma begränsningar som detta arbete kan de ge vidare insikt kring hur denna problematik förväntas hanteras i den svenska skolan.
Referenslista
Bowers, J., Bezuk, N. och Aguilar, K. (2011). Adapting the mathematical task framework to design
online didactic objects. International Journal of Mathematical Education in Science and Technology,
42:4, 481-495. doi: 10.1080/0020739X.2010.550941
Boyle, A., och Hutchison, D. (2009). Sophisticated tasks in e‐assessment: What are they and what are their benefits? Assessment och Evaluation in Higher Education, 34(3), 305-319.
doi:10.1080/02602930801956034
Crisp, G. (2010). Interactive e-assessment - Practical approaches to constructing more sophisticated
online tasks. JLD Journal of Learning Design, 3(3). doi:10.5204/jld.v3i3.57
Hattie, J., och Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81-112. doi:10.3102/003465430298487
Domun, M. och Bahadur, G. K. (2014). Design and Development of a Self-Assessment Tool and
Investigating its Effectiveness for E-Learning. European Journal of Open, Distance and E-Learning,
17(1), 1-25., ISSN (Online) 1027-5207, doi: 10.2478/eurodl-2014-0001
Pachler, N., Daly, C., Mor, Y., och Mellar, H. (2010). Formative e-assessment: Practitioner cases. Computers och Education, 54(3), 715-721. doi:10.1016/j.compedu.2009.09.032
Parshall, C. G., Harmes, J. C., Davey, T., och Pashley, P. J. (2009). Innovative Items for Computerized
Testing. Elements of Adaptive Testing, 215-230. doi:10.1007/978-0-387-85461-8_11
Scalise, K. och Gifford, B. (2006). Computer-Based Assessment in E-Learning: A Framework for
Constructing “Intermediate Constraint” Questions and Tasks for Technology Platforms. Journal of
Technology, Learning, and Assessment, 4(6).
Shute, V. J. (2008). Focus on Formative Feedback. Review of Educational Research, 78(1), 153-189. doi:10.3102/0034654307313795
Skolverket (2011). Ämne - Matematik. Stockholm: Skolverket. Hämtad 02-05-2016, från
http://www.skolverket.se/laroplaner-amnen-och-kurser/gymnasieutbildning/gymnasieskola/mat?tos=gy
Skolverket. (2015a). 700 elever testar digitala provuppgifter. Stockholm: Skolverket. Hämtad 02-05-2016, från http://www.skolverket.se/bedomning/nationella-prov/arkiv-nationella-prov/700-elever-testar-digitala-provuppgifter-1.241889
Skolverket. (2015b). Nationella prov. Stockholm: Skolverket. Hämtad 02-05-2016, från http://www.skolverket.se/bedomning/nationella-prov
Skolverket. (2016). Förstudier inför digitala nationella prov. Stockholm: Skolverket. Hämtad 02-05-2016, från http://www.skolverket.se/bedomning/nationella-prov/arkiv-nationella-prov/forstudier-infor-digitala-nationella-prov-1.247840
Staats, S. och Robertson, D. (2014). Designing Tasks For Math Modeling In College Algebra: A
Critical Review. Journal Of College Teaching & Learning (TLC), 11(2), 85.
Sveriges Kommuner och Landsting. (2016a). Skolans Digitalisering. Stockholm: Skolverket. Hämtad 02-05-2016, från http://skl.se/skolakulturfritid/skolaforskola/digitaliseringskola.88.html
Sveriges Kommuner och Landsting. (2016b). Vision 2020 för skolans digitalisering. Stockholm: Skolverket. Hämtad 02-05-2016, från
http://skl.se/skolakulturfritid/skolaforskola/digitaliseringskola/vision2020.skolvision2020.html Yeo, Joseph B. W. (2007). Mathematical tasks: clarification, classification and choice of suitable
tasks for different types of learning and assessment. Mathematics and Mathematics Education
Bilaga 1: Högsta behandlade betygsnivå på de nationella proven
Bilaga 2: Verklighetskoppling på de nationella proven
Bilaga 3: Antal/Andel uppgifter som behandlar förmåga på de nationella proven