- 2010-01-27
Resultatbedömning av utbildningarna genom extern granskning av examensarbeten – projektplan
Sammanfattning
Syftet med projektet är att utveckla resultatbedömningar av utbildningarna genom en metod för extern granskning av examensarbeten. Metoden baseras på tidigare
pilotprojekt vid Lunds universitet respektive Högskolan i Kalmar. Målet för projektet är att presentera:
• underlag för beslut om användning av granskning av examensarbeten som metod inom Linnéuniversitetets kvalitetsarbete
• en manual för den praktiska användningen av metoden
• en projektrapport för spridning inom Lnu, nationellt och internationellt
Bakgrund
I den internationella och nationella diskussionen om kvalitet i högre utbildning har de senaste åren fokus flyttats från ett mer traditionellt kvalitetsarbete genom
kvalitetssäkring av förutsättningar och processer, till att tydligare följa upp resultat på olika nivåer. Resultatuppföljning av forskningen är mycket etablerad, medan
resultatmätning av utbildning är betydligt nyare. Kvantitativa resultat i form av genomströmning och retention används alltmer, medan metoder för bedömning av kvalitativa resultat fortfarande är under utarbetande, bl a inom ramen för
Högskoleverkets förslag på nytt nationellt utvärderingssystem. Examensarbetena/de självständiga arbetena är ett uttryck för flera av de mål som anges för examina på grund- och avancerad nivå, och examensarbetenas standard som ett mått på utbildningarnas resultat blir en central metod i detta arbete.
Såväl Lunds universitet och Högskolan i Kalmar har tidigare genomfört pilotprojekt inom området. Initiativ till pilotprojektet vid HiK togs av det dåvarande Kvalitets- och utvecklingsrådet, och genomfördes inom sjuksköterskeutbildningen av Margaretha Hagberg, lektor i omvårdnad och vice ordförande i Nämnden för sjöfart, humaniora, vård- och samhällsvetenskap. Resultaten redovisades hösten 2009 i rapporten
Kvalitetssäkring av examensarbeten vid Högskolan i Kalmar, vilken redovisades inom utbildningen, vid Högskolans kvalitetsseminarium och i nämnden, och fick ett stort internt intresse. Slutsatsen är att metoden är ett kraftfullt instrument för
resultatuppföljning som grund för förbättringar i verksamheten, men också att den måste ytterligare anpassas och förankras för att kunna användas generellt.
Resultaten och erfarenheterna från projekten vid Lunds universitet finns redovisade i Karl Axel Nillson, Direkt kvalitetssäkring. Bedömning av utbildningens resultat och relevans, Utvärderingsenhetens rapportserie 2009:255.
Syfte och mål
Syftet med projektet är att utveckla resultatbedömningar av utbildningarna på grund- och avancerad nivå genom en metod för extern granskning av examensarbeten.
Resultatbedömningen gäller inte de enskilda studenternas prestationer, vilka granskas genom examinationen av respektive examensarbete, utan gäller standarden på den samlade produktionen av examensarbeten inom respektive utbildning. Analysen av denna metod och dess anpassning till Lnu:s behov syftar till att göra metoden användbar och förankrad inom universitetet.
Målet för projektet är att presentera:
• underlag för beslut om resultatbedömningar av utbildningarna genom granskning av examensarbeten som metod inom Lnu:s kvalitetsarbete
• en manual för den fortsatt användning av metoden
• en projektrapport för spridning inom Lnu, nationellt och internationellt
Projektorganisation
Arbetet genomförs av tre lärare inom tre olika utbildningar tillsammans med kvalitetssamordnaren. Kvalitetssamordnaren ansvarar för samordning och rapport.
Projektet som helhet leds av en projektgrupp där de medverkande lärarna,
kvalitetssamordnaren och den ansvariga för pilotprojektet Margaretha Hagberg ingår.
Till projektgruppen knyts dessutom extern kompetens.
Metod
Projektet avser att genomföra extern granskning av ett urval
examensarbeten/självständiga arbeten inom tre olika utbildningar inom Lnu.
Granskningen genomförs av externa sakkunniga inom respektive område och enligt en generell modell som redogörs för nedan.
Metoden utgår från att examensarbeten/självständiga arbeten, som oftast genomförs i slutet av en utbildning, är ett uttryck för flera av de mål som anges i examensordningen för utbildningarna på grund- och avancerad nivå. I en studie angående bedömning av kandidatuppsatser (Härnqvist, K, En akademisk fråga – en ESO-rapport om ranking av C-uppsatser, Ds 1999:65, sid 23) anges att ”uppsatsskrivandet integrerar en rad ämnesanknutna kunskaper och metodologiska färdigheter med sådant som tillhör högskolestudiernas allmänna mål beträffande självständigt arbete, kritisk förmåga och effektiv kommunikation”.
1. Val av externa bedömare
Bedömargruppen för respektive område ska bestå av minst tre sakkunniga personer.
Personerna ska kunna ge konstruktiva bidrag till utbildningarnas utveckling, av den anledningen måste därför institutionen ha inflytande över valet av bedömare, utifrån ett förtroende för deras kompetens. I bedömargruppen ska finnas vetenskaplig och
högskolepedagogisk kompetens, och erfarenhet från relevant yrkesliv. Bedömarna hämtas från olika lärosäten och från yrkeslivet, och ska kunna avge yttrande inom två månader.
Förslag på bedömare lämnas av respektive prefekt i samråd med institutionsstyrelsen, för lärarutbildningen lämnar lärarutbildningskansliet förslag. De föreslagna ska ha accepterat uppdraget och villkoren. Respektive nämnd utser bedömargrupp. Projektet bekostar arvode och resor enligt budget, se nedan.
2. Bedömningsobjekt
Bedömning av ämnesval: Ansvariga för utbildningen gör en förteckning av de två senaste årens examensarbeten, och anger för varje projekt vilken problemställning studenten arbetat med samt titel på arbetet eller den produkt arbetet resulterat i. Om utbildningen har producerat mer än 30 examensarbeten per år räcker det om listan omfattar det senaste årets arbeten.
De sakkunniga gör för varje läsår en samlad bedömning av ämnesvalens relevans med hänsyn till målen för utbildningen och yrkeslivets utveckling. Bedömningen resulterar i indelning i: hög relevans, hög relevans men med några tveksamma projekt, mycket varierande relevans, låg relevans. Skälen för de sakkunnigas bedömning
dokumenteras.
Godkäntnivå och excellens: Institutionen gör ett urval av åtta examensarbeten som ska vara så aktuella som möjligt. Fyra av dessa arbeten väljs för att illustrera kraven för godkänt, dvs där arbetena har haft svagheter eller varit föremål för diskussion om godtagbar standard. Fyra av dessa examensarbeten väljs för att illustrera vilken grad av excellens som har uppnåtts i utbildningen, dvs exempel på de bästa prestationerna.
De sakkunniga bedömer tre arbeten ur vardera kategorin enligt nedanstående fördelning:
Ex-arbete 1 2 3 4 5 6 7 8
G G G G VG VG VG VG
Bedömare
A x x x x x x
B x x x x x x
C x x x x x x
Varje arbete granskas av minst två bedömare och samtliga sakkunniga ser på arbeten i båda kategorierna.
3. Kriterier för bedömning
Varje sakkunnig gör en sammanfattande bedömning av de sex tilldelade examensarbetena utifrån följande kriterier:
Studenterna har:
1 valt tydligt formulerade och realistiska problemställningar för examensarbeten på denna utbildningsnivå
2 sökt och identifierat publicerade vetenskapliga arbeten/artiklar som är relevanta för de valda problemställningarna
3 överblickat och skriftligt sammanfattat samt värderat dessa arbeten i förhållande till de valda problemställningarna
4 med teoretisk medvetenhet valt fruktbara undersökningsidéer/hypoteser samt valt och använt relevanta metoder.
5 skickligt genomfört undersökningarna och dragit giltiga slutsatser
6 använt ett korrekt och begripligt språk samt tillämpat gängse formalia för citering, referenser etc.
Om examensarbetena leder fram till en produkt görs bedömningen utifrån följande kriterier
Studenterna har:
1. valt tydligt formulerade och realistiska problemställningar för examensarbeten på denna utbildningsnivå.
2. arbetat med stöd av god kunskap och överblick över aktuell internationell utveckling inom produktområdet.
3. skapat en produkt med god teknisk kvalitet, som svarar mot kraven på hållbar utveckling.
4. skapat en produkt som svarar mot människors behov och levnadsvillkor 5. tillfört produktområdet personliga konstnärliga uttryck och/eller teknisk
förnyelse.
Varje sakkunnig gör för vart och ett av dessa kriterier en bedömning av studentgruppens prestationer i följande kategorier.
• i huvudsak excellenta prestationer.
• blandning av godtagbara och excellenta prestationer.
• i huvudsak svaga prestationer.
Kriterierna ska ses över och eventuellt revideras för respektive utbildning. Skälen för de sakkunnigas bedömning dokumenteras.
4. Bedömning av examensarbetenas standard samt eventuella förslag till åtgärder De sakkunniga kallas till ett gemensamt möte för redovisning av bedömningarna och överläggning om slutsatser. Vid detta möte fastställs gemensamma bedömningar och eventuella avvikelser.
Företrädare för utbildningen redovisar enligt en särskild mall inom vilka kurser träningen sker av de olika färdigheter som anges i bedömningskriterierna. De sakkunniga bedömer i vilka hänseenden denna träning har lett fram till goda resultat respektive i vilka hänseenden förbättringar bör göras.
Mötena dokumenteras och delges programråd, institutionsledning och berörd fakultetsnämnd. Institutionen och nämnden beslutar om åtgärder/plan för åtgärder.
4. Analys
Redovisning för de olika deltagande utbildningarna sammanställs av
kvalitetssamordnaren i samarbete med lärarna. Rapporterna omfattar följande uppgifter:
- bedömningsprotokoll, - åtgärdsplan och
- ekonomisk redovisning
samt redogörelse för erfarenheter av tillämpningen av - kriterier för val av externa bedömare
- metod för urval av examensarbeten - bedömningskriterier samt
- bedömningsmetod.
Dessa redogörelser kompletteras genom intervjuer med lärare med uppgifter som behövs för att göra delprojekten jämförbara. En central del av intervjuerna avser hur de kunskaper, färdigheter och förhållningssätt etc., som ligger till grund för examensarbetena/självständiga arbetena byggs upp under utbildningsförloppet. Frågorna gäller struktur och innehåll i utbildningen och hur detta förlopp kommer till uttryck i examinationen. Under de tidigare pilotprojekten har aktualiserats att en sådan förloppsanalys kan återspegla utbildningsresultatens stabilitet.
Redovisning av projektets resultat Projektet ska resultera i:
• underlag för beslut om användning av granskning av examensarbeten som metod inom Lnu:s kvalitetsarbete
• en manual för den praktiska användningen av metoden
• en projektrapport för spridning inom Lnu, nationellt och internationellt
• redovisning för nämnderna och institutionsstyrelserna
• seminarium för alla intresserade.
Fortsatt arbete
En av målsättningarna med projektet är att producera ett underlag för beslut om att använda granskning av examensarbeten som en metod i kvalitetsarbetet inom nämnder och institutioner. Granskning av examensarbeten kan genomföras periodiskt
återkommande inom alla utbildningar, och resultaten av granskningarna användas av nämnderna som resultatuppföljning och av institutionerna i utvecklingsarbetet.
Tidsplan för projektet
Projektet genomförs under våren 2010 med presentation av slutrapport efter sommaren. Seminarier och muntliga presentationer sker under hösten.
Budget
Lärartid inkl lkp 3 personer x 80 h 90 tkr
Lärartid Margaretha Hagberg inkl lkp 40 h 15 tkr
Arvode externa bedömare 9 personer x 5 000 tkr 45 tkr Resor externa bedömare 9 personer x 2 000 kr 18 tkr
Arvode externt projektstöd 80 h 40 tkr
Tryckning rapport 2 tkr
Tid kvalitetssamordnaren inom tjänst -
Summa 210 tkr
Varav finansiering från HiK-KUR 71 tkr
