Kvalitetsarbete på Malmö högskola då och nu - med sikte på framtiden

158  Download (0)

Full text

(1)

K VA L I T E T S A R B E T E P Å M A L M Ö H Ö G S K O L A D Å O C H N U – M E D S I K T E P Å F R A M T I D E N

(2)

kvalitetsarbete på malmö högskola

Då och nu – med

sikte på framtiden

(3)

© Malmö högskola 2006

Författarna ansvarar för innehållet i sina respektive texter. Redaktör: Viveca Serder

Grafisk form: Marie-Louise Friberg Foto: Porträttbilder: Gisela Svedberg

Omslag och miljöbilder: Stefan Lindblom, samt porträtt sidan 7 Tryck och repro: Prinfo, Malmö, 2006

(4)

FÖRORD . . . .7

KVALITETSARBETE DÅ OCH NU – MED SIK TE PÅ FR AMTIDEN! . . . .9

FÖRFATTARNA . . . .12

INTRODUK TION I UTBILDNINGEN . . . .15

Linda Karlsson, Asko Kauppinen, Therese Kinnberg, Mikael Mattesson och Per Vult von Steyern KURSVÄRDERINGAR . . . .27

Christel Brost, Marie Engström-Henriksson, John Niubo, Therese Persson och Viveca Serder BEDÖMNING AV STUDENTERNAS PRESTATIONER . . . .63

Jean Hudson, Kerstin Knutsson, Henriette Lucander, Marie Skedinger-Jacobson och Hanna Svensson LÄRANDE FÖR ARBETSLIVET – VERKSAMHETSFÖRLAGD UTBILDNING .89 Mari Bergqvist, Cilla Hansson, Leif Leisnert, Madeleine Rohlin och Charlotte Stölten UPPFÖLJNING AV STUDENTERNA UNDER OCH EFTER UTBILDNINGEN .103 Claes Gullberg, Jörgen Ivarsson, Annelis Jönsson, Jane Lundberg och Bodil Persson MALMÖ HÖGSKOL A – PL AN FÖR KVALITETSARBETE INOM GRUNDUTBILDNINGEN 2005–2007 . . . .135

MALMÖ HÖGSKOL AS KVALITETSARBETE 2000–2006 . . . .149

(5)

i maj förra året fattade Malmö högskolas styrelse beslut om en kvalitetsplan för grundutbildningen för 2005–2007. Fem viktiga aspekter på kvalitet uppmärksammas i denna plan, nämligen Intro-duktion, Kurs- och programvärderingar, Bedömning av studenternas prestationer, Lärande för arbetslivet - Verksamhetsförlagd utbild-ning, Uppföljning av studenterna – under och efter utbildningen. Fem arbetsgrupper, med studenter och personal från högskolans alla områden, har sedan i höstas arbetat med dessa fem aspekter och tagit fram modeller att gå vidare med. Rapporterna från dessa fem arbets-grupper har vi samlat i denna skrift.

Kvalitetsarbetet på Malmö högskola ska vara långsiktigt och, för att citera kvalitetsplanen, vara värdeskapande och till nytta för verk-samheten, dvs kvalitetsarbetet ska i första hand vara en utvecklings-process och i mindre utsträckning kontroll. Därför blir en viktig

(6)

princip för kvalitetsarbetet, för att åter citera kvalitetsplanen, kvalitet säkras och utvecklas således av oss som medarbetare och studenter vid Malmö högskolas områden och enheter och bygger på allas del-tagande.

Att på olika sätt, alltifrån seminarier för hela högskolan till work-shops i mindre arbetsgrupper, fortsätta det arbete som igångsatts är mycket viktigt för Malmö högskola. Jag hoppas att denna skrift ska bli ett bra underlag för detta fortsatta arbete.

Jag vill också tacka alla de medarbetare och studenter som på olika sätt bidragit till denna skrift. Det gäller dels den tidigare Grundut-bildningsberedningen som tagit fram underlaget till kvalitetsplanen, dels alla de som deltagit i de fem arbetsgrupperna. Ingen nämnd och ingen glömd.

lennart olausson

(7)

för att illustrera hur kvalitetsarbetet vid Malmö högskola har utvecklats under högskolans första åtta år har vi valt att i denna skrift presentera tre viktiga delar av detta arbete. Den första är de fem kvalitetsrapporter, som tagits fram under läsåret 2005/2006. Dessa rapporter är ett av resultaten av »Plan för kvalitetsarbetet inom grundutbildningen vid Malmö högskola 2005–2007«. Denna plan är den andra viktiga illustrationen av högskolans kvalitets-arbete. Den tredje illustrationen är dokumentet »Malmö högskolas kvalitetsarbete 2000–2006«. Detta dokument togs fram som Malmö högskolas bidrag till Högskoleverkets »Det bästa kvalitetsarbetet bland nordiska universitet/högskolor« och bygger på den första Kva-litetsplanen vid Malmö högskola från år 2000. De två kvalitetspla-nerna från 2000 och 2005 har både gemensamma delar, vilket ska ses som uttryck för den kontinuitet och långsiktighet som präglar ett gott kvalitetsarbete, och naturligtvis också skilda delar.

Vårt övergripande syfte med kvalitetsarbetet har varit att utbild-ningen skall vara planerad, ha ett innehåll och en utformning, som har Fokus på studentens lärande. Det främsta kvalitetsarbetet sker därför i det vardagliga mötet mellan studenter och medarbetare vid högskolan. En av de viktigaste komponenterna i kvalitetsarbetet är att utveckla alla medarbetares kompetens att handha ett sådant möte. Den första högskolepedagogiska kursen vid Malmö högskola, som startades 2000 och ges kontinuerligt sedan dess, fick därför namnet »Att utvecklas som högskolelärare«.

Vi har genomgående haft fyra ledord för kvalitetsarbetet nämligen: Koherens, Konsistens, Kontinuitet och Konflikt. I Kvalitetsplanen

Kvalitetsarbete

då och nu – med sikte

(8)

2005–2007 söker vi uttolka dessa ledord. Båda kvalitetsplanerna bygger på de olika processerna i utbildningen nämligen: Planering och rekrytering, Introduktion, Genomförande och examination, Väg-ledning och stöd för fortsatta studier/yrkeslivsamt Uppföljning av studenterna. Andra aspekter är olika i de två kvalitetsplanerna, som en naturlig följd av att Malmö högskola befunnit sig i olika skeden under dessa år.

Den första Kvalitetsplanen ska ses utifrån de möjligheter som gavs för påverkan av en verksamhet i snabb uppbyggnad. Den utar-betades av dåvarande Kvalitetsnämnden, som bestod av område-nas/fakulteternas chefer, studenter, fackliga företrädare och under-tecknade som ordförande respektive sekreterare. Ett stort antal nya program och kurser planerades och genomfördes. Med detta i åtanke blev Kurserna – byggstenarna i kvalitetsarbetet en av de viktigaste delarna i kvalitetsarbetet. Vi utarbetade anvisningar till kursplaner och genomförde kurser och workshops för att stödja medarbetarna i deras dagliga arbete med kursutveckling. Studentperspektivet framhölls särskilt: »Det är således speciellt betydelsefullt att utveckla studenternas inflytande och stödja åtgärder som utvecklar utbild-ningen ur ett studentperspektiv. Vidare är det viktigt att öka studen-ternas medverkan utifrån ett lärandeperspektiv. Det handlar om att skapa en miljö, där alla studenters färdigheter i att delta och leda förändringsarbete tränas och ger möjligheter till personlighetsut-veckling.«

Andra åtgärder som prioriterades med studentperspektivet i fokus var Studenternas rättigheter och skyldigheter, Startenkät för nya stu-denter och Stustu-denterna vid Malmö högskola – Barometer 2003–2004. Den senare genomfördes i samarbete med Studentkåren Malmö och Malmö stad. 1662 studenter från högskolans sex områden/fakulte-ter gav sina synpunkområden/fakulte-ter på fem aspekområden/fakulte-ter: Introduktion till utbild-ningen, Kunskaper, förståelse och färdigheter, Examination, Infly-tande/Återkoppling och Arbetslivsanknytning. Till vår glädje kunde vi konstatera att studenterna var mycket nöjda med sin ut-bildning. Det fanns emellertid svagheter som var genomgående. En sådan var introduktion till utbildningen. En annan var återkoppling till studenterna i samband med kursvärderingar och examinationer. Dessa resultat påverkade starkt innehåll och utformning av nästa kvalitetsplan.

Kvalitetsplanen 2005–2007 utarbetades i

(9)

redningen, som bestod av en ledamot från varje område/fakultet, studenter, fackliga företrädare och undertecknade som ordförande respektive koordinator av arbetet. I detta skede prioriterades fem teman: Introduktion, Bedömning av studentens prestationer, Kurs-och programvärderingar, Lärande för arbetslivet - Verksamhetsför-lagd utbildningoch Uppföljning av studenterna – under och efter utbildningen. En arbetsgrupp utsågs för varje tema av Grundutbild-ningsberedningen efter förslag från områdena/fakulteterna och stu-dentkårerna. Varje arbetsgrupp bestod av medarbetare och studenter representerande olika kunskapsområden. Grupperna fick i uppdrag att göra en kort kunskapsöversikt över sitt tema och ta fram goda exempel, göra en swot-analys (Strengths, Weaknesses, Opportuni-ties, Threats) och ta fram förslag på modeller och implementering. Varje grupp skulle också skriva en kortfattad rapport om sitt arbete. Tre seminarier där grupperna presenterade arbetet med sina respek-tive teman genomfördes också. De främsta syftena med dessa semi-narier var att grupperna skulle få synpunkter och återkoppling på sitt arbete samt att alla skulle kunna vara delaktiga och lära av varandra. Gruppernas arbete och förslag presenteras i denna skrift i form av gruppernas slutrapporter.

Grupperna har berättat att arbetet med de fem temana och fram-tagandet av rapporterna har varit mycket inspirerande och roligt. Framförallt har korsbefruktningen mellan olika kunskapsområden och erfarenheter varit berikande. I detta har de medverkande stu-denterna haft en framträdande roll. Vi hoppas att liknande mötes-platser, där studenter och medarbetare utvecklas tillsammans, fortsatt kommer att skapas och att denna skrift skall bli en inspirationskälla vid sådana möten – med sikte på framtiden.

madeleine rohlin viveca serder

Ordförande i Kvalitetskoordinator 2000–2006

Kvalitetsnämnden 1999–2002 Prorektor 2003–2005

(10)

12

mari bergqvist, universitetsadjunkt, Lärarutbildningen, mari.bergqvist@lut.mah.se

christel brost, universitetsadjunkt, Konst, kultur och kommunikation, christel.brost@k3.mah.se marie engström-henriksson, universitetslektor,

Hälsa och samhälle, marie.engstrom-henriksson@hs.mah.se claes gullberg, Studentkåren Malmö,

claes.gullberg@karen.mah.se

cilla hansson, Studentkåren Malmö, cilla.hansson@karen.mah.se

jean hudson, professor, imer, jean.hudson@imer.mah.se jörgen ivarsson, utbildningsledare, Teknik och samhälle,

jorgen.ivarsson@ts.mah.se

annelis jönsson, professor, Lärarutbildningen, annelis.jonsson@lut.mah.se

linda karlsson, bibliotekarie, Bibliotek och it, linda.karlsson@bit.mah.se

asko kauppinen, vik. universitetslektor, imer, asko.kauppinen@imer.mah.se

therese kinnberg, Studentkåren Malmö, therese.kinnberg@karen.mah.se

(11)

kerstin knutsson, docent, universitetslektor, Odontologiska fakulteten, kerstin.knutsson@od.mah.se

leif leisnert, klinikchef, Odontologiska fakulteten, leif.leisnert@od.mah.se

lasse lindhagen, praktikkoordinator, imer, lasse.lindhagen@imer.mah.se

henriette lucander, programledare, Teknik och samhälle, henriette.lucander@ts.mah.se

jane lundberg, projektassistent, imer, jane.lundberg@imer.mah.se

mikael mattesson, informatör, Hälsa och samhälle, mikael.mattesson@hs.mah.se

john niubo, gästlärare, Teknik och samhälle, john.niubo@ts.mah.se

bodil persson, universitetslektor, Hälsa och samhälle, bodil.persson@hs.mah.se

therese persson, Studentkåren Malmö, therese.persson@karen.mah.se

madeleine rohlin, professor, Odontologiska fakulteten, madeleine.rohlin@od.mah.se

viveca serder, koordinator för kvalitets- och utvecklingsfrågor, viveca.serder@mah.se

marie skedinger-jacobson, universitetsadjunkt, Lärarutbildningen, marie.jacobson@lut.mah.se per vult von steyern, studierektor, Odontologiska

fakulteten, per.vult@od.mah.se

charlotte stölten, enhetschef, Hälsa och samhälle, charlotte.stolten@hs.mah.se

hanna svensson, Studentkåren Malmö, hanna.svensson@karen.mah.se

(12)
(13)

målet för arbetsgruppen har varit att utifrån studentens syn-vinkel ta fram en modell där en sekvens av introduktionsmoment fördelas över en tidslinje och där vi även försökt identifiera vem som är ansvarig för de olika delarna. Modellen kan fungera dels som ett stöd i förbättringsarbetet för att reflektera över befintliga in-troduktioner på program och kurser, dels som utgångspunkt vid planerandet av introduktionen på nya program och kurser. Detta stöd i planeringsprocessen är särskilt relevant eftersom flera nya program kommer att starta på Malmö högskola hösten 2006.

I arbetet har gruppen förhållit sig till flertalet av de mål som nämns i Plan för kvalitetsarbete inom grundutbildningen 2005–2007, men att skapa redskap som belyser olika skäl till studenters studieav-brott har inte berörts. Däremot har vikten av att tidigt reflektera kring utbildningen och den framtida yrkesrollen berörts.

Introduktion – den generella bilden

Högre utbildning är utmanande och nytt på många sätt – det är en kultur, ett språk och en värld som studenten inte tidigare mött, det är dessutom för en stor grupp den första upplevelsen av eget ansvar. Att studenter tvingas möta studierna utan förvarning, mjukstart eller introduktion skapar onödig osäkerhet och ökar risken för att denten känner misslyckande och till och med »hoppar av« sina stu-dier.

I diskussionerna kring introduktion har arbetsgruppen ständigt återkommit till två fraser: bemötande, och »rätt sak vid rätt tid«. Bemötande, för att det är viktigt som ny student att man blir sedd,

Introduktion med

studentfokus

Linda Karlsson, Asko Kauppinen, Therese Kinnberg, Mikael Matteson, Per Vult von Steyern,

(14)

och om man tar utgångspunkt i bemötande blir det en självklar an-strängning att göra studentens möte med högskolan så gott som möjligt på alla olika plan. Rätt sak vid rätt tid – för kontext och tid-punkt är avgörande för lyckat kunskapsbyggande.

Aktuella undersökningar om hur studenter uppfattar sin första tid på högskolan speglar att det kan vara en svår övergång att gå från studier på gymnasiet till studier på akademisk nivå1. Andra under-sökningar vittnar om att lärare på högskolan upplever att många studenter »har bristande förmåga när det gäller att analysera och problematisera«2och att förkunskaperna i att skriva och läsa svenska borde vara bättre3. Det är viktigt att agera för att underlätta mötet med högskolan för alla studenter, vilket betonas i Den öppna hög-skolan4. Introduktionen är också viktig i ljuset av breddad rekryte-ring – om man vill motverka snedrekryterekryte-ring och locka nya grupper av studenter till högskolan, då måste man också arbeta för att möta dessa studenter och stötta dem så att de stannar kvar. I arbetet med att t ex motverka social snedrekrytering lyfts mottagandet av stu-denten fram som extra viktigt, särskilt för studenter från miljöer utan studietradition5.

Studenterna vid Malmö högskola. Barometer 2003–20046har fyra

aspekter som är viktiga vid studentens introduktion. Det handlar om studieteknik, perspektiven, det akademiska språket, och motta-gandet av studentkåren. Studenterna bedömde att aspekterna är viktiga men att inget område får »godkänt vad gäller att hjälpa stu-denterna att lägga upp sitt studiearbete, att förbättra sin studietek-nik eller att förstå ’det akademiska språket’«7. Studentbarometern undersöker också färdigheter i muntliga och skriftliga presentationer

och kritiskt förhållningssätt8 vilket genomgående bedömdes som

viktigt. Dessa så kallade »transferable skills« som studenterna ska ha med sig efter avslutade studier9är viktiga kompetenser och kunskaper,

16

1. Studentens första år. En jämförelse mellan 4 årskullar teknologstudenter. (2005), Linköping : Univ. 2. »Gymnasieutbildade är inte tillräckligt förberedda för högre studier«. Skolverket, pressmeddelande

051130 www.skolverket.se

3. Väl förberedd?Arbetsledare och lärare på högskolor bedömer gymnasieutbildades färdigheter. (2005), Skolverket Rapport nr. 268, www.skolverket.se/publikationer?id=1528

4. Den öppna högskolan. Prop. 2001/02:15, s 19 och 25 5. Ny värld – ny högskola. Prop. 2004/05:162, s 158

6. Studenterna vid Malmö högskola Barometer 2003–2004. (2004), s 28 7. Studenterna vid Malmö högskola. Barometer 2003–2004. (2004), s 28 8. Studenterna vid Malmö högskola. Barometer 2003–2004. (2004), s 28–29 9. Högskolelag (1992:1434) l kap §9

(15)

men erfarenheter visar att ansvaret för det faller mellan stolarna på många utbildningar eftersom de är övergripande kompetenser och inte alltid inkorporerade i lärandemålen för enskilda moment och delkurser. Grunden för dessa kunskaper måste läggas redan under studentens första tid på högskolan för att sedan successivt fördju-pas och breddas.

Introduktion – nulägesbild av Malmö högskola

En titt runt högskolans områden för att se hur man arbetar med stu-dentens introduktion ger ett brett spektrum av insatser. På några ut-bildningsområden, t ex Odontologiska fakulteten (od) och Hälsa och samhälle (hs), finns en gemensam kurs för programstudenterna, i vilken man förutom att sätta in ämnet i en bred kontext även beaktar den framtida yrkesrollen, introducerar studenterna till akademiska arbetsformer och verktyg, till Malmö högskola och dess värderingar, t ex perspektiven10.

På Konst, kultur och kommunikation (k3) finns gemensamma in-troduktionsdagar där studenten möter lärare, forskare och ämnen på utbildningsområdet. Denna gemensamma introduktion där stu-denterna möts över programgränserna följs sedan upp med pro-gramspecifika introduktioner av olika karaktär11.

På andra utbildningsområden finns inte en övergripande strategi utan varje program utformar sin introduktion. Några exempel är arbetet med Samsyn på Teknik och samhälle, och arbetet vid höstens

terminsstart med webbtidningen Orkanvarning12

Lärarutbild-ningen (lut).

De högskoleövergripande studiestödjande resurserna, t ex student-hälsan, språkverkstaden och studievägledning, presenteras med ett samlat grepp i Studentmenyn. bit (Bibliotek och it) närvarar vid upprop och kursintroduktioner med information om datoridentitet,

10. Kursen Hälsa och samhälle, en 5 poängskurs som ingår i de flesta program på hs och där studenterna möts över programgränserna.

Kursen Tandhälsovård i samverkan – en introduktion vars syfte är att förbereda studenterna för att arbeta med pbl (Problembaserat lärande) studenterna från alla program på od går kursen tillsammans.

11. På t ex Medie- och kommunikationsvetenskap med inslag om metod och programutvärdering och Scen och teaterteknologi där fokus är på samarbete och att lära känna varandra. 12. Nya studenter på nms och Lärarutbildning 60p på lut skapade en webbtidning där Lärarutbildningen, yrket och högskolan undersöks. »Orkanvarning! – en recension« www.mah.se/templates/Page____24730.aspx

(16)

helpdesk, studentdatorutbildning och att biblioteken under termins-startsveckorna har en tradition av förlängda öppettider och utökad bemanning.

Studentkåren Malmö arbetar aktivt på flera plan för att möta de nya studenterna och har t ex infört Kårens dag för att informera om kåren och dess möjligheter men även för att upplysa studenterna om deras rättigheter och skyldigheter.

Analys av nulägesbilden på Malmö högskola

De enskilda insatserna i introduktionerna fungerar bra, men i många fall saknas en långsiktig strategi/plan för introduktionen. Det finns många modeller och metoder att inspireras av men variationen är samtidigt en svaghet som leder till ojämlikhet – studenten får olika förutsättningar/start i sina studier beroende på vilket program och område de börjar sina studier vid.

På ett övergripande plan har inte tillräckligt med fokus lagts på att 1) förtydliga vad målet med introduktionen är och vad man vill uppnå, 2) klargöra på vilka nivåer ansvaret ligger och hur integre-ringen av resurser sker – vem gör vad på högskolegemensam nivå, på områdesnivå och av studentkåren, 3) en god timing av de olika delarna i introduktionen.

Kontext, timing och bemötande är viktigt och kan lätt stjälpa en god ansats, särskilt som förankring hos studenterna är avgörande för att aktiviteter ska upplevas relevanta.

Hur vi förbättrar nuläget

– »rätt sak vid rätt tid«-modellen

Utifrån de goda exempel på introduktion som finns på högskolan och för att möta många av problemen som identifieras har vi skapat en modell som strävar efter att ge en helhetsbild över viktiga mo-ment i introduktionen. I modellen är tidsperspektivet centralt. innan kurs/programstart och vid kurs/programstart I denna tidszonen är det avgörande att få ordning på och underlätta de praktiska detaljerna, så att studenterna vet var de ska vara, vad som händer och vem de kan fråga. Detta kan inte underskattas och vissa infrastrukturella förbättringar kan göras, som är relaterande

(17)

till både information och bemötande, t ex längre öppettider, tydli-gare skyltning, enklare registrering, bra välkomstbrev, tydlig infor-mation om kontaktpersoner, guider som Studenternas abc och en uppdaterad webb. Vem som möter studenterna vid de första kon-takterna med högskolan är viktigt och här ser vi gärna att program-ansvariga tar ett stort ansvar, och att studenterna på ett bra sätt in-troduceras till hur det fungerar att läsa på högskolan.

Innan kurs/programstart

• Det är oerhört viktigt att kursplaner och kurs-/programhemsidor är uppdaterade och tillgängliga redan i anslutning till ansökan. Det skapar en tidig insikt och trygghet. Och med hjälp av infor-mationen i ett genomtänkt välkomstbrev som skickas ut i sam-band med antagningen kan studenten mentalt och praktiskt för-bereda sin utbildning och sitt studieliv.

• Upprop/registrering via nätet kan avlasta kursstarten för såväl läro-säte som studenter, och är en utveckling att se framemot. Passer-kort och datoridentieter som nu ofta distribueras vid uppropet kan då istället hämtas på fler och flexibla tider.

• Högskoleområdet måste vara välskyltat – skyltningen på byggna-der och vägvisning för hur man hittar mellan högskolans lokaler är idag otillräcklig. Det är viktigt att ha längre öppettider i recep-tion och bibliotek under terminens första veckor, och studieväg-ledare och informatörer bör vara synliga och tillgängliga för stu-denterna.

Vid kurs/programstart

• Vid första kurstillfället bör man introducera kursplanen, hur man läser den samt dess betydelse, och informera om kursvärderingar och förändringar. Studieplanering är viktigt och måste underlättas genom tydliga riktlinjer. Det är bra att sätta in utbildningen i ett sammanhang och informera om liknande utbildningar på andra orter och belysa vad som är unikt med Malmö högskolas variant. • Ett välkomstpaket kan delas ut med information om

kursen/pro-grammet, kontaktlista, studentguide (t ex studenternas abc), Stu-denters rättigheter och skyldigheter samt en tidskrift eller magasin från branschen. Syftet är att studenten ska ha viktig information

(18)

nära till hands, samt få en ökad uppfattning om och känsla för kursen/programmet.

de första fyra veckorna

I denna tidzon bör fyra delar finnas med: Högskolans dag, Kårens dag, Förståelse för utbildning och Lära känna dag. Mycket kan göras med små medel t ex att områdets forskare presenterar sitt ämne, schemalagd läsning av kursplaner och studiehandledningar, diskus-sion om ämnet och moment om studieteknik och perspektiven. Det handlar om att vara tydlig i vilka krav högskolan ställer men också om en förståelse för studenternas förväntningar och tidigare erfa-renheter. I detta skede är det viktigt att även få tillfälle att reflektera kring utbildningen och vad som händer efter den, så att studenten tidigt kan känna att det är rätt studier som valts. Här är det också viktigt att det finns ett bra stöd för efterregistrerade studenter. Ökad tillgänglighet gäller även här.

Vecka Ett

• Högskolans dag – introduktion till högskolans bakgrund, identi-tet och områden. Här bör man också få möjlighet att träffa alla de funktioner som man inte automatiskt möter i sina studier, t ex per-sonal från administration, språkverkstad och andra gemensamma stödfunktioner. Syftet med dagen är att studenterna ska få en ökad förståelse för högskolan och området.

• Kårens dag — högskolan bör underlätta planering och genomfö-rande av Kårens dag. Den kan innehålla information om kåren, studenters rättigheter och skyldigheter, rundvandringar på hög-skoleområdet samt en utställning/mässa. Syftet är att synliggöra kåren, dess föreningar och dess relation till högskolan. Kårens dag initieras, planeras och genomförs naturligtvis av studentkåren. Vecka Två

• För förståelse för utbildningen kan en metod för samsyn användas. Att gemensamt med kurs-/programlärare diskutera och förstå hur den första tiden på högskolan varit, hur området fungerar och ge utrymme för mer kurs-/programspecifika frågor. Fokus ligger på mötet och samtalet.

(19)

• För ytterligare förståelse för utbildningen kan introduktionsupp-gift av varierande natur användas. Syftet är att få studenterna att förstå inriktning och mål för kursen/programmet samtidigt som de lär känna varandra och Malmö. Studentmöten över »årskurs«-gränser är också viktigt. Studenter från programmets högre års-kurser kan t ex genomföra en programdag med syfte att lära känna studenter och personal under informella former.

Vecka Tre

• För många studenter är det viktigt att få en bild av vad som hän-der efter studierna – påbyggnadsutbildning, studier utomlands, forskning eller jobb? De flesta studenter har inte svaren – många har aldrig ställt frågorna. Oro och naivitet kan adresseras tidigt. Under utbildningen är det viktigt att få se den verklighet som är tänkt efter studierna, t ex genom gästbesök i form av seminarier med aktörer från relevant bransch eller f d studenter. Det är viktigt att tidigt få förebilder.

• Högskolan måste uppmuntra studenter till studieplanering och reella framtidsvisioner — detta kommer att ligga till grund för val av praktik, uppsatser och senare kurser, och här har studievägle-dare en självklar roll.

redskap under den första terminen

Studenten behöver introduceras till det som blir deras redskap i de akademiska studierna och som kommer att utvecklas under den första och kommande terminer. Det handlar om studieteknik och arbetsmetoder, att skriva och presentera i en akademisk tradition, att tillägna sig en vetenskaplig tradition och att söka och hantera in-formation. Grunden för dessa kompetenser bör läggas tidigt och det finns ett behov av ett utökat stöd kring detta dels för lärare, dels för studenterna. Detta utöver det stöd som redan finns i språkverksta-den och integrerat i utbildningen. Det finns många sätt att göra detta – som en del av befintlig kurs, utöver de ordinarie föreläsningarna eller som frivillig möjlighet. Generellt kan man säga att ju mer inte-grerat det är desto större vikt fäster studenter vid det.

Det sista steget i introduktionen kan vara en områdesövergripan-de kurs med syfte att mer ingåenområdesövergripan-de introducera stuområdesövergripan-denten för hög-skolans identitet och öka förståelsen för det egna

(20)

utbildningsområ-det. Ett exempel på en sådan kurs är Samhället och tekniken13 Teknik och samhälle som bygger på att studenten gradvis ska veckla sin medborgerliga bildning i takt med studierna. Kursen ut-görs av fem workshops utspridda över flera av programmens termi-ner och med fasta teman som etik, kvalitet och professionalism. Ett annat exempel är den gemensamma kursen på Hälsa och samhälle, i vilken programstudenterna bland annat får en introduktion till högskolan och högskolestudier. En annan typ av kurs skulle kunna vara en områdesanpassad kurs i vetenskapsteori.

Implementering och uppföljning

Målet är att modellen för introduktion med studentfokus testas på några program under hösten 2006. Vi har mött programledarna för Produktutveckling och design och Maskinteknik samt för Äldrepe-dagogutbildningen.

Modellen fungerar bra som utgångspunkt för att reflektera över och diskutera introduktion. En del av innehållet i modellen finns redan i programmens introduktioner, men modellen synliggör det och pro-gramledarna har identifierat nya moment som kan förbättra stu-denternas introduktion till utbildningen och till studier på högskolan. Äldrepedagogutbildningens introduktion omfattas t ex inte av kursen Hälsa och samhälle, eftersom denna programutbildning är kortare (2 år) än de andra programutbildningarna på Hälsa och samhälle.

Några av de moment där förändring är på gång i programmens introduktion är: välkomstbreven till studenterna, förändring av uppropsdagen så att mer fokus läggs på bemötande, mer inslag av studieteknik, ökad kontakt med tidigare studenter, moment om per-spektiven och förändring av programmens webbsidor. Dessa för-ändringar vill vi utvärdera i ett samtal med programledarna och några studenter under senare delen av hösten 2006. Läs mer om In-troduktion med studentfokus i artikeln »Rätt sak vid rätt tid« http://www.mah.se/templates/NewsPage____37322.aspx

Arbetsgruppen har presenterat idén bakom en Högskolans dag för rektor och informationschefen. Vi bedömer att genomförandet av en Högskolans dag ligger utanför arbetsgruppens mandat och re-surser. Det arbetet måste förankras och drivas centralt.

22

13. Kursplan:

(21)

Bilaga 1

2006-06-18 22.11 Fastighetsföretagande 120/80p - Malmö högskola

Sida 1 av 3 http://www.mah.se/templates/Page____15092.aspx

Fastighetsföretagande 120/80p Välkommen till programmets egen sida.

Här kommer du att hitta aktuell information om programmet och sistaminutenändringar. Om ändringen berör kurser med en egen webbplats så hänvisar jag dit. OBS! Gör det till en vana att titta på denna sida minst en gång i veckan.

Programledare för PMär Peter Hansson. Jag sitter på plan 5 rum 517 i Ubåtshallen, Östra Varvsgatan, tel 040-665 77 11. Jag nås säkrast via mail; peter.hansson@ts.mah.se

Programledare för SMär Sören Dahlin. Sören sitter på plan 5 rum 516 i Ubåtshallen, Östra Varvsgatan, tel. 040-665 76 03. Sören nås säkrast via mail; soren.dahlin@ts.mah.se

Sommarjobb?

Kärnfastigheter är en egen resultatenhet inom Helsingborgs stad, med syfte att tillhandahålla stadens förvaltningar ändamålsenliga lokaler samt förvalta dessa. Vi behöver i sommar hjälp med att uppdatera vårt fastighetsdatasystem (inventering av ritningar, uppgifter om nybyggnadsår osv) och tycker att en engagerad och positiv student på programmet för fastighetsföretagande skulle kunna passa alldeles utmärkt för detta uppdrag.

Vi vill att du börjar så fort som möjligt (senast v 26) och att du stannar ca två månader. Låter detta intressant?

Hör av dig omgående till fastighetscontroller Thomas Johnsson, tel: 042-107928 eller

ekonomichef Jonna Enevoldsen, tel: 042-107992

Anmälan till tentamen

Framöver så kommer konotrollen angående att man anmält sig till tentamen till att skärpas. Ni kommer till att bli avprickade innan ni går in i salen. Har ni inte anmält er så får ni acceptera att ni inte blir insläppta förrän de som anmält sig har fått plats. Detta innebär att om ni inte är anmälda så kommer ni till att få vänta 45 minuter (den tid man har på sig att komma försent) innan ni kan påbörja skrivningen. Detta görs för att vi vill värna om dem som anmält sig så att de inte drabbas av att platserna i salen inte räcker till.

Det är såleses extra viktigt att ni anmäler er.

Kandidat rättigheter

Vi har nu erhållit kandidaträttigheter i Fastighetsvetenskap! Har du läst ellet läser du 120p inom något av våra program (varav 60 p inom Fastighetsvetenskap) så kan du begära att får kandidatexamen i Fastighetsvetenskap! Ett stort tack till Karin Staffansson-Pauli som har arbetat med fastighetsvetenskap för att vi ska

Länkar Programföreningen Bokorridoren. Studentmenyn Fastighetsjobb Techlog Kursutvärderingar Kurser

Bygg- och installationsteknik Civilrätt Examensarbete(se även PM) Fastighetsvetenskap 1-10 Fastighetsvetenskap 11-20 Fastgihetsvetenskap 21-40 SM Fastighetsvetenskap 21-30 PM Fastighetsvetenskap 31-40 PM Fastighetsvetenskap 41-50 Fastighetsvetenskap 51-60 Grundläggande ekonomi och statistik Schema

Veckoschema Tentaschema BIBLIOTEK

Böckerna i bokskåpet är inte till utlån utan måste läsas på plan 5 eftersom flera kan behöva dem samtidigt. I länkarna nedan kan ni se vilka böcker respektive examensarbeten som finns i bokskåpet. Böcker Examensarbeten PROGRAMRÅD Protokoll 7/4 -06 Protokoll 17/2 -06 Protokoll 2/11 -05 Protokoll 11/4 -05 Protokoll 15/11 -04 Protokoll 11/2 -04 Protokoll 12/11 -03 Protokoll 10/4 -03

(22)

Bilaga 2

24 ,QQDQ.XUVVWDUW 9HFND



9nU )XQJHUDQGH KHPVLGRUI|U NXUVRFK SURJUDP 9lONRPVWEUHY 1lWXSSURS .XUVVWDUW KlOVDUYlONRPQD LQIRRPSURJUDP lPQH 6WXGLHSODQHULQJ 9lONRPVWSDNHW 6WXGHQWHUV5 6 .XUVLQIR %UDQVFKWLGQLQJ 6WXGHQWHUV $%& $QWDJQLQJ .XUVNDWDORJ .XUVSODQ 9+6 $QV|NDQ 0|MOLJKHWDWW KlPWD SDVVHUNRUWRFK GDWRU,' .nUHQVGDJ ,QIRRPNnUHQ 6WXGHQWHUV5 6 5XQGYDQGLQJDU 8WVWlOOQLQJ +|JVNRODQVGDJ 3HUVSHNWLYHQ 0DK2PUnGHQD

(23)

9HFND



9HFND



9HFND



)|UVWnHOVHI|U XWELOGQLQJ 6DPV\Q ,QWURXSSJLIW /lUDNlQQD +DOYGDJ DY I|U RFKPHG VWXGHQWHU (IWHUVWXGLHUQD DUEHWVPDUNQDG" XWRPODQGV" SnE\JJQDGVXWE IRUVND" *lVWI|UHOlVDUH )GVWXGHQWHU .lUULlUSODQHULQJ $NDGHPLVND VWXGLHU DFDGHPLFZULWLQJ LQIRV|NQLQJ VWXGLHWHNQLN SUHVHQWDWLRQ 6HQDUHXQGHUWHUPLQHQ 2PUnGHVNXUV 6DPKlOOHWRFKWHNQLNHQ +lOVDRFKVDPKlOOH

(24)
(25)

Kursvärderingar

vid Malmö högskola

– idag och imorgon

Christel Brost, Marie Engström Henriksson, John Niubo, Therese Persson, Viveca Serder

Syfte

I regeringens proposition 1999/2000:28, vilken framförallt berör studenternas medverkan i högskolornas kvalitetsarbete skrivs En bra utbildning skall resultera i att studenterna lärt sig kritiskt granska sitt eget lärande och sin egen arbetsmiljö. Därigenom skapas förut-sättningar för deras medverkan i kvalitetsarbetet både i utbildningen och senare i arbetslivet.I denna proposition föreslås att studenterna ska ges möjligheter att genom kursvärderingar ge sina synpunkter på sin utbildning. Arbetsgruppen har i sitt arbete utgått från att in-nehållet i ovanstående citat är ett mycket viktigt syfte med kursvär-deringar vid Malmö högskola.

Kursvärderingar på Malmö högskola idag

I Studentbarometern 2003–2004 framkom att studenterna hade möjligheter att, med mycket få undantag, ge sina synpunkter i av-slutande kursvärderingar. Dock var återkopplingen av kursvärde-ringarnas resultat inte alls tillräckliga, varför engagemanget för att svara på kursvärderingar ofta var lågt. Trots denna övergripande synpunkt från studenterna finns ett antal mycket goda exempel på Malmö högskola, t ex kan nämnas systematiska kursvärderingar på Odontologiska fakulteten, temperaturtagningarna på Hälsa och samhälle och kursvärderingar med utgångspunkt i studenternas lärande på Idrottsvetenskapliga utbildningar på Lärarutbildningen. I Bilaga 3 ses en sammanställning av hur arbetsgruppen, efter samtal med företrädare för de olika områdena, uppfattar kursvärderings-processen på varje område.

(26)

Programvärderingar

I arbetsgruppens uppdrag låg också att ge förslag på modeller för programvärderingar. Detta har av främst två skäl inte varit möjligt. Det ena är att vi prioriterat kursvärderingar av tidsskäl. Det andra skälet är att vi ser programvärderingar som en följd av kursvärde-ringarna, möjligen skulle man kunna säga progression, varför vi också av detta skäl koncentrerat arbetet till kursvärderingar. I några sammanhang nedan nämns dock ändå programvärderingar.

Kunskapsöversikt

Arbetsgruppen har utifrån litteratur, som delvis används vid Malmö högskolas högskolepedagogiska kurser, tagit fram några »guldkorn« avseende kursvärderingar. Dessa ses i bilaga 1 (sid. 47). »Guld-kornen« har därefter fungerat som teoretisk utgångspunkt för arbe-tet. Som korta exempel kan nämnas

Det stora i Biggs sätt att se på undervisning är att allting hänger ihop. Vi sänder signaler till våra studenter på många sätt, varav ut-värderingar kan vara en av dem.

Vidare kan nämnas att Anders Persson dock varnar för central-styrning av utvärderingsverksamhet, vilket kan förvandla den till vad han kallar för organisationsritual.

Ett ytterligare exempel är Att skriva loggbok, där studenterna re-flekterar under kursens gång, är ett bra sätt att arbeta på om man har en grupp under en längre tid. Loggboken kan då användas för att se hur både studenten/gruppen och läraren utvecklas.

Litteratur som använts:

John Biggs, Teaching for Quality Learning at University, Open University Press, London 1999

John Bowden & Ference Marton, University of Learning, Kogan Page, London 1998

Ulrika Eklund & Brit Stakston, Kreativa möten, Landsrådet för Sveriges ungdomsorganisationer, Stockholm 2005

Högskoleverket, Kursutvärderingar för studentinflytande och

kvalitetsutveckling, Stockholm 2004

Anders Persson, Nyfikenhet, kritiskt tänkande och kvalitet, Utvärderingsenheten Lunds universitet, Lund 1996

Christer Westlund, gör studierna enklare, Me University, Stockholms 2001

(27)

Kursvärderingar vid Mah – SWOT-analys

styrkor

• Det finns en medvetenhet om behovet av förbättringar, ex Hälsa och samhälles (hs) områdesstyrelse, som gett uppdrag att se över kursvärderingarna på hs.

• På några områden görs kursvärderingar också under kursens gång, ex »temperaturtagningar«.

• Det finns kursvärderingar som knuts till specifik kurs och kursdata-basen, ex Teknik och samhälle.

• Studenter ser sin egen progression med hjälp av kursvärderingar, ex Odontologiska fakulteten.

• Det förekommer att studenterna på nästa kurs får återkoppling från förra kursen.

svagheter

• Många lärare »gör som de vill«. Även om dessa kursvärderingar är bra saknas i många fall övergripande idéer för kursvärderingarna inom området.

• Många kursvärderingar är likadana oberoende av kurs.

• Lätt att kursvärderingarna blir mekaniska, gäller inte minst utvär-dering av perspektiven.

• Progression i kursvärderingarna under utbildningen saknas. • Små möjligheter att ändra under kursens gång.

• Studenterna ser inte alltid anledningen till kursvärderingen. • Ingen feed-back alls för många studenter.

möjligheter

• Ny högskola – viljan till förbättring finns.

• Den högsta ledningen ser vikten av kursvärderingar och utveck-ling av dessa.

• Högskoleövergripande projekt, i vilket modeller tas fram. • Projektets resultat kan föras ut till många genom seminarier mm. • Hitta incitament för lärare att förnya sin undervisning.

• På sikt spara tid för lärarna. • Stärka lärandet hos studenten.

(28)

hot

• Något »pålagt«!, ovanpå och uppifrån. »Vad får vi för timmar för det här?«

• Att projektet inte görs färdigt! Det tar tid! Håll ut! • Att det blir bristfällig uppföljning av projektet.

Mål för utveckling och förbättring

Många av de utvärderingsmetoder som finns betonar kvalitetssäk-ring och kursens legitimitet utifrån kursmålen och genomförs där-för efter avslutad kurs. Som kvalitetsutvecklingsmetod är detta en bra utgångspunkt, men inte tillräckligt eftersom man missar den kontinuerliga dialogen mellan studenter och lärare. Av denna an-ledning är temperaturtagningarna, som finns på flera ställen på Malmö högskola, under kursens gång mycket värdefulla. När stu-denterna får möjlighet att reflektera under kursens gång breddas perspektivet av utvärderingen till att också gälla det direkta infly-tandet i vardagen. Med en fungerande dialog ökar möjligheterna för en direkt återkoppling, vilket är av central betydelse för att det skall kännas meningsfullt och engagerande.

Tankarna kring att värdera och beskriva sin egen insats under kursens gång, kan knytas till många av högskolans kursers form och kursmål. Om utvärderingsarbetet har en anknytning till studi-erna kan själva utvärderingsmomentet ses som en del av lärandet. Genom att ge studenterna tid att reflektera, skriva ner sina syn-punkter och beskriva vad de har lärt sig, får man som lärare feed-back och kan på så sätt utveckla sina kurser.

Det är viktigt att det finns övergripande idéer som gäller hela Malmö högskola men det bör enbart vara övergripande då den un-dervisning som bedrivs ter sig mycket olika. Även inom ett och samma område kan undervisning bedrivas på olika sätt men här är det mer motiverat då studenterna på så sätt upplever en kontinuitet när de samarbetar över programgränserna. Införandet av ett nytt system kräver sin egen regi. Det är mänskligt att uppfatta förändringar som något negativt. Därför måste idéer finnas kring hur detta introduce-ras. Att ge en workshop för områdets lärare där man motiverar det som ett stärkande element i den egna undervisning och pekar på möjlighet till dialog med studenterna i stället för att invänta deras kritik.

(29)

Målen för arbetsgruppens arbete har varit att ta fram en kursvär-deringsmodell, som under kursens gång ger

• studenten möjlighet att se sin egen progression

• studenten kunskap och färdighet att delta i utvecklingsarbete också inför framtida yrkesliv

• studenter och lärare incitament att genomföra kursvärderingar

Förslag på Modell

studentens lärande i fokus

I vårt arbete med att förbättra utvärderingar på Malmö högskola har vi lagt fokus vi studentens eget lärande. Vi har ställt oss frågan: Är det kanske så att kursutvärderingarna sker på slentrian och inte ger så mycket matnyttigt för lärare och studenter att bygga på. Vad är det egentligen vi vill med utvärderingar? Svaret har varit »lear-ning outcome«. Har studenten tillgodogjort sig kursen? Hur kan kursen, dvs innehållet och vår undervisning förbättras?

Den metod som vi vill föreslå syftar till att lägga ansvar på stu-denten kring sitt eget lärande, dvs att reflektera över sin egen insats. Dessutom föreslår vi att detta sker löpande då det ger möjlighet till dialog med studenten och att frågor kommer upp under kursen och inte vid kursens slut.

Vi har i vårt arbete tagit fasta på den figur som finns i Malmö hög-skolas plan för kvalitetsarbete inom grundutbildningen 2005–2007 (sid. 32). Vi menar att utvärderingar idag allt för ofta handlar om den yttre sfären i figuren, dvs social dimension och administrativ/ ekonomisk dimension. Vi vill förflytta utvärderingarna till den inre sfären som innehåller den pedagogiska dimensionen och den veten-skapliga dimensionen.

Utvärderingar skall alltså inte bara vara det vid kursens slut väd-rade missnöjet med bl a informationsbrist, illa fungerande teknik utan en pågående dialog mellan lärare och student kring studentens utveckling och lärande. Missförstånd och otydligheter kan odrama-tiskt klaras upp om dialogen är löpande men den viktigaste fördelen är att flytta fokus till studenten och göra denne uppmärksam på vik-ten av att vara en medskapare i lärandet som har ett ansvar för pro-gression. Vi kan »bara« skapa goda förutsättningar för studentens lärande.

(30)

Ur Malmö högskolas kvalitetsplan för grundutbildningen 2005–2007. figur2. Utbildningskvalitet kan beskrivas som vetenskaplig, pedagogisk, administrativ/ ekonomisk och social dimension. Modellen beskrivs i »Kvalitet och kritiskt tän-kande« av Anders Persson (ur »Den mångdimensionella utbildningskvaliteten – universitetet som kloster, marknad och självorganisation«, Anders Persson, red., Department of Sociology, Lund University, Research Report 1997:6).

tillit till processen – tillit till högskolan

Vi ser snabba, korta, ofta förekommande utvärderingar, nedan kal-lade »minutepaper« som en metod för utvärdering. Det är av högsta vikt att man ser det som en process. Lärande utvärderas inte efter en lektion i ett »minutepaper«. Det är processen som sådan, att stu-denten får en vana att reflektera över sitt eget lärande, formulera dagen, ställa frågor som skall ses som ett led i en större kommunika-tion mellan student och lärare. På så sätt blir »minutepaper« en del av lärandet och till och med det som ibland gör att kunskap faller på plats.

Om man ser »minutepaper« som en metod likt loggbok eller skissbok förflyttas upplevelsen av vad det skulle kunna vara från mätinstrument till pedagogiskt verktyg. Att tyngdpunkten ligger på pedagogiskt verktyg gör inte »minutepaper« mindre effektivt som utvärderingsverktyg. Snarare är det så att när studenten har fått en viss vana vid reflektion kring den egna insatsen – hon/han är med-skapare i sitt eget lärande – blir det mycket tydligt för läraren hur

32 Social dimension Pedagogisk dimension Vetenskaplig dimension Administrativ/ ekonomisk dimension

(31)

undervisningen når fram. Det är ju inte bara frågor om oklarheter som kommer upp, utan det blir tydligt att studenten börjar sätta oli-ka kunsoli-kaper i relation till varandra och ser sin egen progression. Detta är viktigt då det ofta finns studenter på olika nivå i en kurs och kunskapen måste kopplas till där studenten är. Att få vara så delaktig i sitt eget kunskapsbyggande rustar studenten för framti-den, men viktigt i stunden är att tilliten till högskolan ökar då varje student upplever sig som sedd. Medborgerlig bildning består också av att hjälpa var och en att hitta sin röst, att reflektera, att bilda sig en uppfattning, ha en åsikt och föra fram den.

begreppet »minutepaper«

I brist på ett bättre namn har vi kallat denna modell »minutepaper«. Detta för att betona lättheten och snabbheten i processen. Vi är mycket väl medvetna om att det redan är en vedertagen modell i cat’s (Classroom Assessment Technique)och att vi inte på något sätt kan göra anspråk på att ha myntat begreppet. Vi vet också att vi frångår de mallar som finns. Anledningen till att vi ändå kallar vår ut-värderingsmodell för »minutepaper« är att vi tycker att när proces-sen introduceras för studenterna har den mycket av den etablerade »minutepaper« formen. Vi har däremot i detta arbete försökt att ut-veckla modellen. Det vi ser som den viktigaste konsekvensen av vårt arbete är att vi förskjutit fokus från utvärdering som mätinstrument till pedagogiskt verktyg. I denna konsekvens ligger motiveringen till att behålla namnet.

störst effekt om det sker kontinuerligt

Vi föreslår att efter varje avslutat lektionstillfälle genomförs ett »minutepaper«. Under några minuter får studenten reflektera över det som behandlats och kommentera detta. Vad har jag lärt mig idag? Hur hänger detta samman med tidigare kunskap? Vad har varit oklart? På detta sätt får läraren en möjlighet att se hur undervis-ningen mottas och kan göra korrigeringar under kursens gång. På detta sätt kan även följande lektion inledas med att reda ut det som varit oklart. Fokus ligger på aktivt lärande och placerar vårt ämne i den sfär (se figur sid. 32) där vi vill verka. Dessutom är det utveck-lande för läraren att hela tiden själv reflektera över pedagogik och inte enbart ha fokus vid ämnet. Varje kursansvarig kan, i samråd med de lärare som undervisar på kursen, diskutera i vilken omfattning

(32)

detta ska ske. Vi ser detta som en uppmaning och inte ett direktiv men kan hävda egen erfarenhet i nyttan med en pågående dialog. Inledningsvis lyfte vi fram frågan: »Har studenten tillgodogjort sig kursen?« Vi vill trycka på nyttan av att i form av »minutepaper« följa studentens utveckling snarare än att vid kursens slut fråga stu-denten om denne tycker att kursens mål blivit uppfyllda.

Inledningsvis finner man att studenten har en viss ovana att for-mulera sig kring upplevelsen av lektionstillfället. Men om detta upprepas vid varje lektionstillfälle blir det lättare och lättare för stu-denten att mera insiktsfullt se på sin egen utveckling.

exempel på studentreflektioner från kurser på konst, kultur och kommunikation.

»Är nöjd med vad jag gjort, kan vara så att man tar på sig lite för mycket … men det är ju bra att man får veta att man lever.« »På grund av denna kursen har denna höstterminen tagit plats

som den mest inspirerande och givande kurs/termin som jag har upplevt under dessa tre år. Kursen har fått mig att vakna upp, gett mig en spark där bak och fått mig att inse vad som komma skall. Jag har fått självförtroende på nytt och en vetskap om att jag faktiskt kan bara jag själv vill. Den har fått mig att genomföra projekt utanför skolan, projekt som lett till andra projekt osv. Jag har lärt mig otroligt mycket både tekniskt och humanistiskt och med humanistiskt menar jag hur man förhåller sig till andra människor i en designprocess. Jag har också lärt mig att sätta ner foten – visa var jag står och vad jag tycker«.

Studenterna fick reflektera och skriva kring hur de tyckte att upp-lägget fungerade med en blandning av historiska föreläsningar och feedback på deras egna projekt. Syftet med detta upplägg har varit att hjälpa dem att förankra vad de gör genom att hela tiden ta av-stamp i det som gjorts genom fotohistorien.

»Det är ett bra upplägg på lektionerna. Idag var det speciellt in-tressant att få reda på hur din historiska bana såg ut. Jag har för-stått hur viktigt det är att hela tiden kunna förankra sitt sätt att tänka i något. Jag och Petra håller vår tidsplan. Det är skönt att ha kommit en bit på vägen och jag tror att vi är mer på det klara

(33)

med vad vi vill åstadkomma. Dock är jag extremt kritisk mot de bilder vi tagit nu i efterhand. Därför är det skönt att få klassens input i vad de tycker så man kan få lite nya perspektiv.«

»Jag tycker undervisningen fungerat på ett bra sätt. Tidsaxeln är mycket användbar och lätt att förstå. Bra att Du satte Dig själv i kontrast till tidsaxeln. Det fick mig att förstå hur du vill ha vår skrivna del och hur Du vill att vi studenter skall ta denna kurs. När det gäller den teoretiska delen i kursen har jag inte kommit så långt som jag hoppats. Jag har läst i boken men inte de artik-lar vi fått. Detta ska jag ta igen denna veckan är tanken. Vi har varit väldigt uppe i det praktiska men nu känner jag att vi är på god väg och att vårat mål kommer att nås. jag tycker mycket om Din typ av »work shop« undervisning som vi har under lektio-nerna. Det ger mycket och jag känner att vi kommer längre och längre varje vecka. Feedback får oss att gå framåt.«

»Det känns som en ganska svår uppgift att förankra vårt jobb i fotografins historia eftersom vi har försökt gestalta en boks inne-håll och förmedla en känsla. Samtidigt har vi inte hunnit göra så mycket research än så det faller kanske på plats när vi har gjort det. Jag är nöjd med vår insats hittills. Vi har fyra bilder att jobba med, så det känns som en bra utgångspunkt att arbeta vidare ifrån. Förutom att bearbeta bilderna måste vi nu börja skriva och göra research.«

Test på program/kurser under våren 2006

Fyra kurser har under våren 2006 genomfört »minutepapers« under kursens gång. Flera av de kursansvariga och även studenter har del-tagit i de tre seminarier som genomförts under våren. Seminariernas syfte var att beskriva modellen och stödja »testlärarna« i sitt utvär-deringsarbete. Under rubriken Implementeringen av modellen kan ses vilka frågor projektgruppen önskade få svar på samt ett försök till kortfattad sammanfattning av lärarnas och studenternas syn-punkter. Nedan ses ett försök till lägesrapport avseende de fyra »testkurserna«. Lärarutbildningen, Konst, kultur och kommunika-tion och Teknik och samhälle deltog i ett avslutande seminarium där dessa synpunkter framkom.

(34)

Lärarutbildningen

• Använder sig av cat-metoden (Classroom Assessment Techni-que). Ett formulär med två frågor delas ut till studenterna efter varje lektion (ca 10 st). Frågorna – Vad var mest meningsfullt/an-vändbart, Vilka frågor finns kvar? – är de samma varje gång. • Syftet med cat-metoden är dialogen och möjligheten till snabb

respons.

• I diskussionen framkom: •

•Lärarna tycker att det är svårt att utveckla och förändra

kurserna eftersom lärarna byts ut, dvs konsekvens av hur utbildningen är organiserad.

•Det är svårt att analysera föreläsningen och studentens roll så djupgående efter varje tillfälle.

•För vems skull gör man »minutepaper«? Hur är frågorna

ställda? Vad gav föreläsningen relaterat till studentens input och progression.

Konst, kultur och kommunikation

• »Minutepaper« är en del av kursen och en utveckling av kursen eftersom studenternas tankar till viss del sätter agendan.

• Studenterna tycker att de utmanas att reflektera, vilket gör att det under föreläsningarna »tickar i huvudet« och man vill gärna fram-föra det som känns meningsfullt eller oklart.

• Exempel på frågor/områden som ställts till studenterna: Vad har vi gjort idag? Ska vi göra så här framöver? Vad är progression? Beskriv din progression. Vädra gruppsammansättningar. Hur fun-gerade kritiksituationerna? Hur hänger det vi har gjort tillsam-mans med tidigare kunskaper/kurser?

Teknik och samhälle

• I slutet av föreläsningen hör föreläsaren efter med studenterna om de har »hängt med«, dvs studenterna lämnar in lappar till förelä-saren där de skriver ner moment de inte förstått. Vid nästa lek-tionstillfälle ger sedan föreläsaren fler exempel och förtydligar det som varit oklart.

• Det har inte ställts frågor till studenterna om de kan se kopplingen till andra kurser eller vilken roll de själva har i sitt lärande.

36

(35)

• I diskussionen reflekterades det kring betydelsen av att studenterna bör utmanas till att också reflektera över sådant som de kan, inte bara över vad de inte kan eller har förstått.

• Minute papers har fungerat som anvisningar till föreläsaren inför nästkommande föreläsning. Studenterna har kunnat lägga små lappar med önskemål om repris, fördjupning etc i en låda. Det har varit frivilligt och relativt uppskattat. Uppskattningsvis har möj-ligheten utnyttjats 50 till 60 gånger.

Internationell Migration och Etniska Relationer

• Kursledaren tycker att det fungerar bra, responsen från studenterna är intressant – ibland har det kommit väldigt oväntade svar. • Kursledarens tror att man skall använda »minutepaper« då och

då, annars kommer studenterna att tröttna.

• Ett problem som man ser med »minutepaper«, är hur läraren skall hitta tid till detta. Det har tagits upp i lärargruppen och majorite-ten är positiva, men menar att en resurstilldelning är ett måste. Gruppen är inte beredd att minska antalet undervisningstimmar då man på imer redan har så lite undervisning.

dokumentation efter kursens slut

Inför kursens avslut bör kursansvarig göra en sammanställning av »minutepapers« i en starkt förkortad version och dela ut denna till kursdeltagarna för återkoppling. De viktigaste synpunkterna tas upp och diskuteras. Vad har fungerat väl? Vad kan förbättras? Vid detta tillfälle görs även en utvärdering av praktiska ting så som klago-mål på teknik, salar, otydlighet i scheman, dvs sådant som är av ad-ministrativ karaktär. Även om det adad-ministrativa skelettet är av stor betydelse för pedagogiken är det viktigt att frågorna inte blandas ihop. Läraren har en större makt över hur kunskapen byggs mellan denne och studenten än t ex tilldelning av mer timmar för handled-ning etc något studenten ofta önskar sig. Kursansvarig gör en sam-manställning av de frågor som kommit upp och denna samman-ställning förvaras i kurspärmen.

avslutande kursvärdering

Det har framkommit önskemål om att göra en mera traditionell kursvärdering, men som ändå fångar in studentens reflektion på sitt

(36)

eget lärande. Vi har därför tagit fram ett förslag på frågeområden, som skulle kunna ingå i en sådan avslutande kursvärderingen. Fråge-områdena pekar dels på studentens lärande, dels på det administra-tiva. Förslaget till kursvärderingen har en tydlig koppling till de »minutepapers« som eventuellt gjorts under kursens gång. Kursvär-deringen har genomförts på Lärarutbildningen, Hälsa och samhälle, Teknik och samhälle och Konst, kultur och kommunikation. Frå-gorna i sin helhet kan ses i bilaga 2, sidan 51. Exempel på de svar studenterna gett kan ses nedan, men först en sammanfattande kom-mentar av kursansvarig lärare.

lärarsammanfattningar Konst, kultur och kommunikation

Efter att under ett års tid haft en testgrupp för vår utvärderingsmo-dell så satte kursansvarig lärare samman en Fokusgrupp för att testa enkäten. Man skall då ha i minnet att detta är en grupp studenter som är vana att vid varje lektionstillfälles slut genomföra ett »minu-tepaper«. De fyllde i enkäten. Läraren var tillgänglig på plats om någonting i frågorna var oklart. Formen i enkäten och de omfattan-de frågorna gjoromfattan-de att stuomfattan-denterna inte laomfattan-de ut texten på samma sätt som vanligt. När läraren tog upp detta efteråt så menade de att det känns oengagerat att svara på frågor vid kursens slut då de upplever att det inte förändrar något för deras del.

Teknik och samhälle

Det är svårt för eleverna att förstå innebörden av frågorna. Förmå-gan att lösa mekanikproblem är en teknisk färdighet. Studenterna tränas i att se verkligheten genom förenklade mekanikmodeller. Kanske kan frågor om kursdelarnas relevans ge studenten tillfälle till reflexion. Frågor av typen: Vilka frågeställningar kan en yrkes-verksam ingenjör ställas inför? Vilka krav på noggrannhet ställs på lösningen i olika sammanhang?kan krävas för att studenten skall begrunda sammanhangen och sin egen framtida roll mer än att bara läsa för en tenta i en obligatorisk kurs. Det skulle vara intressant att utveckla enkäten åt detta håll. Om denna typ av frågor ställs tidigt i kursen kan det ge värdefulla incitament mot större eget ansvarsta-gande för dom egna studierna.

Traditionella kursutvärderingen fokuserar på

undervisningsfor-38

(37)

mer, kurslitteratur, omfattning som helt skymmer studentens egen roll och möjlighet att påverka.

Lärarutbildningen

Muntligt har de framfört att frågorna var flummiga, att svara på flera frågor under en och samma fråga ger mer allmänna svar, de känns inte kursrealterade. Studenterna är vana vid att en fråga får ett enty-digt svar, i skriven text eller som val.

exempel på svar från studenterna: Förväntningar

»Överensstämde helt med mina förväntningar. Roliga uppgifter både små och stora, i grupp och individuellt. Bra kombination. Motiverande lärare. Detta vill jag hålla på med.«

»Att få syfte och mål inför kursen underlättar både en lärares un-dervisning men mest av allt är den viktigt för studenterna att veta vad som gäller inför kursen samt vad som krävs för de olika be-tygskriterierna. Jag tycker att den var väldigt tillfredställande.« »Jag har läst kursen för att den ingår i min 60-poängsutbildning.

Det var tänkt att kursen skulle vara genomtänkt och strukture-rad men jag anser att det varit tvärt om. Svårt att få grepp om uppgifterna och att få samtalet med läraren att knyta an till ob-servationen.«

»Nej, ingenting på kursen har någon framförhållning eller ger re-levant förhandsinformation. Inga förväntningar.«

»Ja, mycket tillfredsställande. Jag har inte valt att läsa den här kursen, utan att den var en del av utbildning. Kursen fördjupade min erfarenhet och varnade mig på många olika saker. T ex när jag intervjuade min handledare, studierektor och sen när jag job-bade med åtgärdsprogram, observationen, matematiksvårighe-ter och fördjupningsarbete, fick jag svar på frågor (hur skolan hanterar elevernas problem och hur fungerar skolsystem) som hade jag i mitt minne.«

»Vi fick ingen information. Kursen ingår i programmet – kursen måste läsas.«

(38)

Syfte och mål

»Syfte och mål var tydliga på det sätt att det framgick vad vi skulle göra. Men hur vi skulle nå dit var mer otydligt, dock självklart att vi inte skulle veta hur. Läraren fick oss/mig att ro uppgifterna i land med klara och många förklaringar. Gillar att jobba prak-tiskt och med många olika projekt samtidigt. Kursen blir vad man gör den till, det hänger på en själv att ta ansvar och börja pejla läget för framtiden.«

»Ja, mål och syfte var klara och kursen inledde med genomgång och diskussion kring vad de kan innebära. Deltar alltid mycket aktivt i diskussioner. Läser på innan sem/föreläsningar. Läser även annan littereratur som tangerar ämnet.«

»Jag har själv inte varit så duktig på att ta reda på mål och syfte och vet därför inte om de var tydliga eller inte. Kursplanens olika delar diskuterades i form av att vi diskuterade uppgifterna, inte annars.«

»Ja, vi gick igenom en hel del i början av kursen, men det betydde inte att alla frågetecken klarades ut.«

»Inget diskuterades i början. Mål och syfte är uppenbart. Info be-hövs inte.«

»Målen för kursen upplever jag som lite oklara. Har inte fått en helhetssyn av vart kursen vill nå.«

»Ja, det gjorde de. Läste om målen på hemsidan.«

Lärandemiljö

»Som jag skrev innan handlar det om engagemang. Jag har verkli-gen velat medverka i allt, stort som litet. Känner mig målinriktad och med en lärare som NN har jag blivit pushad till rätt sätt och till att göra mitt yttersta. Genom våra minute papers har man hela tiden hållit sig à jour med nuet, vilket är bäst. Det är svårt att utvärdera endast i slutet eftersom det kan kännas oengagerat. Båda behövs.«

40

(39)

»Jag lär för min blivande lärarroll. Den energi jag lägger ner på studierna är den optimala för min nivå, tycker ånyo att vi bedö-mer varandra för mycket på denna utbildningen och samarbetar för lite. Främja mer samarbete så att blivande lärare vidareför-medlar detta till sina elever. Tävlingsinriktat arbete är kontra-produktivt i vår blivande yrkesutövning.«

»Ja, denna gången gjorde de det! Man fick god med tid på sig att bearbeta allt samt vara mer självständig än tidigare kurser. Kur-sen har inte på direkten aktivt hjälpt till utan har kännts mer som en extra kurs, med det menar jag att den var väldigt olik från resterande kurser på utbildningen. Samtidigt så fick man en hel del information om ledarskap och organisation och hur det fungerar i skolan och vad vi som lärare bör göra!«

»Kass fråga.«

»Jag kände mig aktiv i främst grupparbetet, vilket jag tyckte var intressant och gav mycket. Här kunde man själv dra egna slut-satser. Likaså i fördjupningsarbetet, där jag också var mkt mål-inriktad.«

»Det gick att reflektera och tycka till om undervisningen under kursens gång mha lappar till NN.«

»De uppgifter som är lösta i boken är svåra att tyda. Jag skulle gärna vilja ha lösningar gjorda av läraren som i ämnet z. Tempot var väldigt högt i början. Gick knappt att få hjälp på övningstill-fällena i början. Istället för att förklara enskilt för varje elev borde det vara en genomgång av vissa uppgifter på tavlan. Alternativet är mindre grupper.«

Malmö högskolas perspektiv

»Perspektiven finns alltid närvarande. Beroende på hur våra re-spektive skolor ser ut har olika genusperspektiv dominerat. Lit-teraturen var väl avvägd, relevant och intressant. Frågeställning-arna kunde modifieras efter intresse.«

»Mestadels under arbetsformer, teman av uppgifterna samt under litteraturval. Det har faktiskt förekommit ett antal gånger. Jag

(40)

tycker personligen att det är viktigt att få med alla perspektiv i alla typer av arbetsformer. Just när det handlar om ledarskap och or-ganisation har de olika perspektiven otroligt stort betydelse. Jag har synliggjort perspektiven klart i mina uppgifter.«

»De har inte ingått i den här kursen men de har vi ju diskuterat tidigare så det var bra att slippa. Jag tycker inte att perspektiven tillför något om de inte passar in i sammanhanget.«

»Etnicitet tas upp allt som oftast. Genus och, i synnerhet, miljö hamnar däremot i skuggan.«

Läranderesultat

»Insikt 1: Allt hänger på en själv. De skarpa uppdragen gentemot företaget Y har fått en att skärpa sig. 2: Många olika sätt att ge feedback vilket är bra och givande. Jag känner att jag utvecklats och fått upp ögonen för hur och vad jag vill jobba med.« »Under kursens gång har jag insett att ledarskap och organisation

är en mycket viktigt del av dagens skola. Det finns så mycket som man inte visste om sedan tidigare. Man blev mer och mer insatt i lärandemiljöerna och ledarskapet och ett stort intresse väcktes för eventuella fortsatta studier inom området specialpe-dagogik. Formerna för bedömning skiljer sig inte speciellt mycket. Kraven var lika höga. Under den här kursen handlade mer om kvalitet än kvantitet vilket jag anser är bra! Det som var mindre bra var att ge respons för alla examinationsuppgifter, där man till slut började nästan upprepa sig. Jag tycker att det är bra att få respons men mer omfattande. Intervjun har inte gett mycket av alla examinationsuppgifter så har själva intervjun upplevts stressigt. Men däremot att lära sig transkribera tyckte jag var bra! Litteraturen var väldigt intressanta att ta del av. Resterande examinationsuppgifter har gett mer kunskap och färdigheter.« »Det viktigaste i denna kursen tyckte jag var att vi fick göra

åt-gärdsprogram, det var väldigt bra. Det var också bra att vi fick jobba med barn i komplicerade lärandesituationer, eftersom man inte hade så stor kunskap om det sedan innan. Redovis-ningarna och examinationerna har gjort det möjligt att visa sina kunskaper.«

42

(41)

»Detta är tre frågor.«

»Mest intressant i kursen har varit det om barn med behov av sär-skilt stöd. Redovisningar ger mig till viss möjlighet att visa vad jag lärt mig.«

»Målet uppnås när man klarat tentamen.«

Vad leder kursen till?

»Denna kurs ha verkligen varit verklighetsanknuten. Detta har jag inte alltid upplev i tidigare kurser i utbildningen. Jag tycker att den varit bra och kommer att ha stor användning för de kun-skaper jag skaffat mig.«

»Jag har lärt mycket som är användbart i min blivande profes-sion.«

»Kursen kändes relevant men den kunde hållits på en högre nivå. Jag lärde mig inte mycket nytt.«

»Nej, det har inte varit relevant i förhållande till resterande kur-ser, men det har varit väldigt givande. Man har lärt sig en hel del nyttig om skolans ledarskap, specialpedagoger och om barnen i behov av särskilt stöd. Det har definitiv varit en tydlig byggsten. Verklighetsanknutna har de flesta varit förutom kanske den för-sta examinationsuppgiften. Om tydliga har jag redan besvarat att i början visste man inte riktigt vad det hela går ut på. Sen bör-jade allt falla på plats! Själv har jag träffat elever i behov av sär-skilt stöd men mer verklighetsanknytning har jag inte deltagit i förutom min allmänna observation som jag utförde i skolan be-träffande lärandemiljöer.«

»Lära sig vara analytisk. Knyta ihop matematikkunskaper och kunna tillämpa dem i arbetslivet.«

(42)
(43)

Utvärdering av vårens projekt och

implementeringen av modellen

Att finna goda former för implementering av föreslagen modell för kursvärdering ser vi som mycket viktigt. Inför arbetet med vårens testkurser ställde vi följande frågor:

1. Hur kan arbetet med »minutepapers« administreras i stora un-dervisningsgrupper?

a) Hur fungerar det att skriva »minutepapers« i mindre grupper? b) Hur fungerar det att göra urval av studenter ur den stora

grup-pen som skriver »minutepapers« individuellt?

– Alla testande lärare har varit överens om att dessa snabba ut-värderingar har gett dem information som de annars inte skulle ha fått. Även studenterna förefaller överlag vara nöjdare med den här modellen än att bara ha en kursvärdering på slutet av kursen. Studenternas vilja eller kanske förmåga till mer reflekte-rande utvärderingar tycks ha utvecklats under kursernas gång. Inga urval av studenter i någon större grupp har gjorts. Dock har en grupp med ca 60 studenter deltagit, men här var delta-gandet frivilligt och studenterna skrev korta svar, varför läraren inte upplevde tidsåtgången som besvärande.

2. Hur ofta bör man skriva »minutepapers«? Kan man se kvalitets-skillnader beroende på hur ofta det genomförs? Hur flexibel kan man vara beträffande frekvensen?

– De deltagande lärarna var helt överens om att metoden ska an-vändas efter varje utbildningstillfälle. Annars förfelas modellen och blir något »helt annat«.

3. Hur uppfattas förfarandet av involverade lärare? Hur uppskattar man tidsåtgången? Vad känns meningsfullt respektive mindre meningsfullt? Vad tillför detta i relation till det »traditionella« förfarandet med kursvärderingar?

– För de lärare som ser modellen som en viktig pedagogisk del i kursen upplevs inte tidsåtgången, som för stor. Att man får viktiga

Figur

Fig 1 Blooms och Millers taxonomier i jämförelse med gällande lärandemål. (Se bilaga 1–2 för utförligare beskrivning.)

Fig 1

Blooms och Millers taxonomier i jämförelse med gällande lärandemål. (Se bilaga 1–2 för utförligare beskrivning.) p.63
Fig 2 Lärandespiralen.

Fig 2

Lärandespiralen. p.64
Fig 3  Matris

Fig 3

Matris p.65
Fig 5 Verktyg för kvalitetssäkring och systematisering av BSP i relation till  beskrivningen av interaktiv examination inom kursen »Att bli lärare« (10 p) vid LUT, hösten 2005.

Fig 5

Verktyg för kvalitetssäkring och systematisering av BSP i relation till beskrivningen av interaktiv examination inom kursen »Att bli lärare« (10 p) vid LUT, hösten 2005. p.66
Figur 1. Den verksamhetsförlagda delen av utbildningen utgår från ett gemen- gemen-samt syfte där samarbetet mellan tre partners utgör grunden

Figur 1.

Den verksamhetsförlagda delen av utbildningen utgår från ett gemen- gemen-samt syfte där samarbetet mellan tre partners utgör grunden p.88
Figur 2. Sammanfattning av syften med den verksamhetsförlagda  delen av utbildningen. 94 • Kunskap,  färdigheter och förhållningssätt• Ny forskning• Nyheter Ifrågasättandeoch reflektionIndividuell och kollektivkunskapsutveckling

Figur 2.

Sammanfattning av syften med den verksamhetsförlagda delen av utbildningen. 94 • Kunskap, färdigheter och förhållningssätt• Ny forskning• Nyheter Ifrågasättandeoch reflektionIndividuell och kollektivkunskapsutveckling p.92
Figur 1. Orsaker som beskriver studenters skäl till varför de avbryter sin  utbildning

Figur 1.

Orsaker som beskriver studenters skäl till varför de avbryter sin utbildning p.110
Figur 1. Alla medarbetares och studenters delaktighet och ansvar i huvudprocesserna ”Utbilda”, ”Forska” och ”Samverka” för att uppfylla Malmö högskolas vision och mål.

Figur 1.

Alla medarbetares och studenters delaktighet och ansvar i huvudprocesserna ”Utbilda”, ”Forska” och ”Samverka” för att uppfylla Malmö högskolas vision och mål. p.135
Figur 3. Beskrivning av olika nivåer där Mål för grundutbildningen formuleras, implementeras och utvärderas

Figur 3.

Beskrivning av olika nivåer där Mål för grundutbildningen formuleras, implementeras och utvärderas p.137
Figur 4. Struktur för Malmö högskolas kvalitetsarbete. Komponenterna  är anpassade till nivån program/kurs.

Figur 4.

Struktur för Malmö högskolas kvalitetsarbete. Komponenterna är anpassade till nivån program/kurs. p.139
Figur 5. Principen för Kontinuitet enligt Demings cirkel (Continuous Quality Improvement)

Figur 5.

Principen för Kontinuitet enligt Demings cirkel (Continuous Quality Improvement) p.140
Figur 1. Kvalitetsarbete vid Malmö högskola. Beskrivning av olika nivåer där Mål för utbildningen formu- formu-leras, implementeras och värderas

Figur 1.

Kvalitetsarbete vid Malmö högskola. Beskrivning av olika nivåer där Mål för utbildningen formu- formu-leras, implementeras och värderas p.149
Figur 2. Underlag för åtgärdsplan för övergripande samordning av kvalitetsarbetet vid Malmö högskola.

Figur 2.

Underlag för åtgärdsplan för övergripande samordning av kvalitetsarbetet vid Malmö högskola. p.149
Figur 3. Demings cirkel, utefter vilken den intern/externa utvärderingen har  utgått.

Figur 3.

Demings cirkel, utefter vilken den intern/externa utvärderingen har utgått. p.156

Referenser

Relaterade ämnen :