tillfälle för lärande?
Maria Löfgren Martinsson Universitetsadjunkt/doktorand
Pedagogiska institutionen, Lunds universitet maria.martinsson@pedagog.lu.se
Inledning & tidigare erfarenheter
Syftet med föreliggande paper är att redo-göra för genomförandet och resultatet av ett projekt som utförts inom ramen för en pro-jektbaserad kurs i högskolepedagogik för hög-skolelärare och doktorander. Projektets fokus rörde formativ utvärdering och betydelsen av denna för de studerandes möjligheter till på-verkan och lärande.
Sedan 1997 har P-laget12 bedrivit
forma-tiv utvärdering under en av sina kurser (se bilaga). Utvärderingsförfarandet på kursen har inneburit att vi löpande och regelbundet under kursens gång har samlat representanter för studenternas basgrupper för utvärderande samtal om den del av kursen som just försig-gått. Utvärderingsmötena har givit oss lärare möjlighet att förklara pedagogiken bakom kursens olika moment, något som ofta
gi-vit upphov till intressanta diskussioner stu-denterna emellan, exempelvis om lärformer, inställning till studier, individuella arbetssätt osv. Nog så viktiga aspekter, relevanta även för det ämne, arbetslivspedagogik, som stu-denterna läser. Stustu-denterna å andra sidan har fått möjlighet att uttrycka sina åsikter och ta del av varandras erfarenheter.
En tanke inför projektet har varit om ICT kunnat göra det möjligt att kombinera fördelarna med handledarledda utvärderings-möten med en direkt dialog mellan studenter och blockansvariga lärare samtidigt som våra rutiner för dokumentation av vad som disku-terats på mötena kunde förbättras. Vi valde därför att fokusera en del av projektet på an-vändande av dialog via ICT som komplement till utvärderingsmötena.
Projektets syfte och genomförande
Projektet genomfördes under höstterminen 2002 och bestod av två delar. En del som in-riktade sig mot utveckling av den använda metoden för utvärdering och en uppföljning och utvärdering av processen i sin helhet. Syftet med projektet var:
• Att undersöka möjligheten att öka stu-denternas påverkansmöjlighet/utbyte av
kursen genom att med hjälp av ICT utöka dialogen mellan studenter och lärare. • Att fånga upp vilken betydelse den
for-mativa utvärderingsprocessen har för de studerandes arbets-, grupp och lärproces-ser.
Den process som var väl utarbetad sen ti-digare gick till enligt följande:
Under kursens gång genomfördes fyra ut-värderingsmöten, ett för varje ”block”. Varje basgrupp utsåg en representant som tog med sig gruppens synpunkter till utvärderings-mötet. Vikten av förberedelse poängterades så att gruppens tankar och funderingar kring undervisningen på det för dagen aktuella blocket framfördes så väl som möjligt. Under utvärderingsmötena diskuterades grupper-nas arbets-, grupp- och lärprocesser samt in-nehåll och genomförande av blocket i övrigt. Mötena protokollfördes (konfidentiellt) och protokollet lades ut under kursens
Anslags-tavla13 på nätet.
Nytt för projektet var följande två steg:
Blockansvarig lärare tog ansvar för att kom-mentera de synpunkter som kommit fram, också detta på Anslagstavlan. Han/hon hade därvid möjlighet att bemöta synpunkter, korrigera mindre missförstånd, förklara sina tankar bakom undervisningens upplägg om så önskades av de studerande eller kändes påkallat från lärar- eller handledarhåll. De studerande uppmanades att fortsätta diskus-sionen via Anslagstavlan eller, om de hellre ville det, personligen. Förfarandet utvärde-rades sedan med hjälp av en enklare enkät, genom observationer av utvärderingsmötena samt genom bevakning av vad som hände på Anslagstavlan, i protokollen, i lärarnas svar samt den påföljande dialogen.
Resultat och diskussion
Utvärdering, i så väl formativ som summativ form, är något som de studerande värderar högt. De menar att det är mycket viktigt att ha möjlighet till påverkan redan under kursens
gång vilket tar sig uttryck i att flertalet vär-derar den formativa delen lika högt eller hö-gre än den summativa. Man anser därvidlag att det ger bättre utbyte att utvärdera för sin egen skull än för andras. Detta styrks såväl i studenternas motiveringar som av att mer än två tredjedelar anser att deras synpunkter har tagits tillvara, både i form av konkreta föränd-ringar och i upplevelser av attityder från lärar-håll. En intressant aspekt av ovanstående var att det hade betydelse om man deltagit per-sonligen i något formativt utvärderingsmöte för i vilken utsträckning man ansåg att de studerandes synpunkter hade tagits tillvara under kursen. En tolkningsmöjlighet är att det personliga mötet och den direkta kom-munikationen mellan studerande och lärare har avgörande betydelse. Det räcker alltså inte med indirekta metoder (ICT) för att de stude-rande ska uppleva att de blir lyssnade på. Det som har avgörande betydelse för upplevt in-flytande och utbyte av kursen är mötet mellan studenter och lärare och mellan de studerande själva. Det förefaller dessutom vara så att de som varit personligen närvarande upplevt att synpunkterna tagits tillvara bara genom att de diskuterats och tagits på allvar – även om man inte fått som man vill!
Sammanfattningsvis måste man nog dra slutsatsen att just möjligheterna till en informa-tionskanal och en yta för dialog via ICT är betydelsefulla för studenternas utbyte av kur-sen. Dessa möjligheter antyder för studen-terna att detta är en kurs där deras synpunk-ter är viktiga och att det finns möjlighet till inflytande. Att både kursen i övrigt och den formativa utvärderingsprocessen också un-derbygger dessa möjligheter kan dock med-föra att möjligheterna inte utnyttjas i någon högre utsträckning.
Som grupp har de studerande bedömt be-tydelsen av utvärderingsprocessen för arbets-, grupp och lärprocess som relativt liten. På ett mer individuellt plan avges dock förklaringar som pekar i en annan riktning. Det som anges ha påverkats mest är arbetsprocessen och det individuella lärandet medan grupprocessen
och gruppens lärande anses ha påverkats i mindre utsträckning. Vad gäller arbetsproces-sen handlar det om att utvärderingsprocesarbetsproces-sen bidragit med klargöranden om vad som skulle göras och en hjälp med planeringen av arbe-tet. I fråga om det individuella lärandet har möjligheterna till påverkan inverkat positivt på motivationen vilket i sin tur har påverkat lärandet i positiv riktning. En positiv kopp-ling finns också mellan arbetsprocessen och det individuella lärandet på så sätt att i de fall utvärderingsprocessen påverkat arbetsproces-sen har man också skattat det individuella lä-randet högre.
Avslutningsvis kan man konstatera att för de studerande innebär den formativa utvärde-ringsprocessen i sin helhet en klar påverkans-möjlighet. Däremot tycks det vara så att an-vändning av ICT visserligen ses som en god service men att det är den direkta dialogen med handledare och lärare som är avgörande för hur man uppfattar dessa möjligheter. Vad gäller betydelsen av utvärderingsprocessen för arbets-, grupp och lärprocesser är under-laget något för begränsat för att dra långt-gående slutsatser, men såväl observationerna som enkätsvaren ger indikationer på att ut-värderingsförfarandet har betydelse för de studerandes olika processer i det att det ger möjligheter till gemensam reflektion över vad man är med om. Något som i sin tur bi-drar till såväl överspridning av lärande som till tecken på förändrade synsätt vad gäller arbetssätt, grupprocesser och på vad lärande egentligen är.
Bilaga ”kursen”
Den aktuella kursen ingår i PA-programmets påbyggnad i arbetslivspedagogik. De första 10 poängen på B-nivån (622:1 samt 621) består av två större block; ett temaarbete och ett större ”case”, båda omfattande de tre hu-vudområdena organisationsutveckling, ledar-skapsutveckling samt lärande i arbetslivet. Studenterna arbetar i basgrupper om 6-8 stu-denter med tillgång till handledning.
Temaarbetet innebär en relativt löst upplagd
uppgift där resultatet skall bli en litteratur-översikt över ett egenhändigt formulerat problemområde. I uppgiften ingår också att analysera arbets-, grupp- och lärprocess för gruppen. Basgrupperna har kontinuerligt till-gång till handledare. Uppgiften avslutas dels med en skriftlig rapport över problemområ-det, dels med ett seminarium där analysen av de tre ovan nämnda processerna redovisas och diskuteras (övriga har i uppgift att for-mulera och ställa frågor på innehållet i rappor-ten och på analysen).
Parallellt med gruppuppgiften löper också en föreläsningsserie vilken behandlar de tre huvudområdena. För varje område finns en
blockansvarig lärare. Begreppet ledarskap
dis-kuteras och analyseras och olika teorier vad gäller ledarskap diskuteras ur olika perspektiv samt i relation till organisation och medarbe-tare. Lärandets villkor och förutsättningar i arbetslivet diskuteras och analyseras. Kompe-tensutveckling och lärande relateras till or-ganisation, ledningsstrategier och individers behov. Utifrån ovanstående diskuteras och analyseras såväl olika synsätt på organisatio-ner som begränsningar och möjligheter ur ett förändrings- och utvecklingsperspektiv.
Reflective Assessment
– Qualitative Aspects of
Evaluation and Learning
Thomas Olsson, Lund Institute of Technology, Lund University thomas.olsson@hbg.lth.seCritical reflection plays an important role in the learning process at universities. Suc-cessful reflection can help students develop new insights, new mental models and profes-sional improvement. Thus reflection involves a mental processing and students who reflect in a structured and creative way on their own learning activities and achievements are more likely to reach the higher levels of the SOLO
taxonomy (Biggs and Collis, 1982) and to adopt a deep approach to learning. This paper presents an investigation on how reflective writing used as an assessment method also can serve as a complement to course evaluation techniques such as the Course Experience Questionnaire, CEQ (Ramsden, 1991).
Generic skills are introduced in an in-troduction course during the first year of a biotechnology curriculum at Bachelor of Science level. These skills comprise quality assurance, engineering ethics, communi-cation skills, environmental issues, applied economics and social psychology. The main assessment procedure is formative with writ-ten reports and oral presentations with formal oppositions and includes standard operating procedures, ethical investigations, rhetorical speeches, case studies, scientific papers, pos-ter presentations and field observations. A re-flective summative assessment was introduced two years ago. Students produce papers that are personal and self-reflective. The papers fo-cus on knowledge and skills acquired during the course and how to use this competence in future professional careers.
The main research question is illustrated in Figure 1.
Three types of reflection that can be associa-ted with experiential learning (Kolb, 1984) are reflection-in-action, reflection-on-ac-tion, (Schön, 1983) and reflection-for-action
(Cowan, 1998). In the summative papers students mainly reflect “on” and “for” action and they are critically reflective and connect the assessment to their own learning. The pa-pers comprise both a cognitive (students’ re-flection on knowledge and skills) and a meta-cognitive (students’ reflection on learning) dimension. In most cases there are also clear and distinct course evaluative aspects found in the papers. The different dimensions of the reflective papers and the relation between the papers and external course evaluations are the main purposes of this study (Fig. 2).
The research methodology employs several qualitative approaches. Comparative studies of reflective papers, CEQ results and more traditional course evaluation forms were per-formed and evaluated together with focus group interviews and individual in-dept inter-views. The SOLO-taxonomy (Biggs and Collis, 1982) and Perry’s Scheme of Intellec-tual and Ethical Development (Perry, 1970) were also used in the evaluation process.
The reflective papers
• are balanced and informative especially about learning outcomes.
• include discussions of future usefulness of acquired knowledge and skills.
• are significantly more positive than cor-responding course evaluations.
A representative example of quantitative re-sults includes “general satisfaction” and
“fu-What are the relations between?
Learning Outcome Students’ conceptions of Learning Outcome Course Evaluations
Figure 1 Research question
Cognitive
Dimension Meta-cognitive Dimension Evaluative
Dimension
Course evaluations (CEQ …)
ture usefulness of knowledge and skills”. The results are presented in Figure 3 where the marks from the Course Experience Ques-tionnaire (CEQ) are mean values on a scale from 1 to 5. The marks from the reflective pa-pers are estimations where ++ means signifi-cantly more positive (probably above 4.0) and + means more positive than the CEQ.
An example of qualitative results include ci-tations of students’ cognitive, meta-cognitive and evaluative statements:
“Awareness of quality assurance is an impor-tant part of the engineering profession.” “I feel that after my studies it is very impor-tant that I know my attitudes to such prob-lems {ethical} and learn to argue in favour of them.”
“…you face a problem where all solutions involve several ethical considerations. There-fore it is very useful to have been given the opportunity to think in such ways.”
“When you work in project groups it can be very useful to be aware of how people act in different situations.”
“Especially how people change roles depen-ding on the situation and on what is expected of them.”
“All problems are complex and must be ana-lysed very carefully from all angles to reach the best solution.”
“Now I have learned to investigate a pro-blem and a solution in many different ways and to criticise different solutions to the same problem.”
“I wish that you already in upper secondary school reached this level of search for knowl-edge, but …”
“Learning is a process that should continue throughout your life.”
“To take a personal responsibility for your learning is a must - if you fail to do that you must take the consequences yourself.” “Two important parts of social competence are the abilities to communicate and co-oper-ate. I feel that I have developed these two parts considerably during this course.” “In spite of the fact that I did not like the vi-deo camera I must admit that it was instruc-tive to study oneself while performing.” “What I before had been so anxious about now turned into something pleasant and sti-mulating. For this I am very grateful today since most of my fear has disappeared and I have learned how to act when I give a speech in front of a larger group of people.”
“The usefulness of ethics is probably greater than what I feel at the moment…”
“…as usual my preconceived ideas had to give way to reality after a while.”
“My interest in the different parts {of the course} has been low at times but I have learned a lot.”
General satisfaction
CEQ 2.9 (2002) 3.2 (2003)
Reflective
papers ++ (2002) ++ (2003)
Future usefulness of knowledge and skills
CEQ 3.2 (2002) 3.5 (2003)
Reflective
papers + (2002) ++ (2003)
“In general I think that the course was good and I actually think that when you start wor-king it will be more useful than you realise now.”
The main results of this study imply that a reflective summative assessment provides an evaluation of the learning outcome that is more detailed and informative than the results of the CEQ. Even more interesting is the finding that the CEQ and the papers give diverging results about learning outco-mes. Students demonstrate excellent learning outcomes and write positively about them in their papers but at the same time give quite modest marks in the CEQ. Results from focus groups and interviews indicate that students do not regard traditional course evaluations as measures of the learning outcomes. This is an important finding since the goal of all educa-tional activities at a university is learning at qualitatively high levels.
Learning at qualitatively high levels is not equivalent to positive course evaluations. Course evaluations measure some aspects of the experience of a course but probably only to some extent the actual quality of student learning. This knowledge is of practical im-portance for faculty management, depart-ments and individual teachers.
Further development and research activities involve
• development of critical reflection as a complementary assessment method in traditional engineering courses and as an overall assessment method covering seve-ral courses of the curriculum.
• introduction of reflective exercises as an integral part of regular classroom activities in courses throughout the curriculum. • more investigations of the main research
question perhaps complemented with a phenomenographic study of variations of students’ conceptions of the quality of learning outcome and course evaluations.
References
Biggs, J B and Collis, K F (1982) Evaluating
the Quality of Learning. The SOLO Taxonomy (Structure of the Observed Learning Outcome).
Academic Press.
Cowan, J (1998) On Becoming an Innovative
University Teacher. Reflection in Action. Society
for Research into Higher Education & Open University Press.
Kolb, D A (1984) Experiential Learning:
Experience as the Source of Learning and Development. Englewood Cliffs, New Jersey:
Prentice-Hall.
Perry, W G, Jr (1970) Forms of Intellectual
and Ethical Development in the College Years. A
Scheme, Holt, Rinehart and Winston. Ramsden, P (1991) A Performance Indicator
of Teaching Quality in Higher Education: the Course Experience Questionnaire. Studies in
Higher Education, Volume 16, No 2. Schön, D A (1983) The Reflective Practitioner. Basic Books.