DEL II UTVÄRDERING AV UND ERVISNING - LI TTERATUR
ÖVERSIKT MED INRIK TNING HOT UNIVERSITETSUNDERVISNING
INLEDNING
Litteraturöversikten har utarbetats med sikte på vad som bedömts som relevant för utvärdering av universitets
undervisning på institutionsnivå. Det innebär inte att innehållet i s ammanställningen saknar betydelse för utvärdering av undervisning på andra skolnivåer.
Många av de frågor som uppstår vid utvärdering av undervisningsprogram har generell giltighet för olika utbildningsnivåer (jfr s 2 ).
Vid litteraturgranskningen har vi valt att inte utgå från olika författare och redogöra för deras syn på utvärdering. Vi har i s tället föredragit att ta vår utgångspunkt i problemområden som vi bedömt som vä
sentliga och därvid försökt analysera litteraturen med avseende på olika åsiktsriktningar. En konsekvens av ett sådant analysförfarande är att samma författa
re ibland återkommer i f lera avsnitt.
Vi har inga anspråk på att ge en fullständig och helt uttömmande översikt av litteratur som gäller utvärde
ring. Därtill är området alltför stort. Hur utvärde
ringsproblematiken behandlas i litteratur som ej är amerikansk eller västeuropeisk har vi t ex haft ringa möjligheter att beakta. Förutom geografiskt vill vi betona att översikten även är begränsad vad gäller antal problemområden som är möjliga att ange inom ut
värdering och vad gäller författare som medtagits in
om respektive område.
PEDAGOGISK UTVÄRDERING AV UNDERVISNING
Utvärderingsbsgreppets innebörd
Förhållandet att pedagogiska fenomen är artificiella i betydelsen att de är mänskliga påfund som tillkom
mit utifrån vissa intentioner är centralt att beakta vid utvärdering. Undervisning är påverkad och kan ytterligare påverkas genom människors beslut (t ex Gowin, 197 2).
Utvärdering eller det synonyma begreppet evaluering har generellt definierats av ett flertal forskare på området (bl a Tyler, 1942; Cronbach, 1963; Metfessel
& Michael, 1967; Scriven, 196S, 1972; Stake, 1967;
Provus, 1969; Popham, 1971; Stufflebeam, 1971). I definitioner som anges inryms ofta aspekter av meto
disk art och/eller vilket syfte utvärdering antas ha.
T ex sägs pedagogisk utvärdering vara detsamma som att beskriva och bedöma ett undervisningsprogram (Stake, 1967), att relatera elevbeteende mot mål i beteendetermer (Tyler, 1942) eller att definiera, in
förskaffa och använda information för beslutsfattande (Stufflebeam, 1968). Av definitionerna framgår ibland olika synsätt på undervisning. En fokusering på mät
ning av elevprestationer torde vara uttryck för en annan uppfattning om undervisning än om en betoning görs av att i utvärdering beakta undervisning som en mycket komplex företeelöe (jfr Kallös & Lundgren, 1974) .
Oavsett nämnda skiljaktigheter i a ngivna definitioner ger de uttryck för enhetlighet vad gäller utvärde -ringars innebörd. Utvärdering betyder att pedago
giska fenomen observeras och att dessa observationer relateras till intentioner för fenomenen. Utvärdering av undervisning är således en handling som uttrycker en medveten strävan att kunna ta ställning till huru vida ifrågavarande undervisning fungerar i enlighet
med dess i ntentioner. Utifrån denna gemensamma upp
fattning om utvärdering försöker evaluerare att på olika sätt lösa problem som uppstår i samband med att en jämförels e mellan observerade och förväntade värden ska företas.
Den allmänna innebörd i utvärdering som vi utgår från vid litteraturgenomgång och empiriska studier är densamma som ovan framgått och kan formu leras enligt följande: "Utvärdering av undervisnin g är en jämförelse mellan observationer av och intentioner med undervisningen".
Allmänt syfte
Det bakomliggande syftet med utvärdering an ses ofta vara att ge underlag inför beslutsfattande. Ibland sägs det explicit att utvärderaren bör sträva mot att underlätta eller att skapa underlag för besluts
fattare (bl a Stuff lebeam, I960; Wiley, 1969; Astin ä Panos, 1971; Gold, 1971; Brown, 1972). I andra fall är detta syfte ej klart angivet men besluts-karaktären framgår ändå klart då utvärderings frå
gor penetreras. Man.betonar vikten av att utvärde
raren förs öker identifiera bristfälligheter i det pedagogiska fenomen som évalueras för att möjlig
göra beslut om åtgärder som undanröjer bristerna i fråga (t ex Cronbach, 1963). Utvärderarens roll består då hu vudsakligen i att fungera som r eforme
rare av sp eciella undervisningsprogram eller att förse beslutsfattare med den inform ation som för tillfället krävs. I USA har evalueraren ofta varit samme person som läroplanskonstruktören eller till
hört dem som utveck lat det nya undervisnin gspro
grammet (Pace, 1972; Kallòs & Lundgren, 1974).
En fast koppling mellan utvärdering och besluts
fattande kan medföra vissa konsekvenser som är mind
re önskvärda. Om ett starkt beroendeförhållande
existerar mellan utvärderare och beslutsfattare ris
kerar den förre att i hög grad styras i s itt arbete att skaffa beslutsunderlag av de som sedermera ska fatta beslut. En utvärdering som helt bygger på be
slutsfattarens premisser har små möjligheter att i omfattande grad förändra rådande uppfattning om ett undervisningsprogram. Ju närmare utvärderingsresul
tatet ansluter till den bild beslutsfattaren har om det utvärderade objektet desto värdefullare kan eva-lueringen bedömas ha varit. Beslutsfattandet har un
derlättats genom att redan fattade beslut legitime
rats. Intresset för den information som utvunnits blir begränsat till det specifika pedagogiska sam
manhang vari utvärderingen företagits och till den specifika beslutssituationen (bl a Pace, 1972).
En utvärderare som strävar efter att ge en bred bild av undervisningen för att en bedömning av dess funk
tion ska kunna företas på så välinformerade grunder som möjligt kan bidra till att komplicera snarare än att underlätta en beslutsfattande uppgift. Ett bakomliggande syfte av denna innebörd betyder att den undervisning som är objekt för utvärdering ej
kan ses som en isolerad företeelse utan att
evalu-e r a r evalu-e n f ö r s ö k evalu-e r b evalu-e a k t a k o m p l evalu-e x i t evalu-e t evalu-e n i S i t u a t i o
nen. Genom att erbjuda en mångsidig bild kan utvär
deringen leda till reflexioner, beslut och åtgärder av annat slag än en evaluering strikt inriktad på en s p e c i f i k b e s l u t s s i t u a t i o n . D e n i n f o r m a t i o n s o m
utvärderingen ger kan tänkas vara värdefull också
utanför det speciella sammanhang där den genomförts.
Genom att komplettera den angivna innebörden i ut
värdering (s 12) med det bakomliggande syftet här
för vill vi ge en första ram för utvärderingsbegrep
pet,. Det angivna syftet ska ses mot bakgrund av det vi ovan har framfört- "Utvärdering av undervis ning är en jämförelse mellan observationer av och in ten
tioner med undervisningen i syfte att möjliggöra en välinformerad bedömning av hur undervisningen funge
rar».
Ingående aktiviteter
Vi har framhållit att pedag ogiska fenomen är arti
ficiella och knutna till bestämda intentioner och att en utvärd ering avse r att påverka bedömningen av det fenomen som är foremål for utvärdering. Ett mång
sidigt u nderlag behö vs för att adekvat kunna bedöma relationen mellan praxi s och inte ntioner.
I syfte att erbjuda ett underlag för framtida age
rande företas olika aktiviteter i evaluer ingsarbe-tet. Vissa aktiviteter är utmärkande för utvärdering oberoende av vilka evalu eringsstrategier som i öv
rigt förord as (se t ex Stufflebeam, I960; Harwey, 1973). Häri ingår datainsamling, beskrivning, ana
lys och tolkning samt enligt vissa utvärderares åsikt även bedömning. Nämnda aktiviteter sätts van
ligen i samband med observationsförfarandet men kan även anses gä lla utvärderarens behandling av inten
ti o ner.
Vilken informat ion som inhämtas beror bl a på rå
dande problemställning, till vilken nivå utvärde
ringen primärt riktar sig (s 6), utvärderarens mer eller mindre klart uttryckta utgångspunkter för ar
betet, krav som upps tällts på eva lueringen av upp
dragsgivare liksom vilka resurser som ställts till förfogande. Beskrivningen av objektet fö r utvärde
ring var ierar i utfö rande. Den kan t ex v ara över
siktlig eller detaljerad, mångsidig e ller ensidig, kvantitativ eller kvalitativ, formell eller infor
mell. Analysförfarandet kan innebära att resultat mer direkt relateras till intentioner eller att ut-värderaren via en jämförel se med ett annat program försöker penetera frågan om hur den aktuella under
visningen fungerar. Analysen kan företas på olika nivåer, vara mer eller mindre kontextuellt förank
rad och vara uttryck för skilda tolkningsmodeller.
Den fjärde och mest omdiskuterade av nämnda akti
viteter är huruvida utvärderaren också ska utföra en bedömning i betydelsen avge värdeomdömen om objektet för utvärdering. De flesta utvärderare har valt att inte avge sådana omdömen, vilket kan för
klaras av att det ansvar utvärderaren åläggs blir mindre om hans uppgift inskränks till att skaffa underlag för bedömning än om värdeomdömen måste avges (Stake, 1967). Ett skäl till att utvärdera
ren avsäger sig bedömarrollen kan också vara att man inte vill skapa misstänksamhet hos de individer som omfattas av utvärderingen (Trow, 1970). Scriven (1969) hävdar emellertid att evaluering utan inslag av bedömning inte är någon evaluering. Även Westbury (1970) tillhör de som framhåller det otillräckliga
i att beskriva och analysera utan att avge värdeom
dömen.
Enligt vår mening är den väsentliga uppgiften för utvärderaren att ge en så god bild som möjligt av undervisningen ifråga, vilket inbegriper att rele
vant information insamlas och att undervisningen be
lyses ur olika utgångspunkter och aspekter i a vsikt att försöka tolka och förstå den bild som framkommit Oavsett vem som utför bedömningar torde underlaget härför visa sig vara tillräckligt i vissa avseenden och otillräckligt i a ndra. Det är således ibland men ej alltid motiverat att avge värdeomdömen. I de fall det görs av utvärderaren bör utgångspunkter för ställningstaganden klargöras så att såväl pre
misser som bedömningar blir möjliga att ifrågasätta.
Vissa aktiviteter som är gemensamma för evaluerings-arbete kan avslutningsvis komplettera allmän inne
börd i och bakomliggande syfte med utvärdering för
att därigenom ytterligare precisera utvärderingsbe-greppét: "Utvärdering av undervisning är en jämför
else mellan observationer av och int entioner med un
dervisningen varvid informationsinhämtning samt be
skrivning, analys och tolkning e rfordras i syfte att möjliggöra en välinformerad bedömning av hur under
visningen fungerar".
NÅGRA UTVECKLINGSLINJER INOM UTVÄRDERING
Under denna rubrik avser vi att ge en kortfattad översikt av några förändringar och trender inom ut
värderingsområdet. Vissa av de aspekter som här be
rörs kommer att mer utförligt behandlas i e fterföl
jande avsnitt.
Under stor del av 1900-talet har utvärdering varit liktydigt med testning med successivt förfinade mät
instrument. På 1920-talet användes systematisk eva-luering för första gången i s yfte att förbättra un
dervisning (Cronbach, 1963). Fram till 1965 var det framför allt tre ansatser som var förhärskande vid utvärderingar. Den första inriktningen var den där utvärdering var liktydig med mätning och testning.
Den andra var expertutlåtanden (accredition) som innebar att data insamlades om t ex utrustning, per
sonal och organisation. Inom den tredje ansatsen inriktades utvärderingsarbetet på att relatera pres
tationer till preciserade och detaljerade mål.
Merwin (1969) har beskrivit hur innehållet i och formerna för utvärdering kommit att utvecklas under
1900-talet, vilket vi sammanfattande illustrerar enligt följande:
1 specifika prestationer > mer allmänna utfall 2 begränsade aspekter (enbart kognitiva mätningar)
> vidare aspekter (t ex åven affektiva mät
ningar)
3 enpunktsmätning > flerpunktsmatning 4 individ > grupp (system) /
Marton (1973a) belyser förändringen i evaluering i bland annat dessa dimensioner:
1 grupprelaterad > måIre laterad evalue,ring 2 produktrelaterad -—> processrelaterad evaluering
Dessa förändringar i synsätt och metodik vad gäller utvärdering kan ses som direkta resultat av den massiva kritik som framförts mot utförda evalue-ringar. Vad invändningarna i f örsta hand rör är den starka betoningen av utfall vid utvärderingar (Har-wey, 1973) och då också bara på mycket begränsade sådana som testresultat eller betyg* Tumin (1970) säger att de studerande sällan fått fungera på an
nat sätt än som uppgifts lösare i utvärderingssam
manhang. Han menar att missnöje och störningar som studerande upplevt nästan aldrig inlemmas i u tvär
deringar. Detta betecknar han som fel, farligt och antidemokratiskt. Det betonas också att inte bara de studerande utan även andra inblandade t ex lära
re bör tillfrågas (t ex Eisner, 1972; Rarlett &
Hamilton, 1973). Cronbach (1963) har efterlyst en bred beskrivning av utfall inom vilket t ex inryms attityder, yrkesval, allmän förståelse och fallen
het för mer inlärning inom fältet.
Det har också riktats invändningar mot att utvärde-rare så ensidigt koncentrerat sig på beteendeför
ändringar och att i stället alltför liten vikt lagts vid undervisningsprocessen (t ex Eisner, 1972; The Cambridge Manifesto, 1973}. Många studier har be
gränsat värde på grund av att utvärderingen varit fokuserad på utfallssidan utan att ge empirisk in
formation om relationen mellan utfall, bakgrund och företagna operationer (Astin & Panos, 1971). Man har också ifrågasatt den ovilja som utvärderare
tyckts känna mot att medta oväntade effekter eller s k sidoeffekter i u tvärderingar (t ex Cronbach, 1963; Astin & Panos, 1971; Stake, 1973b).
Målrelaterad evaluering har inneburit en bestämning av huruvida specifika mål har uppnåtts efter viss behandling. I Lindvall & Cox (1970) ges ett konkret exempel på denna typ av utvärdering med tonvikt på mål och mätning av effektivitet gentemot dessa.
Tidigt uttrycktes farhågor mot att utgå från allt
för begränsade kognitiva aspekter (Tyler, 1942).
Även det affektiva området och högre mentala pro
cesser borde medtas (Bloom, 1956; Krathwohl et al., 1964). Invändningar av samma typ gäller fortfarande målrelaterad utvärdering (t ex Eisner, 1972; Cox &
Kontiainen, 1973; Combs, 1973). Vidare tenderar den centrala position som målpreciseringar intagit att minska. Det hävdas att dessa bör betraktas som en komponent bland andra vid systemevaluering (bl a Sjögren, 1970; Stake, 1973b).
Alltför systematisk uppläggning av utvärderingar, ensidig inriktning på numeriska data samt att de pedagogiska fenomenen behandlats isolerat utan att sättas in i ett större sammanhang har börjat ifrå
gasättas. Många av de studier som utförts inom det förhärskande forskningsparadigmet har betecknats som förenklade och konstlade och därför föga verk
lighetsanknutna (t ex Parlett & Hamilton, 1973).
Kritiken har också gällt att problemen anpassats till paradigmet och utvärderingen alltför mycket styrts av metoder och mättekniker inom detta (Guba,
1969; The Cambridge Manifesto, 1973). Stake (1973b) har även invänt mot det sätt resultat rapporterats och menar att den beslutsorienterande karaktär som utvärdering har innebär vissa konsekvenser för rapporteringsförfarandet. Han förordar en mindre formell rapportering än den gängse forskningsmässiga utformningen för att öka läsbarheten för intressenterna.
Utifrån de nya trender som noterats kan vi komplette
ra de tidigare illustrationerna av hur synen på ut
värdering har förändrats:
målrelaterad evaluering > mål som en komponent systematisk design > flexibel uppläggning isolerade fenomen ——> kontextuell förankring metodstyrning > problemstyrning
kvantitativa data > kvalitativa data
formell rapportering > informell rapportering.
De senaste tongångarna har ännu inte prövats empi
riskt i någon större omfattning men klart är att detta inte är någon' slutlig lösning på de problem man brottats med inom evaluering. Kritik kan redan märkas framför allt mot att utvärderingarna riske
rar att bli mycket subjektiva. Perspektivet tycks leda till antiintellektualism och ostrukturerad em-pirism (Lundgren & Wallin, 1973). Nuläget känneteck
nas således av olika åsikter om hur utvärdering bör bedrivas och det förefaller rimligt att som Kelly (1972) förmoda att man i efterhand kommer att tala om denna tid som "the age of the great evaluation hoax".