Hälsa och samhälle
LÄRA FÖR ATT ANVÄNDA
EN FORSKNINGSÖVERSIKT OM HUR NYA
MEDIER KAN ANVÄNDAS VID ÅTERKOPPLING
AV UTVÄRDERINGSRESULTAT
REBECKA FORSSELL
LÄRA FÖR ATT ANVÄNDA
EN FORSKNINGSÖVERSIKT OM HUR NYA
MEDIER KAN ANVÄNDAS VID ÅTERKOPPLING
AV UTVÄRDERINGSRESULTAT
REBECKA FORSSELL
Författare: Forssell, Rebecka. Lära för att Använda: En forskningsöversikt om hur nya medier kan användas vid återkoppling av utvärderingsresultat. Learn in order to Use: A litterature review on the ability for new media to increase use of
evaluation findings. Examensarbete i Socialt arbete 30 poäng. Malmö högskola: Hälsa och Samhälle, enheten för Socialt arbete, 2009. Handledare: Birgitta Wanek. Malmö Högskola: Hälsa och Samhälle, enheten för Socialt arbete. Föreliggande uppsats är en forskningsöversikt där litteratur från områdena för utvärdering, lärandeforskning och kommunikation ligger till grund för att problematisera återkoppling av utvärderingsresultat. Den i särklass vanligaste formen för återkoppling av utvärderingsresultat är genom en skriven rapport, många gånger kompletterat med en muntlig presentation. Ett av syftena med denna uppsats är därför att vända bort blicken från denna instrumentella syn på hur ett användande kommer till stånd och i stället lyfta fram innovativa
återkopplingsformer. Uppsatsen har ett sociokulturellt perspektiv på lärande, vilket innebär att lärande och kunskap uppstår i relationer. Centralt för det sociokulturella perspektivet är att ta till vara på det informella lärandet som sker inom organisationen. I uppsatsen diskuteras därför hur nya medier, bland annat genom diskussionsforum på nätet, kan skapa interaktion och dialog mellan kollegor för att ta tillvara på den kunskap som genereras i dessa
praktikgemenskaper. Utifrån den litteratur som ligger till grund för
forskningsöversikten görs det gällande att nya medier kan bidra till att skapa ett lärande hos mottagarna, som i sin tur leder till ett användande av utvärderingars rekommendationer.
Nyckelord: Användning, nya medier, organisationslärande, utvärdering,
INNEHÅLLSFÖRTECKNING
1. INLEDNING ... 5
1.1 Syfte och frågeställningar... 6
1.2 Disposition ... 7
2. METODOLOGISKA ÖVERVÄGANDE ... 7
2.1 Forskningsöversikten... 7
2.2 Sökmetoder... 9
2.3 Inkluderingar och exkluderingar ... 10
2.4 Validitet och reliabilitet... 10
2.5 Epistemologi och metodologiskt perspektiv... 11
3. DEN DIGITALA TIDSÅLDERNS PARADIGM – EN BAKGRUND TILL NYA MEDIER... 12
3.1 Vad är nya medier? ... 13
3.2 Lära, en förutsättning för användning ... 13
4. ANVÄNDNING AV UTVÄRDERINGAR ... 14
4.1 Instrumentell eller konceptuell syn på användande ... 14
4.2 Från att använda till att influera ... 15
4.3 Spridning av utvärderingsresultat ... 16
4.3.1 Sprida genom mellanhänder – identifiera intressenter ... 17
4.4 Den skrivna rapporten och alternativa återkopplingsformer... 17
4.4.1 Alternativa återkopplingsformer ... 18
4.5 Kommenterar om användning och kritik mot rationella antaganden ... 19
5. ATT LÄRA AV UTVÄRDERINGSRESULTAT – EN FÖRUTSÄTTNING FÖR DESS ANVÄNDNING... 20
5.1 Systemstrukturellt perspektiv på organisationslärande och informationsöverföring ... 20
5.1.1 Ett systemstrukturellt perspektiv på feedback... 21
5.2 Sociokulturellt perspektiv på organisationslärande och dialogens roll i lärandet ... 22
5.2.1 Tyst kunskap ... 22
5.2.2 Praktikgemenskaper ... 23
5.2.3 Dialogens roll i lärandet ... 24
5.2.4 Ett sociokulturellt perspektiv på feedback ... 25
6. HUR KAN UTVÄRDERINGSRESULTAT FÖRMEDLAS SÅ DET LEDER TILL ETT ÖKAT ANVÄNDANDE? ... 26
7. DIALOG OCH LÄRANDE GENOM NYA MEDIER... 29
7.1 Interaktion... 29
7.1.1 Virtuella korridorer och diskussionsgrupper... 30
7.1.2 Informellt lärande och supportande strukturer ... 31
7.2 Meningsskapande reflektioner ... 32
7.3 Asynkron kommunikation ... 34
7.4 Spridning ... 34
8. FINNS DET VETENSKAPLIGT STÖD FÖR ATT NYA MEDIER KAN BIDRA TILL ETT ÖKAT ANVÄNDANDE AV UTVÄRDERINGSRESULTAT? ... 36
9. AVSLUTANDE DISKUSSION ... 39
”… use is the Achilles heel of evaluation practice”
(Preskill, 2008 s.133).
1. INLEDNING
Det finns en övergripande kritik mot utvärderingars bristande effekt på organisationer. Kritiken kan delas in i två led där det ena framhäver hur
utvärderingar används, det vill säga som en legitimerande funktion eller som en taktisk strategi för att vinna tid och undgå ansvar. Den andra kritiken som riktas mot utvärderingar är att utvärderingar nonchaleras och ignoreras, att beställaren helt enkelt inte tar del av rapporten (Vedung, 1998
)
. Att utvärderingar nonchaleras kan förvisso ha sin orsak i att de inte är till för att användas utan har som syfte att verka legitimerande eller taktiskt. Från utvärderares perspektiv liksom från verksamhetsutvecklarens är det dock en självklarhet att utvärderingars syfte är att komma till användning (Vedung, 1998). Men även med de godaste intentionerna brister användandet på så vis att utvärderingar allt för ofta inte används i avsedd utsträckning. Vad är då anledningen till detta? Utifrån tidigare forskning har tre områden lyfts fram som anledningar till bristande användning. Dels skuldbeläggs utvärderaren för att inte kunna tillhandahålla tillräckligt god kvalitet iutvärderingen. Dels läggs ansvaret på användarna och deras brister i kunskap, motivation och förmåga att ta till sig resultaten. Den tredje orsaken som framhålls som anledning till att utvärderingar inte används är att kommunikationen mellan utvärderare och användare brister (Karlsson, 1999).
Den första punkten, att tillgodose beställaren med en utvärderingsrapport av hög kvalitet, är något som varje utvärderare kan påverka och här finns mycket
kunskap att hämta från forskning i den akademiska världen. Föreliggande uppsats intresserar sig istället för de två andra punkterna. Det vill säga hur utvärderingar bör rapporteras, återkopplas och kommuniceras för att användarna ska kunna ta till sig resultaten. Formerna för att kommunicera ut utvärderingsresultat är tämligen innovationslösa på så vis att det är den skrivna rapporten, kompletterat med en muntlig presentation, som är den i särklass mest använda
återkopplingsmetoden. Att presentera rapporter på detta sätt härrör från ett
instrumentellt sätt att betrakta utvärdering eftersom det utgår från en föreställning om att utvärderingen automatiskt leder till användande. Nyttjandet av
utvärderingar härstammar följaktligen från en uppfattning om en spikrak process mellan resultat och användning (Vedung, 1998). Liksom forskning har sitt ursprung i ett positivistiskt synsätt har även utvärderingsforskningen rötter i en rationell syn på utvärderingar. Inom utvärderingsfältet har fler former än den instrumentella synen uppmärksammats i själva genomförandet av utvärderingar då bland annat processutvärderingar fått gehör. Processutvärderingar innebär att utvärderaren följer projektet från början till slut och fokuserar på den
underliggande process som framkommer genom att låta användarna interagera och vara delaktiga i utvärderingen. Genom delaktighet i processen är syftet att öka användandet (Mark & Henry, 2004). Fokus för denna uppsats är
utvärderingsarbetets slutskede och inte processen, men med inspiration av processteorins fynd gällande en ökad delaktighet i processen för att öka användandet, ställer jag mig frågan om det finns andra sätt att presentera
utvärderingsresultat än den skrivna rapporten för att stimulera till ett ökat användande. Uppsatsen utgångspunkt är därmed att vända bort blicken från en instrumentell syn på användande och istället lyfta fram hur kommunikationen av utvärderingsresultat kan stimulera till kognitiva förändringar, för att i sin tur leda till förändringar i handling.
Denna uppsats är en forskningsöversikt för att minska glappet mellan forskning och praktik. Ett av svaren på frågan om varför forskningsöversikter görs är således att sortera bland den rikedom av kunskap som finns för att kunna verka vägledande för praktiker (Tydén, 2001). I detta fall sträcker sig kunskapen för återkoppling över den egna akademins gränser då området för utvärdering har mycket att lära av kommunikation och organisationsforskningen. Ett av syftet med föreliggande forskningsöversikt är därför att integrera den forskning som finns inom de olika ämnesområdena. I bakgrund för uppsatsen ligger även två viktiga samhällsförändringar, förändringen mot ett kunskapssamhälle och förändringen mot ett informationssamhälle. Kunskapssamhället förändrar synen på allmänheten från att vara en allmänhet som ska ges färdiga lösningar till en allmänhet som uppmanas att vara delaktiga aktörer (Winther Jørgensen, 2008). Informationssamhället i sin tur skapar nya möjligheter för delaktighet. I
litteraturen om utvärdering går det att se att innovativa former för återkoppling av utvärderingsresultat kan skådas, om än i liten skala. Genom nya medier finns det möjlighet att återkoppla resultat genom att engagera användarna genom bloggar, chattfunktioner och diskussionsrum på nätet, men även genom att distribuera filmer där utvärderingsresultaten gestaltas genom konstnärliga uttryckssätt. Att utreda om det finns vetenskapligt stöd för en viss praktik är ytterligare ett motiv till varför en forskningsöversikt bör göras (Backman, 1998). Således är även ambitionen med uppsatsen att undersöka om denna nya innovativa praktik kan ges teoretiskt stöd utifrån den litteratur och forskning som finns inom området.
1.1 Syfte och frågeställningar
I föreliggande uppsats riktas intresse mot hur utvärderingsresultat bör
kommuniceras i sin slutfas, den kommunikation som behandlas är alltså den sista som sker i en utvärderingsprocess och kallas även återkoppling.
Processutvärdering där utvärderingsresultat kommuniceras i en interaktion mellan utvärderare och användare från projektets början till slut, utelämnas därför i detta arbete. Syftet med att lyfta fram just slutfasen är då jag uppfattar det som att det finns ett tomrum mellan utvärderingslitteraturen och praktiken. Trots att den instrumentella synen på utvärderingar, där utvärderingsresultat betraktas i ett rakt led mot handling, ifrågasätts i utvärderingslitteraturen är det fortfarande den skrivna rapporten, ofta kompletterad med en muntig presentation, som är den i särklass vanligaste formen för kommunikation av utvärderingsresultat. Syftet med uppsatsen är därför att beskriva, integrera och summera vad forskningen inom områdena utvärdering, lärandeforskning och kommunikation lyfter fram för strategier för att kommunicera utvärderingsresultat så att användningen ökar. Uppsatsen ämnar därför ta reda på: Hur kan utvärderingsresultat förmedlas så det
leder till ett ökat användande? Då ny teknologi ger ökade möjligheter för
kommunikation har uppsatsen även som syfte att ta reda på om kommunikationen av utvärderingsresultat genom andra former än den skriftliga rapporten kan öka användandet. Användningen av nya medier för att återkoppla utvärderingsresultat är en ny kanal som i sin linda används i ökande skala. Detta leder i sin tur fram till
uppsatsens andra frågeställning som lyder: Finns det vetenskapligt stöd för att nya
medier kan bidra till ett ökat användande av utvärderingsresultat?
1.2 Disposition
I föreliggande uppsats, som är en forskningsöversikt, har jag valt att följa den disposition som traditionella uppsatser har. I litteraturen om forskningsöversikter finns inget entydigt sätt om hur man bör disponera texten (Backman, 1998). Att jag valt det traditionella sättet för disponering beror på att jag anser att det finns en poäng i att läsaren blir insatt i uppsatsen tillvägagångssätt innan denne tar del av uppsatsens övriga delar. Av den anledningen kommer ett metodavsnitt att presenteras härnäst. I metodavsnittet presenteras och diskuteras hur jag gått tillväga för att ta fram de vetenskapliga texter som ligger till grund för uppsatsens slutsatser. I bakgrunden, som följer därefter, definieras nya medier. Begreppet, eller fenomenet som jag även skulle vilja kalla det, sätts även in i ett
samhällsperspektiv. Efter detta avsnitt har jag valt att presentera de teoretiska resonemang som forskningsöversikten genererat i tre olika kapitel. Efter de två första kapitlen som behandlar användning av utvärderingsresultat samt lärande organisationer besvaras den första frågan för uppsatsen som lyder – Hur kan
utvärderingsresultat förmedlas så det leder till ett ökat användande? Den sista
frågan för uppsatsen – Finns det vetenskapligt stöd för att nya medier kan bidra
till ett ökat användande av utvärderingsresultat? besvaras efter det sista
redogörande kapitlet i uppsatsen. Slutligen förs en diskussion om forskningsöversiktens fynd, där även de frågor jag har ställt mig under arbetsprocessens gång diskuteras.
2. METODOLOGISKA ÖVERVÄGANDE
2.1 Forskningsöversikten
Forskningsöversikten är en relativt ny, men en stadigt ökande, forskningsdisciplin (Backman, 1998). Att forskningsöversikter har blivit alltmer populärt förklaras med den ökade produktionen av kunskapsmassa som i sin tur skapar ett behov av översikter (a.a.). Då den skriftliga rapporten är den mest vanliga formen för att återkoppla utvärderingsresultat bland praktiker, har jag valt att göra en
forskningsöversikt för att lyfta fram andra metoder för återkoppling. Syftet är att integrera kunskaper inom olika ämnesområden och som jag nämnt tidigare har denna kunskap hämtats från områden för utvärdering, lärandeforskning och kommunikation. Kunskapen om hur utvärderingsresultat bör kommuniceras ut har även ett informativt värde för praktiker som arbetar med utvärderingar. Studier har visat att många praktikergrupper efterfrågar kunskapsöversikter för att orientera sig inom sitt område (Tydén, 2001). Ett annat syfte med
forskningsöversikter är att utreda användningen av en viss praktik (Backman, 1998). Denna forskningsöversikt har så även syftet att utreda om det finns vetenskapliga belägg för att nya medier kan öka användningen av
utvärderingsresultat.
Det finns olika typer av översikter såsom litteraturöversikter, kunskapsöversikter och forskningsöversikter. Litteraturöversikten har vanligen som ambition att ge en heltäckande bild av vad som finns på området och saknar ofta den analytiska ambition som forskningsöversikten har (Backman, 1998, Tydén, 2001). Den andra
typen av översikt, kunskapsöversikten, påminner om forskningsöversikten men skillnaden mot forskningsöversikter är att den inkluderar ”grå litteratur”, det vill säga litteratur som inte baseras på forskning som publicerats i vetenskapliga tidskrifter, i rapportserier från forskningsinstitutioner eller som har presenterats vid vetenskapliga konferenser. Forskningsöversikten däremot baseras uteslutande på en vetenskaplig grund (Tydén, 2001). Forskningsöversikter har olika syften, inriktningar, omfattning och perspektiv (Backman, 1998). Syftet med denna forskningsöversikt är som jag skrev ovan att vara integrerande, men även att söka kunskap om en viss praktik. Inriktningen är teoretisk och det är teoretiska
resonemang som jag söker i litteraturen snarare än forskningsresultat och
empiriska tillämpningar. Anledningen är att det finns få empiriska studier gjorda inom utvärderingsforskningen överlag (Mark & Henry, 2004) och i synnerhet gällande nya medier och återkoppling av utvärderingsresultat. Gällande
omfattning är ambitionen inte att vara heltäckande eftersom jag anser att det inte går att bortse från svårigheten i att täcka in alla områden. Svaren på uppsatsens frågeställning är ämnesöverskridande på så vis att det inte endast är litteratur hämtat från utvärderingsforskningen som ligger till grund för svaren.
Omfattningen är därför snarare representativt då jag fångar upp de resonemang och argument som kan riktas mot frågeställningen. Slutligen är ansatsen neutral då ambition är att inkluderar såväl resonemang som talar för som talar emot i min framställning. Inom forskningsöversiktstraditionen riktas dock uppmärksamhet mot det som kallas ”publication bias” och syftar på att forskare övervägande väljer att publicera studier som uppvisar positiva resultat och som stödjer en hypotes (Backman, 1998). Då den insamlade litteraturen bygger på teoretiska resonemang menar jag att uppsatsens slutsats inte påverkas i samma grad som om uppsatsen skulle bygga på empiriska resultat. Däremot bör det tas i beaktning att det finns en möjlig risk att forskare har större benägenhet att argumentera för något de brinner för, och alltså framföra positiva resonemang kring nya medier i lärandeprocessen. Bland mitt insamlade material är det heller ingen som
argumenterar emot nya mediers förmåga att skapa en lärandeprocess. Eftersom syftet är att framföra teoretiska resonemang och inte väga fördelar och nackdelar för att komma fram till en slutsats, menar jag dock att detta inte är något som påverkar uppsatsens giltighet.
Det finns två olika sätt att göra en forskningsöversikt på. Dels kan studierna kombineras och dels kan de jämföras. En kombinatorisk forskningsöversikt har som avsikt att beskriva, summera och integrera den forskning som finns på området. En jämförande, eller komparativ, forskningsöversikt förklarar likheter och olikheter mellan olika studier (Backman, 1998). Denna forskningsöversikt är kombinatorisk, ambitionen är på så vis att fånga upp de teoretiska resonemang som jag har fått fram genom mina sökningar och som kan besvara frågorna för uppsatsen. Som jag påpekat tidigare är forskningsöversikten ämnesövergripande, de teoretiska resonemangen är hämtade från områden för utvärdering, lärande forskning och kommunikation. Forskningsöversikten är på så vis tydligt integrerande eftersom teoretiska resonemang från de olika ämnesområdena har integrerats för att kunna besvara uppsatsens frågeställningar. Slutligen innebär uppsatsens summerande perspektiv att slutsatser dras utefter de teoretiska
tankegångar som lyfts fram i uppsatsen. Den summerande aspekten framkommer på så vis i uppsatsen slutsatser.
2.2 Sökmetoder
I en teoretisk litteraturgenomgång är det viktigt att söka brett, framförallt när området för materialinsamling sträcker sig över olika vetenskapliga discipliner (Medin & Alexandersson, 2000). Forskningsöversiktens material har därför samlats in på tre olika sätt; genom olika databaser, genom genomgång av
referenslistor från annan litteratur, samt genom kontakter med människor som är insatta i området. De databaser som använts är Academic Search Elite, ERIC, SAGE journals online och Libris. Academic Search Elite är en
ämnesövergripande databas och gav några få relevanta träffar som har inkluderats i forskningsöversikten. ERIC tillhandahåller pedagogiska artiklar och har används för att få fram artiklar som behandlar kommunikation och lärande. Den mest använda databasen har varit SAGE journals online. Även SAGE journals online är en allmän databas och innehåller en mängd tidskrifter däribland American
Journals of Evaluation och Evaluation som är två framträdande tidskrifter inom utvärderingsforskning. De sökord som använts är; evaluation findings, evaluation outcomes, evaluation results, research dissemination, dissemination,
communication, use, utilization, media, Internet, Web. Sökorden har använts i olika kombinationer och som framgår ovan är många av de ovanstående orden synonymer. Genom synonymerna kunde jag undvika att missa intressanta artiklar som valt ett annat ord och genomfördes genom att använda sökfunktionerna1 or mellan synonymerna, exempelvis Internet or Web.
Vid en senare insamlingsfas kompletterades även sökningen med sökorden lärande och informationsteknologi. Eftersom syftet med forskningsöversikten är att fånga upp teoretiska resonemang och inte göra en kartläggning över hur kunskapsläget ser ut anser jag att tillvägagångssättet inte påverkar
insamlingsmetodens reliabilitet. Begreppet reliabilitet ska förklaras senare i detta avsnitt, men i korthet kan det nämnas att begreppet syftar på forskningens
pålitlighet gällande datainsamling. Tillvägagångssättet som jag använt i
insamlingen menar jag istället gav en fördjupning till de teoretiska resonemang som den första sökningen gav. Libris har använts för att söka efter svenska avhandlingar, sökorden som jag angav ovan översattes då till svenska. Libris har jag även använt för att söka upp svenska referenser som jag fått genom andra lästa källor. Som jag skrev ovan är genomgång av referenslistor ytterligare ett
metodsätt jag använt för att få fram relevant litteratur. Tillvägagångssättet går att kallas för ett snöbollsurval där en källa till kunskap, exempelvis en artikel, leder till ny kunskap i form av exempelvis en ny artikel (Esaiasson m.fl. 2007). Ibland kan snöbollsurvalet vara nödvändigt för att göra en undersökning men det finns även en risk med tillvägagångssättet då urvalet kan bli skevt på så vis att det endast skildrar ett perspektiv (Esaiasson m.fl. 2007). För att förhindra att detta ska uppstå har jag balanserat referenssökningarna med databassökningarna så att referenssökningarna inte överväger insamlingen av urvalet. Slutligen har ytterligare en källa för litteraturinsamlingen varit genom min handledare som tipsat mig om en artikel samt genom en kontakt på Malmö Högskolas enhet för kompetensutveckling och utvärdering där jag kommit i kontakt med ett par artiklar.
1 Sökfunktion är en möjlighet till avgränsning eller inkludering som gör träffarna i sökmotorerna mer precisa.
2.3 Inkluderingar och exkluderingar
Både i mina sökningar i databaser och i referenslister har det första
inklusionskriteriet varit titeln. Om titeln varit intressant har jag gått vidare och läst abstract i de fall detta varit möjligt, vilket det varit i de allra flesta fall. Om
artikeln tyckts fånga in problemområdet för uppsatsen har denna skrivits ut, därefter har det slutliga urvalet av artiklar gjorts när jag har haft hela det
insamlade materialet framför mig. Vid läsning av referenslistor har det som sagt även varit titeln som fångat mitt intresse men här har också uppmärksamhets givits när en författare hänvisar till en annan författare för djupare diskussion. Forskningsöversikten utgörs av böcker, avhandlingar, andra forskningsöversikter, rapporter men framförallt vetenskapliga artiklar. För att en artikel ska bedömas som vetenskaplig krävs att den har publicerats i en internationell, vetenskaplig och referee-bedömd tidskrift (Medin & Alexandersson, 2000). Referee-bedömd, eller peer-review som det också kallas, innebär att publikationen är granskad av en eller flera forskare inom samma område. Alla artiklar hämtade från SAGE journals online är peer-reviewed och i Academic Search Elite samt i ERIC begränsade jag mina sökningar till att endast innefatta sådana artiklar.
I sökningarna i SAGE journals online visade det sig att många av de artiklar som behandlade utvärdering och användning ofta höll diskussionen kopplat till
programteori, eller processteori som den typen av följeutvärdering även kallas. Då denna uppsats intresserar sig för återkoppling av slutresultat har jag exkluderat de artiklar som endast behandlat processen, däremot har jag inkluderat de artiklar som lyfter fram både process och slutskede om jag anser dem vara relevanta för mitt problemområde. Som jag skrev inledningsvis anser jag att diskussionerna om delaktighet som är kopplat till programteori kan vara av relevans även för
återkoppling av andra typer av utvärderingar.
2.4 Validitet och reliabilitet
Med validitet menas om undersökningen mäter det som avses att mätas (Esaiasson m.fl. 2007
)
. Validitet handlar därför om huruvida det insamlade materialet är giltigt samt om det insamlade materialet anses relevant i förhållande till syfte och frågeställningar (Halvorsen, 1992). Då de databaser jag använt för att samla in mitt material är baserade på det engelska språket har det inneburit att även sökorden varit på engelska. Att sökorden är korrekta är kritiskt för att få ett material som ringar in forskningsöversiktens problemområden ochfrågeställningar. Innan jag började söka i databaser hade jag kommit i kontakt med ett par artiklar från en kontakt på Malmö Högskolas enhet för
kompetensutveckling och utvärdering, vars huvudsakliga arbetsuppgift är att arbeta med just utvärderingar. En av dessa artiklar var på engelska och gav mig därför en introduktion till vilka de engelska facktermerna är för
utvärderingsområdet. Att dessa termer är korrekta bekräftades även senare vid läsandet av de artiklar som jag samlade in i databassökningarna, där definitioner av termerna görs. Att termerna är gällande inom utvärderingsforskningen
bekräftades även genom att den litteratur som jag fann i referenslistorna använde samma termer. Söktermerna breddades under litteraturinsamlingens gång och i takt med att jag fick större kunskap om området. Detta, liksom det faktum att jag även sökt litteratur genom referenslistor, har bidragit till att jag kunnat undvika att
hamna i en cirkel där träffarna bekräftar varandra och där jag hamnar i en rundgång.
Reliabilitet, som är validitetens parhäst gällande forskningsmetodologi, syftar på hur pålitliga resultaten är (Halvorsen, 1992). Ett kritiskt område gällande
reliabiliteten i en forskningsöversikt anser jag vara att forskaren tolkar andras forskares teorier eller empiriska resultat. Reliabilitet syftar just på slumpmässiga och osystematiska fel och bristande reliabilitet orsakas genom bland annat slarv i datainsamlingen (Esaiasson m.fl. 2007). Eftersom en tolkning görs är det viktigt att resultat eller slutsatser inte lyfts ur sitt sammanhang. I forskningsöversiktens analys har jag därför varit noggrann med att se varje argument som författaren gör i relation till den övergripande slutsats som författaren framför. I en
forskningsöversikt används ofta kodningsscheman för att sortera bland den
insamlade litteraturen (Backman, 1998). I denna forskningsöversikt har jag valt att inte upprätta ett kodningsschema då jag inte undersöker litteraturens giltighet eller forskarens tillvägagångssätt utan istället samlar in de teoretiska resonemang som finns i litteraturen.
2.5 Epistemologi och metodologiskt perspektiv
Föreliggande forskningsöversikt är hermeneutisk i sin ansats. Hermeneutik syftar på läran om läsning och tolkning (Esaiasson m.fl. 2007) och diskussionen som jag förde ovan angående validitetsproblematiken i att tolka andra författares artiklar, är på så vis en diskussion som finns inom hermeneutiken. Inom hermeneutiken ryms en diskussion om forskarens förförståelse och problematiserar produktionen av objektiv vetenskap (a.a.). Att kunna säkerställa att min tolkning av artiklarna är fri från subjektiva inslag anser jag vara svårt men då perspektivet för uppsatsen är kvalitativt följer jag de riktlinjer som finns inom det kvalitativa perspektivet. Det kvalitativa perspektivet betraktar verkligheten som en individuell, social och kulturell konstruktion (Backman, 2008). Individen, liksom forskaren, är därför medskapare i sin omvärld. Med detta menas att det inte går att separera forskaren från omvärlden och av den anledningen menar man att det inte går att studera en objektiv verklighet (a.a.) I uppsatsen är utgångspunkten för hur ett lärande kommer till stånd tolkat utifrån ett sociokulturellt perspektiv som i sin tur härstammar från en socialkonstruktivistisk syn på lärandet. Uppsatsen problematiserar på så vis det instrumentella synsättet som finns gällande
återkoppling av forskningsresultat och betonar istället hur kunskap konstrueras i sammanhang med andra.
Den kvalitativa forskningsansatsen som utgör uppsatsen, gör på så vis inte anspråk på att vara generell, likaså ska heller inte uppsatsens slutsatser betraktas ur ett rationellt perspektiv på så vis att det finns en metod för återkoppling som gäller i alla kontexter och för alla målgrupper. Föreliggande forskningsöversikt ska därför inte tolkas som ett recept för hur utvärderingar ska återkopplas i alla situationer, utan som ett bidrag till en innovativ syn på återkoppling av
3. DEN DIGITALA TIDSÅLDERNS PARADIGM –
EN BAKGRUND TILL NYA MEDIER
Att Internet har förändrat samhällstrukturen beträffande kommunikation är svårt att ifrågasätta. Hur stor inverkan och vilka förändringar detta inneburit råder det dock delade meningar om. Christer Sturmark och Ulrik Brandén (2001) menar att de förändringar som Internet har lett till gör att det går att tala om ett
paradigmskifte, från ett industrisamhälle till en digital tidsålder. Med paradigmskifte menas ett mönster som styr det vetenskapliga tänkandet. I
samband med ett paradigmskifte ersätts de gamla föreställningarna, normerna och värderingarna med det nya paradigmets ”sanningar” (a.a.). Även om paradigm i grund och botten handlar om vetenskapsteori, används begreppet ganska ofta för att förklara olika samhällsfenomen (Thurén, 2008). Således är detta något som Sturmark och Brandén gör när de hävdar att samhället gått in i en digital tidsålder. Eller mer korrekt menar Sturmark och Brandén (2001) att samhället befinner sig i brytpunkten mellan industrisamhället och en digital tidsålder, vilket är en tid av tvekan och ifrågasättningar gentemot det ersättande paradigmet. Det är
möjligheterna till interaktivitet som ovanstående författare menar är grunden till den samhällsförändring som de identifierar. Möjligheten till interaktion världen över menar de påverkar såväl förutsättningar för demokrati, ekonomi, kultur, miljö, välfärd och utbildning (a.a.). Det är det sistnämnda området som denna uppsats kommer att dröja sig kvar vid. Som nämndes inledningsvis finns det även de som menar att samhället numera präglas av ett kunskapssamhälle. Roger Säljö (2000), som är professor i pedagogik, menar att information och
kunskapssamhället förändrar såväl de praktiska förutsättningarna för lärande såväl som synen på vad lärande innebär. Med de praktiska förutsättningarna syftar Säljö på teknikens möjligheter till lärande. Den starkt rotade synen på
klassrumsundervisning menar Säljö härstammar från en tid där boken var en bristvara. Säljö skriver: ”Man kan hävda att möjligheterna till interaktivitet som
finns i datorn, möjligheterna till kommunikation och tillgången till information, utgör det första allvarliga hotet mot den traditionella klassrumsinteraktionen som vi känt den i tusentals år ” (Säljö, 2000 s 246). Som nämndes tidigare menar även
Säljö att synen på lärande har förändras. Detta har att göra med att lärandet inte längre slutar med grundskola och formell utbildning utan att lärande i
kunskapssamhället ses som ett livslångt projekt (a.a.).
Kunskapssamhället präglas även av en ny syn på vetenskap (Winther Jørgensen, 2008). Standardberättelserna, de stora berättelserna där vetenskapsmännen har ensamrätt, har kommit att utmanas av en postmodern syn på vetenskap där
vetenskapens auktoritet ifrågasätts (a.a.). Vidare menar Winther Jørgensen (2008) att allmänheten i allt större utsträckning blir en del av vetenskapen men även i samhället i stort. Tv-tittare, konstpublik och elever, är grupper som tidigare varit passiva mottagare av information men som i allt större mån blivit medskapande aktörer. Detta är i sin tur något som går att bevittna ibland annat samhällsprogram på tv, där tittare uppmanas att ta del av debatten genom att skicka sms eller genom att chatta. Lekmännen har på så vis kommit att involveras i områden som tidigare endast var förpassat experter (a.a.).
Huruvida samhället gått in i ett nytt paradigm eller inte, kommer inte att
diskuteras närmare här. Ovanstående genomgången är istället för att lyfta fram de samhällsströmningar som ändå går att beskåda, det vill säga övergången mot ett informations- och kunskapssamhälle. Internets genomslagskraft och den
interaktion människor emellan som Internet ligger till grund för är svår att undgå. Diskussionsforum eller sociala nätverk på webben är konkreta exempel på hur digitalisering lett till nya former för kommunikation. Facebook är således ett sådant exempel som dubblerar sitt användarantal var sjätte månad, vilket innebär 100 000 nya användare per dag (Preskill, 2008). Nya siffror pekar på så vis att Facebook, i slutet av 2007, hade 50 miljoner aktiva användare och enligt
undersökningen loggade hälften av dessa in på Facebook minst en gång om dagen (a.a.). Sociala nätverk på webben kan utifrån dessa siffror konstateras engagera människor på deras fritid. Uppsatsens fokus gäller dock organisation och arbetsliv. Utifrån en amerikansk studie gjord på 323 organisationer framkom så även att 55 % av deltagarna i studien menade att de använder nätverkssajter för att diskutera arbetsrelaterade erfarenheter med kollegor. Samt att 49 % av deltagarna använder nätverken för att få svar på frågor som uppkommer i deras arbete (a.a.). Statistiken som lyfts fram här syftar till att lyfta fram teknikens roll i samhället. I uppsatsen är således ett av syften att reda ut om nya medier kan stimulera till ett ökat användande av utvärderingar. Men vad är då nya medier? Facebook och diskussionsforum som har redogjorts för nyligen är en del av det begrepp som kommit att kallas just nya medier, men eftersom begreppet är mer komplext och rymmer fler dimensioner förtjänas begreppet att definieras närmre.
3.1 Vad är nya medier?
Medier går att åtskilja utifrån tre olika grader. För att kunna definiera nya medier ska jag därför börja med att definiera medier. Den första graden av medier syftar på verbalt eller icke-verbalt språk, och det är även den form av förmedling av kunskap som användes före skrivkonstens utveckling (Heide, 2005). Kunskapen som förmedlas av den första graden av medier är därför starkt begränsad i tid och rum och förmedlas i huvudsak muntligt. Andra graden av medier är tekniska medier och uppstod i och med skrivkonstens utveckling. Genom böcker var kunskap inte längre bundet till geografiska platser vilket ökade dess spridning. Ett annat exempel på tekniskt medium är telegrafen som även den öppnade upp för spridning av kunskap över geografiska gränser. Den tredje gradens medier är digitala medier, och det är även den typ av medier som den här uppsatsen kommer att behandla. Digitala och elektroniska medier, även kallat nya medier,
överbrygger tid och rum. Dessutom möjliggör digitala medier för interaktion och samtal genom virtuella gemenskaper. Informationstekniker som e-post,
diskussionsgrupper och webbsidor är på så vis exempel på nya medier (a.a.). Nya medier syftar på så vis på alla de typer av kanaler som digitala medier gör möjligt, men nya medier innefattar även digitala medier i en kombination med analoga medier, såsom exempelvis dagstidningar på nätet (Reimer & Severson, 2008). Utmärkande för nya medier är dock att de ska ha en teknisk potential för interaktivitet och medskapande, bilden av nya medier kan därför förtydligas genom att inkludera bloggar, virtuella världar, multimedia cd-rom och interaktiv tv (a.a.).
3.2 Lära, en förutsättning för användning
I uppsatsen behandlas hur det går att stimulera till användande av
utvärderingsresultat utifrån ståndpunkten att människor måste lära för att kunna handla. Preskill skriver: “Although there are many definitions of learning, most
suggest that learning is inextricably linked to change - changes in thinking, changes in behavior, and/or changes in beliefs” (Preskill, 2008 s 129). Uppsatsen
baseras på så vis på ett antagande om att mottagaren måste lära av
utvärderingsresultaten för att kunna handla efter dess rekommendationer, och därmed använda sig utav utvärderingen. Föreliggande uppsats fokuserar på hur återkoppling kan stimulera till ett lärande. Som skrevs inledningsvis är
återkoppling av utvärderingsresultat ett tämligen oproblematiserat område. Däremot är användande ett utforskat område inom utvärderingsforskningen. I nästa avsnitt ska forskningsöversikten därför inledas med att presentera olika typer av användning av utvärderingsresultat.
4. ANVÄNDNING AV UTVÄRDERINGAR
När användande diskuteras är det viktigt att definiera vad för användande av utvärderingsresultat åsyftas. Inom området för utvärderingen går det att betrakta användande från olika perspektiv. Utifrån ett instrumentellt sätt att betrakta användande går det inte att tala om ett användande förrän det har skett en förändring i handling. Detta perspektiv står i motsats till ett konceptuellt betraktande av användning som menar att en förändring i tanke till följd av en utvärdering är en form av användande även om det inte visar sig i handling (Vedung, 1998). Förutom denna traditionella indelning över hur användande betraktas inom området för utvärdering, ska kapitlet även presentera Mark och Henrys teori om influerande mekanismer. Slutligen följs en diskussion om den skrivna rapporten och den typ av användande som denna riktar sig mot.
4.1 Instrumentell eller konceptuell syn på användande
Det instrumentella perspektivet på användande av utvärderingar har under en lång tid varit det sätt man betraktat användandet utifrån, detta har i sin tur inneburit att överföringen mellan utvärderingsresultat och handling har betraktats som en automatisk övergång. Tankegången i det instrumentella perspektivet bottnar på så vis i en syn på kunskap och vetenskap som det objektivt sanna och av den
anledningen har uppfattningen varit att berörda personer i utvärderingen anammar och implementerar utvärderingsresultaten i verksamheten utan att ifrågasätta eller utan påverkan av faktorer i omgivningen (Vedung, 1998). Att det sker en
automatisk övergång mellan utvärderingsresultat och handling har dock kommit och kritiseras och är idag en syn som inte tas för given på samma sätt som tidigare (Vedung, 1998). Ett annat sätt att betrakta användning är att utvärderingsresultat leder till en förändring i tanke. Denna syn på användande är relativt vanlig idag och företräds av den konceptuella synen på användande. Den konceptuella synen på användande ser alltså till den förändring som sker i tanke som en följd av att ha läst eller mottagit en utvärderings resultat. Ett konceptuellt perspektiv, eller ett upplysande perspektiv som Evert Vedung väljer att kalla det, innebär att användandet inte förutsätts leda till förändring i handling vilket är
bedömningskriteriet i förgående perspektiv på användning. Istället tar det konceptuella perspektivet fasta på just utvärderingens upplysande effekt, det vill säga hur utvärderingen leder till nya insikter, hur nya problem blir belysta och hur ökad förståelse skapas för det projekt eller den verksamhet som har utvärderats (Vedung, 1998). Både instrumentellt och konceptuellt användande syftar dock på en förändring, men medan det instrumentella perspektivet eftersträvar en
förändring i handling sker förändringen i det konceptuella perspektivet i tankar och känslor (Mark & Henry, 2004).2
4.2 Från att använda till att influera
Medan en utvärdering som används instrumentellt har direkt inflytande i
beslutsfattandet innebär den konceptuella synen på användning, att användandet sker när utvärderingen påverkar användarna eller beslutsfattarnas sätt att tänka, utan att det för den skull resulterar i en direkt handling. Eftersom konceptuell användning kan leda till handlande efter en tid är denna uppdelning inte
oproblematisk (Nydén, 1992). Således är det heller inte ovanligt att användningen av utvärderingsresultaten visar sig på längre sikt (Karlsson, 1999). Som det här tidsdilemmat ger exempel på, har uppdelningen och definitionen av
användningsbegreppet inom utvärderingsforskningen kommit att ifrågasättas under de senaste åren. Likaså görs ett ifrågasättande av den traditionella
uppdelningen på synen av användandet för att den inte problematiserar, förklarar eller gör skillnad på var i organisationen användandet sker. Det vill säga om utvärderingsresultaten nyttjas av enskilda individer inom organisationen eller om användningen sker kollektivt (Karlsson, 1999, Vedung,1999
).
I Mark och Henrys (2004) artikel ”The mechanism and outcomes of evaluation
influence” kritiseras den traditionella uppdelningen och kategoriseringen av
användande.. I artikeln breddas och fördjupas istället synen på användandet genom att lyfta fram hur utvärderingar kan influera till såväl kognitiva och beteendemässiga förändringar på olika nivåer inom en organisation. Genom att fokusera på hur utvärderingar kan influera mottagarna istället för att fokusera på huruvida och på vilket sätt en utvärdering används begränsas heller inte synen på användandet till tid och rum (Lawrence m. fl., 2007). Genom att uppmärksamma och stimulera underliggande mekanismer som influerar och skapar processer menar Mark och Henry att ett användande av utvärderingsresultat kommer till stånd på sikt och på olika håll i organisationen. Med att en organisation blir influerad på olika håll menas att förändringar sker på såväl individuell nivå som organisationsnivå. Genom att underliggande mekanismer stimuleras skapas en process som överbrygger dessa nivåer med ett mellangripande, interpersonellt led. På liknande sätt menar författarna även att de förändringar som kan ske kan vara såväl kognitiva som syftar på förändringar i tanke, som beteendemässiga som syftar på handling (Mark & Henry, 2004). Utöver det menar Mark och Henry att förändringar även kan skapas gällande motivation men denna aspekt på förändring kommer jag att utelämna här. Nedan följer ett exempel från Mark och Henry om hur denna process går till (Mark & Henry, 2004 s 42-43):
2 I uppsatsen är det de två perspektiven instrumentell och konceptuell syn på användande som kommer att
behandlats. Ett tredje perspektiv på användning är det argumenterande perspektivet, som i litteraturen även kallas symbolisk eller politisk användning. Då detta tredje perspektiv inte handlar om faktiskt användning utan snarare hur en utvärdering kan användas legitimerande, taktiskt eller rituellt för att legitimera en verksamhet eller försvara en verksamhet mot kritik utelämnas detta perspektiv i uppsatsen (Nydén, 1992, Vedung, 1998). Ytterligare ett perspektiv på användande som inte kommer att kommenteras nämnvärt i uppsatsen är det interaktiva perspektivet (Ibid). Även, som ska ses senare, uppsatsen förespråkar en
interaktivitet med forskningsresultatet, syftar det interaktiva perspektivet på användning som en kontinuerlig interaktion från utvärderingens början till slut. Som nämnts tidigare avser denna uppsats utvärderingens slutfas, det vill säga levereringen av utvärderingens resultat.
1. En individ uppmanas att djupgående fundera över det projektet som har utvärderats vilket leder till:
2. att medarbetarens attityd till programmet blir mer positivt vilket i sin tur leder till:
3. att medarbetaren tar på sig rollen som förändringsagent i organisationen vilket möjligen leder till:
4. att utvärderingsresultatet leder till ett omprövande av organisationens policy, vilket i bästa fall leder till:
5. en förändring på organisationsnivå.
Mark och Henrys teori syftar till att förklara hur mekanismer bör stimuleras för att sätta igång olika processer i organisationer genom utvärderingar. Utifrån Mark och Henrys teori om influerande mekanismer menar jag att det går att hävda att om en utvärdering ska verka influerande inom organisationen och sätta igång processer över tid och rum som sedermera leder till förändring i tanke och i handling krävs det att utvärderingar görs synliga. För att intressenter och
potentiella användare ska bli medvetna om att utvärdering görs eller har gjorts är det därför av vikt att utvärderingsresultatet sprids.
4.3 Spridning av utvärderingsresultat
Att användandet av utvärderingsresultat är direkt beroende av att
utvärderingsresultaten kommer mottagaren till känna kan uppfattas som ganska självklart. För att ett utvärderingsresultat ska ha inflytande i en organisation måste informationen nå ut till mottagarna (Lawrenz, Gullickson & Toal, 2007, Dal Santo, Goldberg, Choice & Austin, 2002). Trots det självklara ledet mellan spridande av utvärderingsresultat och användning har lite uppmärksamhet givits till återkoppling som ett sätt att öka användningen. Likaså har endast en ringa mängd uppmärksamhet givits olika kommunikationsformer för att återkoppla utvärderingsresultat (Lawrenz m.fl. 2007). Spridningsinriktade strategier inom fältet för utvärdering handlar framförallt om hur en rapport görs användarvänlig, vilket innebär rekommendationer över hur en rapport kan framställas på ett sätt som gör den tilltalande och läsvänlig (Vedung, 1998). Strategier för att sprida utvärderingsresultat är alltså i stor mån begränsat till att gälla den skrivna rapporten och som jag skrev inledningsvis ligger detta utanför denna forskningsöversikts område.
I den litteratur om utvärdering och återkoppling som jag tagit del av har ett exempel på återkoppling, som inte gäller den skrivna rapporten, lyfts fram. Alternativet som har framkommit i litteraturen är en metod som går ut på att tillsätta ett mellanled av personer som fungerar som mellanhänder mellan utvärderaren och övriga användare. Vedung kallar metoden för
mellanhandsmetoden (Vedung, 1998). Att tillsätta mellanhänder för att sprida utvärderingsresultat i organisationen kan på så vis hävdas ligga i linje med hur Mark och Henry menar att förändringar kommer till stånd inom organisationer. Eftersom Mark och Henry menar att en förändring på individnivå sprids till övrig organisation genom ett mellanliggande led.
4.3.1 Sprida genom mellanhänder – identifiera intressenter
Att göra intressenter delaktiga i utvärderingen är en återkommande strategi i litteraturen (Patton, 1997, Rossi & Freeman, 1993, Lawrenz, 2007) Att involvera intressenter menas att identifiera de personer som på olika sätt blir berörda av en utvärdering och bemöta deras önskemål. Intressenter kan därför vara såväl brukare som tar del av de tjänster som en verksamhet erbjuder, som beställare av utvärderingen eller handläggare som arbetar i den verksamhet som utvärderas (Patton, 1997, Vedung, 1998). Listan på intressenter kan vara lång, Vedung själv identifierar upp till 14 olika typer av tänkbara intressenter i boken ”Utvärdering i
politik och förvaltning” (Vedung, 1998). Med risk för att en presentation av alla
tänkbara intressenter kan förvirra läsaren väljer jag här att endast identifiera de intressenter som lyftes fram ovan.
Genom att involvera intressenter görs utvärderingen mer användarvänlig eftersom den svarar mot de behov och intressen som intressenterna har. I diskussionerna om att göra intressenter delaktiga är det dock inledningsfasen, eller själva genomförandet, som står i fokus och återkopplingsfasen lämnas ofta åt sidan. Mellanhandsmetoden som presenterades tidigare och som innebär att tillsätta en grupp aktörer som sprider utvärderingens resultat i verksamheten är ett sätt att sprida information till intressenter. Men liksom den skrivna rapporten utgår metoden från att informera fram en förändring. Att informera fram förändringar är något som uppsatsen lite längre fram kommer att problematisera och rikta en del kritik emot.
4.4 Den skrivna rapporten och alternativa återkopplingsformer
”En utvärderingsrapport som fyller alla krav på noggrann redovisning av utvärderingens planering, uppläggning och genomförande, redovisning av alla resultat osv. har alla chanser att bli en oläst rapport.”
(Åke Jerkedal, 2001 s 77) Att inte problematisera den skrivna rapportens förmåga eller oförmåga till att förändra attityd eller handling hos mottagaren menar jag följer ett instrumentellt perspektiv på användandet. Det instrumentella perspektivet förutsätter att läsandet leder till de förändringar som utvärderingen rekommenderar i en automatisk och mycket rak process. För att en överföring av information ska leda till en
förändring i handling krävs först och främst att utvärderingsrapporten blir läst, därav de spridningsriktade strategiernas fokusering på att göra
utvärderingsrapporten användarvänlig. Frågan är dock om detta räcker, läses rapporterna överhuvudtaget och är det skrivna ordet alla gånger det bästa sättet att återkoppla kunskap? Och framförallt, är läsandet av en rapport det samma som att implementera dess rekommendationer? Under många år har uppfattningen varit att forskningsresultat ska presenteras genom en rapport då överföringen mellan rapporten och handling har tagits som självklar (Dal Santo, Goldberg, Choice, Austin, 2002). Under senare tid har alternativa återkopplingsformer fått gehör och exempel på dessa kommer att presenteras längre fram. Först ska det kort
diskuteras vad det är i det traditionella återkopplingssättet som talar emot att dessa leder till ett användande, eller mer precist en förändring i tanke eller handling.
Rossi och Freeman (1993) hävdar att de flesta utvärderingar endast läses av utvärderarnas kollegor och sällan av intressenterna själva. Detta menar de kan
vara orsakat av att rapporter oftast är svårlästa samt att intressenter inte är vana att läsa omfångsrika dokument. Som framgått ovan är det också denna kritik som de spridningsinriktade strategierna tar fasta på, genom att fokusera på hur
utvärderingsrapporter kan göras mer läsvänliga. Det finns dock även andra orsaker som ligger till grund för att en utvärdering inte blir läst viket kan vara att intressenterna inte anser sig ha tid att läsa tunga rapporter eller att intressenterna inte har tillräckligt med kunskap för att förstå dem (Rossi & Freeman, 2001). Medan Rossi och Freeman menar att det främst är rapporter som är tekniskt krångliga som kan vara svåra att ta till sig av intressenter menar Marianne Winther Jørgensen (2008) att det finns en allmän problematik i att återkoppla forskning till en utom-akademisk publik. Traditionellt sätt menar hon, har vetenskapsförmedlingen betraktat allmänheten som en ovetande, tom massa som ska fyllas med kunskap. Men alltefter samhällets övergång mot ett
kunskapssamhälle har synen på allmänheten ersatts av en syn där allmänheten förutsätts vara delaktiga i kunskapsproduktionen. Medan Winther Jørgensens resonemang om hur kunskapssamhället förändrar synen på allmänheten och inkluderar allmänheten i kunskapsproduktionen, vill jag istället lyfta fram
mottagarnas, det vill säga användarna och intressenternas, roll i att implementera kunskapen. Genom att betrakta användarna som implementörer förstärks deras roll i återkopplingen av utvärderingsresultat vilket gör denna grupp viktig i återkopplingen. Mottagarna kan vara såväl akademiker som icke-akademiker, det jag gör gällande här är att den akademiska kunskap som utvärderingsrapporten företräder inte ska tas som självklar även för användarna. På samma sätt menar Lawrence m.fl. (2007) att det inte är tillräckligt med en enda rapport om en utvärdering ska bli använd, utan att en utvärdering bör generera ett flertal olika rapporteringsformer för att matcha utvärderingens olika intressenter. Med detta resonemang menar författarna även att den skrivna rapporten fortfarande är en viktig form för rapportering eftersom den innehåller detaljerad information om resultaten och efterfrågas av en del av intressenterna. Även Winther Jørgensen (2008) förespråkar alternativa återkopplingsformer för att bemöta andra målgrupper än den akademiska. Eftersom Winther Jørgensen menar att
vetenskaplig kunskapsproduktion privilegierar akademisk kunskap över annan lyfter hon fram rapporteringsformer som inte nödvändigtvis måste vara
textbaserad.
4.4.1 Alternativa återkopplingsformer
Vilka former för kunskapsproduktion är det då Winther Jørgensen tar upp? Enligt Winther Jørgensen (2008) kan alternativa former för att kommunicera ut ett forskningsresultat vara att gestalta rapporten genom konstnärliga uttrycksformer, som pedagogisk drama eller konstutställningar. Andra forskare som lyfter fram fördelen med alternativa återkopplingsformer ger exempel på återkoppling genom att skildra en berättelse, genom att leverera påhittade dokumentärer eller genom att förmedla forskningsresultaten genom serieteckningar (Greene, 2001, Lawrence m.fl. 2007). Gemensamt för de alternativa återkopplingsformerna är att de
arrangerar möten där mottagaren görs delaktig samt att de ämnar skapa en reflektion hos mottagaren genom, att på ett annat sätt än den skrivna rapporten, appellera till en interaktion med forskningsresultatet.
För att göra intressenter delaktiga och för att skapa en kunskapsproduktion framhåller Winther Jørgensen (2008) alltså alternativa former för
mot interaktiva former mellan forskare och samhälle. Premissen för interaktiv forskning är som nämnt tidigare, att inte privilegiera akademisk kunskap över annan. Winther Jørgensens tankegångar är hämtade från postmodernism, feministisk forskning och kvalitativa perspektiv som tar avstånd från de stora standardberättelserna och som öppnar upp för ett möte mellan forskaren och allmänheten på jämlikare villkor (Winther Jørgensen, 2008). I Winther Jørgensens resonemang syftar hon på en delaktighet i hela kunskapsproduktionen. Här lånar jag resonemanget för att bidra till en kunskapsproduktion, eller kanske snarare en kunskapsgenerering vid återkopplingen. Rapporten som återkopplas är alltså inte nödvändigtvis ett resultat som tillkommit genom att utvärderaren och intressenter har interagerat under jämlika villkor, eftersom uppsatsens fokus är själva
återkopplingsfasen lämnar jag detta åt sidan. Utifrån Jörgensens resonemang om interaktion menar jag ändå att återkoppling genom interaktiva former ger
intressenterna större inblick i forskningsresultatet genom att den presenteras på ett sätt som inte utesluter icke-akademiska grupper från att ta del av kunskapen samtidigt som det uppmuntrar till interaktion och reflektion.
4.5 Kommenterar om användning och kritik mot rationella antaganden
I en diskussion om den skrivna rapporten och leverering av utvärderingsresultat bör även en kommentar göras om vilken typ av utvärderingsresultat som ska levereras. Utvärderingar och utvärderingsresultat kan innefatta en känslig aspekt, och det händer att mottagare uppfattar utvärderingsresultat som hot eller av irrelevans (Dal Santo m.fl. 2002). Känslor av rädsla eller stress, som kan uppstå av att en utvärdering uppfattas som ett hot, kan skapa reaktioner som i psykologin benämns som; fight, flight or freeze (Södergren, 2008). Begreppen syftar på hur människor kan inta försvarsställning, bli flyktbenägna eller passiviserade. Alla tre former syftar på egenskaper som inte är önskvärda för ett konstruktivt lärande.
När mottagaren uppfattar ett utvärderingsresultat som ett hot menar jag att det instrumentella perspektivets antagande om att resultatet som levererats av utvärderingen automatiskt leder till handling, är en tämligen förenklad slutsats. Detta anser jag eftersom det instrumentella perspektivet på användande bortser från en mängd mänskliga faktorer som kan uppstå vid negativ feedback, eller för den delen vid feedback överlag. På frågan ovan om läsandet av en rapport även innebär en implementering av utvärderingens rekommendationer är därför min respons att så inte är fallet. Att mottagaren ska kunna ta till sig ett
utvärderingsresultat är beroende av fler faktorer än att ha förmågan att läsa en text. Inom forskningen om utvärdering och om användning framhålls därför från vissa håll att en interaktion med utvärderingsresultatet är nödvändigt för att mottagarna ska bli influerade av resultaten (Lawrenz m.fl. 2007). De alternativa gestaltningsformerna av forskning och utvärderingsresultat som presenteras ovan öppnar upp för interaktion på ett annat sätt än den skrivna rapporten eftersom de konstnärliga formerna som presenteras har som ambition att skapa reflektion hos mottagare. I nästa kapitel ska därför teorier om organisationslärande presenteras där det sociokulturella perspektivet lyfter fram just interaktion som centralt för lärandet.
5. ATT LÄRA AV UTVÄRDERINGSRESULTAT –
EN FÖRUTSÄTTNING FÖR DESS
ANVÄNDNING
Som framgick i förra kapitlet riktas en del kritik mot att utvärderingsrapporter inte blir lästa men i kapitlet väcktes även frågan huruvida en läst rapport automatiskt leder till en kunskapsgenerering. Ur resonemanget som fördes riktades en del kritik mot det instrumentella antagandet. Förutsättningen för att intressenter och organisationsmedlemmar ska använda sig av och följa en utvärderings
rekommendationer är att dessa har kunskap om den. Kunskap kan på så vis betraktas som det man använder i sitt handlande (Säljö, 2000). Med utgångspunkt i att mottagaren av en utvärderingsrapport måste ha kunskap om den för att kunna handla i enlighet med den och dess rekommendationer, ska detta avsnitt belysa hur kunskap och lärande kommer till stånd hos mottagare och i organisationer. Inom forskningen om organisationslärande finns två perspektiv på lärande, det systemstrukturella perspektivet respektive det sociokulturella perspektivet. Medan det systemstrukturella perspektivet bottnar i tankegångar från ett behavioristiskt och kognitivt perspektiv på lärande, härstammar det sociokulturella perspektivet från socialkonstruktivistisk syn på verkligheten (Heide, 2002). Konstruktivism härstammar i sin tur från ett element ur kognitivismen. Men konstruktivism, och synen på individen som en aktiv aktör i lärandeprocessen med andra, är ett perspektiv som förekommer även i andra tankar om lärande. Det
systemstrukturella och det sociokulturella perspektivet går på så vis inte att skiljas åt genom vattentäta skott. Skillnaderna i synen på lärande är dock så stora att det sociokulturella perspektivet kommit att kritiserar det systemstrukturella
perspektivets syn på lärande för att ha en förenklad och för rationell syn på lärande. Även om perspektivet för uppsatsen är det sociokulturella anser jag att det är viktigt att även det systemstrukturella perspektivet presenteras, eftersom pedagogik och syner på lärande som varit väldigt starka och inflytelserika gärna har förmågan att tas för givna. Behavioristiska och kognitiva tankegångar, som det systemstrukturella perspektivet bygger på, har på så vis haft ett stort inflytande på hur synen på lärande betraktas (Säljö, 2000). Nedan ska jag därför redogöra för de båda perspektiven där det systemstrukturella perspektivet framhåller vikten av att sprida informationen till organisationsmedlemmarna medan det andra
perspektivet, det sociokulturella, framhåller kommunikation och dialog för att stimulera det lärande som perspektivet menar sker kontinuerligt och naturligt inom olika gemenskaper.
5.1 Systemstrukturellt perspektiv på organisationslärande och informationsöverföring
Det systemstrukturella perspektivet på lärande härstammar från 1960-talet och pionjärerna för perspektivet är James March och Richard Cyert som även var de första att intressera sig för organisationslära (Heide, 2002). Det systemstrukturella perspektivet kan härledas till systemteorin och utgångspunkten är att
organisationer anpassar sig till omgivningen för att överleva (Heide, 2005). I systemteorin är cybernetiken en central tankegång vilket i korthet innebär att en organisation kan reglera sitt beteende utifrån förutsättningen att den har tillgång till information. Cybernetik används metaforiskt för att beskriva de processer som
sker hos människor vid tillgång till information och utgångspunkten är att såväl människor som maskiner, alltid strävar efter att bibehålla ett stabilt tillstånd (Morgan, 1997). Resonemanget om cybernetik innebär alltså att när en
organisation får kännedom om ett fel eller en brist korrigeras detta automatiskt så att organisationen ska fungera och leva harmoniskt med omgivningen (Heide, 2002). Det systemstrukturella perspektivet på lärande menar jag
sammanfattningsvis betraktar användandet av utvärderingsresultat som något som en organisation automatiskt anpassar sig till, det enda spörsmålet är hur man når ut med resultatet på ett informativt vis.
Eftersom det systemstrukturella perspektivets grundantagande om hur
organisationer lär utgår från en tankegång om att information är detsamma som kunskap, är alltså information centralt för att nå ett lärande. Att kunna informera om förändringar har även inneburit att det är den explicita kunskapen, alltså den kunskap som går att uttrycka med ord, som är av intresse för perspektivet (Heide, 2005). Resonemanget som genomljuder det systemstrukturella perspektivet om organisationslärande stämmer till mångt och mycket överens med tongångarna i utvärderingsforskningen gällande spridning. Som vi sett ovan problematiserar även spridningsinriktade strategier inom området för utvärdering, hur
utvärderingsresultaten ska sättas i händerna på mottagarna. Men likaså görs heller inte någon problematisering över hur ett kunskapande ska komma till stånd, utan även här sätts likhetstecken mellan information och kunskap.
5.1.1 Ett systemstrukturellt perspektiv på feedback
För att följa upp tidigare inlägg om att utvärderingar kan vara av känslig art, framförallt då utvärderingsresultaten många gånger riktar kritik mot det studerade, ska jag ägna ett stycke åt teorier om feedback. Här under det systemstrukturella perspektivets syn på lärande ska teorier om singel-loop och double-loop learning presenteras. Senare ska det även lyftas fram hur det sociokulturella perspektivet kan betrakta feedback, då med utgångspunkt på mellanmänsklig dialog. Detta stycke presenteras först en bit in och efter en redogörelse om det sociokulturella perspektivet. Begreppsparen singel- och double-loop learning myntades av Chris Argyris och Donald A. Schön och har nått stor popularitet. Resonemangen om feedback har på så vis blivit viktiga i synen på hur organisationer lär och hur de responderar på negativ feedback.
Singel-loop learning innebär att en felaktig handling korrigeras. Exempelvis innebär detta att då ett utvärderingsresultat visar att ett projekt som genomförts inte har haft den önskade effekten korrigeras detta genom att felet återställs eller att projektet tas bort ur verksamheten. Resonemanget är på så vis tydligt
systemteoretiskt. Double-loop learning å andra hand innebär på samma sätt att en handling korrigeras men även att individerna inom en organisation reflekterar över den felaktiga handlingen samt ifrågasätter de normer och värderingar som finns inom organisationen och som lett fram till den felaktiga handlingen (Argyris 1997). Genom en reflektion över vad som föranlett den felaktiga handlingen menar man att ett organisationslärande kommit till stånd. Reflektionen är utifrån teoretiseringen central för lärandet, det är på så vis vid den andra formen av lärandet, double-loop learning, som ett djupare lärande anses komma till stånd (a.a.). En kritik som riktats mot begreppen är dock att det snarare rör sig om en anpassning än ett lärande (Heide, 2002). Att det sker ett anpassande före ett lärande ligger på så vis i linje med det systemteoretiska perspektivet som
framhäver att organisationer anpassar sig för att överleva. Antagandet att
organisationer anpassar sig till information för att överleva, bortser dock från de intressen och de reaktioner som exempelvis ett utvärderingsresultat skapar hos organisationsmedlemmarna.
5.2 Sociokulturellt perspektiv på organisationslärande och dialogens roll i lärandet
Medan det traditionella perspektivet framhåller information som en förutsättning för lärande lyfter det sociokulturella perspektivet på organisationslärande fram dialog för att organisationsmedlemmarna ska tillgodogöra sig ett lärande. Att informera fram förändring menar förespråkare för det sociokulturella perspektivet är problematiskt. En av dessa förespråkare är Roger Säljö som är professor i pedagogik. Säljö (2000) menar att människan har en mycket begränsad förmåga att hålla information i minnet. Om en människa blir informerad om tio olika företeelser som inte ingår i något mönster, menar Säljö, att sannolikheten är väldigt liten att personen som blir informerad kommer ihåg alla. Relaterat till den samtid vi lever där tillgången till information är näst intill oändlig menar Säljö att människans förmåga att ta till sig information är starkt begränsad.
Det sociokulturella perspektivet på lärande utvecklades av en rysk psykolog vid namn Lev Vygotsky. Vygotsky lyfte fram språkets betydelse för mänskligt tänkande och kulturens roll i utvecklingen av en individs personlighet. Det
sociokulturella perspektivet har även kallas det kontextuella perspektivet eftersom kulturen, eller kontexten, som lärandet sker inom har betydelse för lärandet. Återkommande i redogörelsen för det sociokulturella perspektivet på lärande är även att individen måste känna mening för att utveckla ett lärande. Perspektivet är på så vis tydligt socialkonstruktivistiskt vilket innebär ett antagande att den sociala verkligheten är konstruerad men också att den sociala verkligheten
konstrueras genom språket (Heide, 2002). Utgångspunkten för det sociokulturella perspektivet på lärande är därför att människor tänker och samspelar med andra. Genom kommunikation och interaktion med andra människor byts information och skapas mening. Språket har på så vis två funktioner, en kommunikativ och en kognitiv. Medan den sistnämnde funktionen hjälper människor att tänka och skapa förståelse är det med hjälp av den andra funktionen, det vill säga den
kommunikativa, som människan kan dela med sig av sina tankar samt erhålla nya tankar och idéer. Det är på så vis den kommunicerande funktionen som är länken mellan individuella och kollektiva erfarenheter (a.a.). I det sociokulturella
perspektivet ses alltså människor som sociala varelser som konstruerar sin
verklighet genom att skapa mening tillsammans med andra. Genom att människor interagerar med varandra på ett naturligt sätt menar man inom perspektivet att målet i sig inte är lärande, utan att lärande snarare är en konsekvens av de dialoger och konversationer som förs. Lärandet utifrån ett sociokulturellt perspektiv ska därför betraktas som något som sker kontinuerligt och automatiskt genom språket (Heide, 2005). Som jag ska argumentera för senare kan dock det naturliga och automatiska språket tas vara på för att stimulera till lärande.
5.2.1 Tyst kunskap
Som framgått ovan är språket centralt för lärande inom det sociokulturella perspektivet. Genom dialog och kommunikation byts information mellan människor på ett naturligt sätt. All kommunikation är dock inte verbal. Tyst kunskap, eller tacit knowledge som det även kallas, härstammar från
kunskapsfilosofen Michael Polanyi och avser en tyst dimension i allt kunnande. Denna tysta dimension i sin tur avgör hur människan riktar sin uppmärksamhet (Kalman, 2006). Polanyi (1983) exemplifierar tyst kunskap genom att hävda att vi kan känna igen en persons ansikte av flera tusen andra men oftast kan vi inte återberätta hur vi la märke till personen eftersom detta är svår att uttrycka med ord. På så vis uttrycks ofta den tysta kunskapen i handling, vilket på en arbetsplats blir tydligt genom att människor i en organisation många gånger agerar på ett visst sätt i förhållande till en specifik arbetsuppgift utan att vara medveten om det. Den tysta kunskapen kan också uttryckas genom att människor i en organisation riktar sin uppmärksamhet mot eller från något, viket i detta sammanhang kan innebära att en arbetsuppgift nonchaleras.
Den tysta, icke-verbaliserade kunskapen förvärvas genom erfarenheter,
bakgrundskunskaper, tankar och känslor (Kalman, 2006) och kan uttryckas genom oskrivna regler, värderingar, synsätt, och sätt att ordna arbetsuppgifter (Heide, 2005). Eftersom kunskapen är tyst och inte uttryckt är kunskapen svår att dokumentera och förmedla. Ändå är den tysta kunskapen viktig ur ett
organisationsperspektiv med tanke på de ovanstående områden som den tysta kunskapen påverkar. Polanyi (1983) menade att för att stimulera det kunnande som människan nästan har ska vi rikta tanken från fakta mot den faktiska avsikten med arbetet. Södergren menar därför att finna mening och ha inlevelsefulla visioner är viktigt för att nå detta djupa kunnande (Södergren, 2008). Medie- och kommunikationsforskaren Mats Heide (2002) menar att användandet av
berättelser som kommunikationsform är ett sätt att förmedla tyst kunskap i en arbetsgemenskap. De berättelser som Heide lyfter fram är det återberättande, som också är en form av efterkonstruktioner, som kollegor gör sinsemellan. Berättelser uttrycks med känsla och är placerade i en bestämd situation vilket skapar mening för mottagaren. Således menar Heide att den största delen av kunskapen i en arbetsgemenskap är just tyst, men även att det är i praktikgemenskaper som den tysta kunskapen existerar, skapas och förflyttas.
Birgitta Södergren (2008) förklarar tyst kunskap och osynlig kunskap som ”det
kunskap som vi nästan har” och med detta syftar hon på den kunskap människor
har men som ”väntar på att få uttryckas” (s 24, 26
)
. Tyst kunskap ska dock inte förväxlas med icke-artikulerad kunskap, det vill säga kunskap som inte ännu är artikulerad (Kalman, 2006). Denna dimension av kunskap är dock nog så viktig i ett organisationsperspektiv. Genom att ha orden på det arbete som man utför kan människan även reflektera över sina arbetsuppgifter. Såväl tyst kunskap som icke-artikulerad kunskap menar jag kan argumenteras för att vara viktigt att göra explicit för individen själv så att denna kan reflektera över sitt handlande, men även för organisationen som helhet då den kunskap som finns hos individerna både berikar men också på många sätt styr utvecklingen av organisationen. Under nästa rubrik ska därför praktikgemenskapers betydelse för organisationer lyftas fram där det bland annat framhålls att den informella kunskapen som uppstår inom dessa, många gånger upplevs som vikigare än den formella kunskap som organisationer styrs utifrån.5.2.2 Praktikgemenskaper
Praktikgemenskaper, eller Communities of practice som är den engelska och oöversatta termen, är en benämning för de informella nätverk som existerar inom alla organisationer. Dessa gemenskaper uppstår naturligt i en organisation och kan framförallt kännas igenom genom att gemenskapen går från att vara professionell
