Örebro Universitet
Akademin för juridik, psykologi och socialt arbete
Socialt arbete, avancerad nivå
D-uppsats, 15 poäng
Ht 2010
Från top down till bottom up
-Att förklara och utvärdera psykosocialt arbete
inom hälso- och sjukvården
Författare: Håkan Landpers
Handledare: Pia Aronsson
Från top down till bottom up
-
Att förklara och utvärdera psykosocialt arbete inom hälso- och
sjukvården
Håkan Landpers
Örebro Universitet
Akademin för juridik, psykologi och socialt arbete
Socialt arbete, avancerad nivå
D-uppsats, 15 poäng
Ht 2010
Sammanfattning
Idag måste verksamheter som finansieras med offentliga medel kunna presentera relevant och tillförlitlig information där det framgår vilka resultat som uppnåtts. Kraven ökar på välfärdsverksamheter att bedrivas utifrån vetenskaplig, empiriskt grundad kunskap. Detta gäller inte minst socialt arbete. Det sociala arbetet är emellertid bristfälligt beforskat vad gäller till exempel kunskap om insatsers innehåll, sammanhang och effekter. Ett sätt att evidensbasera socialt arbete kan vara att genomföra regelbundna och kvalificerade utvärderingar. Att utvärdera är emellertid komplext, och kunskapen om utvärderingar är bristfällig hos dem som planerar och genomför dem. Det övergripande syftet med denna studie var att genomföra en systematisk litteraturstudie för att identifiera användbara utvärderingsmodeller för psykosocialt arbete inom hälso- och sjukvården. Ett ytterligare syfte var att utforma en utvärderingsdesign för det psykosociala arbetet på kuratorsenheten, Falu lasarett. Utvärderingsmodellerna presenteras i uppsatsen utifrån kategorierna ”top down” och ”bottom up”, samt ”övriga modeller”. Med hjälp av några centrala begrepp för utvärdering av socialt arbete, ingående i metateorin kritisk realism, genomfördes undersökningens analys. Resultatet visar att de modeller som är relevanta för utvärdering av psykosocialt arbete inom hälso- och sjukvården i huvudsak är orienterade mot perspektivet bottom up. Modellerna är processutvärderingar, brukarorienterade modeller, intressentutvärderingar, självutvärderingar samt mål – resultatutvärderingar. I utvärderingsdesignen för kuratorsenheten presenteras också ett antal inslag i det psykosociala arbetet som är centrala att dokumentera, för möjligheten att förklara, utvärdera och utveckla verksamheten framåt.
From top down to bottom up
-
To explain and evaluate psychosocial work within the health care
services
Håkan Landpers
Örebro University
School of law, psychology and social work
Social work, advanced level
D-essay, 15 points
Autumn term 2010
Abstract
Today, activities funded with public funds needs to present relevant and reliable information which shows the results obtained. Requirements increase in welfare activities to be run based on scientific, empirical knowledge. This applies particularly to social work. The social work is, however, poorly researched in areas such as knowledge of interventions in the content, context and effects. One way to evidence-base social work can be to conduct regular and qualified assessments. To evaluate, however, is complex, and knowledge of the evaluations are deficient in those who plan and execute them. The overall aim of this study was to conduct a systematic literature review to identify key evaluation models to the psychosocial work in health care services. A further aim was to develop an evaluation design for the
psychosocial work of kuratorsenheten, Falun Hospital. The evaluation models are presented in the paper based on categories of “top down” and “bottom up ", and" other models ". With the help of some key concepts for the evaluation of social work, the conclusion of the meta-theory of critical realism, conducted the study analysis. The results show that the models relevant to the evaluation of psychosocial work in the health services are mainly oriented towards a bottom up perspective. The models are process evaluations, user-oriented models, stakeholder assessments, self assessments, and goals - performance evaluations. The
evaluation design of kuratorsenheten also presents a number of elements in the psychosocial work which is central to document, for the opportunity to explain, evaluate and develop the business forward.
Innehållsförteckning
1. Inledning………7
1:1 Bakgrund………...8
1:2 Uppsatsens disposition………..8
1:3 Socialt och psykosocialt arbete………...………...9
1:3:1 Socialt arbete……….……...9
1:3:2 Psykosocialt arbete………...9
1:4 Syfte och frågeställningar………...10
1:4:1 Syfte ………...…………...………10
1:4:2 Frågeställningar………...………...10
2. Utvärdering………...………...10
2:1 Beskrivning……….10
2:2 Kritik mot utvärderingar………....……….11
2:3 Utvärdering och evidensbaserad praktik (EBP)………...………..12
2:4 Utvärderingars olika syften……….………...12
2:5 Utvärderingsmodeller……….………13
2:6 Kategorisering/klassificering av utvärderingsmodeller……….……….14
3. Teori………....14
3:1 Kritisk realism……….………...14
4. Metod………...………...16
4:1 Metodöverväganden och val av metod……….……….16
4:2 Tillvägagångssätt, sökstrategi och urval……….….…. 17
4:3 Avgränsning……….………..18
4:4Reliabilitet, validitet och källkritik………....………..18
5. Etik………..19
6. Resultat………...20
6:1 Resultat från databassökningarna………..21
6:2 Resultat från övriga källor……….23
6:3 Utvärderingsmodeller för psykosocialt arbete inom hälso- och sjukvård……….24
Tabell 1. Klassificering ……...……….………24 6:4 Top down……….………...………….26 6:4:1 Mål-resultatfokus……….26 6:4:2 Beslutsorienterade modeller ………...27 6:4:3 Kostnadsfokus………...28 6:5 Bottom up……….28 6:5:1 Brukarorienterade utvärderingar………...28 6:5:2 Självutvärdering………..29 6:5:3 Processinriktade utvärderingar……….……...30 6:6 Övriga modeller………..……….32
6:6:1 Utvärderingar på kritisk realistisk grund………...32
6:6:2 Expertmodeller………...…...32 6:6:3 Teoriinriktade utvärderingar………....………..33 6:6:4 Intressentbaserade utvärderingar………...33 6:7 Forskningsmetoder………...34 6:7:1 Top down………...35 6:7:2 Bottom up………...35 6:7:3 Övriga modeller………..35 7. Analys………..35
7:1:1 The black box…...………...36
7:1:2 KAIMeR – modellen..………...36
7:1:3 Kontexten (K)………..36
7:1:4 Aktörer (A)………..37
7:1:5 Insatser/metoder (I)………...37
7:1:6 Generativa mekanismer (Me)………..38
7:1:7 Resultat (R)………...38
Tabell 2. KAIMeR-konfiguration……....………39
8. Att förklara och utvärdera psykosocialt arbete på Kuratorsenheten, Falu Lasarett……….39
8:1 Programteori…...………...39
8:2 Programteori på kuratorsenheten, Falu lasarett...………..40
8:2:1 Verksamhetens ledord……….………...40
8:2:2 Övergripande uppdrag………...40
8:2:3 Kuratorsenhetens uppdrag………...40
8:2:4 Insatser……….41
8:2:5 Resultat (Tabell 3:1. Tabell 3:2.)……….41
8:3 Dokumentation……….43
8:3:1 Dokumentation på kuratorsenheten, Falu lasarett..……….44
8:4 Utvärderingsdesign (Tabell 4:1. Tabell 4:2)…..………..45
9. Diskussion……….46
9:1 Från top down till bottom up………...46
9:1:1 Fortsatt forskning………...48
Referenser………..50 Bilagor
Bilaga 1. Den systematiska litteraturstudien
Bilaga 2. Psykosocialt arbete inom hälso- och sjukvården
Bilaga 3. Psykosocialt arbete på kuratorsenheten vid Falu lasarett Referenser till bilagor
1. Inledning
Vi lever i en tid där offentligt finansierad verksamhet behöver legitimera sin existens med kunskap och utvärdering. Vi lever i ett ”granskningssamhälle” där organisationer måste bevisa att de är effektiva (Denvall och Vedung, i Meuwisse, Swärd, Eliasson-Lappalainen, Jacobsson, 2008, s. 186; Lindgren, 2006, s. 9). Socialstyrelsen och Sveriges kommuner och landsting har de senaste tio åren alltmer tydligt uttalat och förespråkat att det sociala arbetet, mer än vad som gjorts tidigare, bör bedrivas utifrån ”empiriskt grundad vetenskaplig kunskap” (Blom, Morén och Nygren, 2006. s. 17f; Dahlgren & Sauer, 2009. s. 17). För att kunna skilja effektiva insatser från mindre effektiva insatser bör också de metoder som används i socialt arbete vara systematiskt utprovade och testade i empiriska studier. Krav på evidensbaserad kunskap i socialt arbete ökar och krav finns också på att studier av sociala insatser skall genomföras så att skillnaderna mellan olika metoder och insatsers effektivitet går att mäta (Blom, m.fl., 2006, s. 18; Aron i Blom, m.fl., 2006, s. 229ff; Jergeby, 2008, s. 19ff).
Problemet med evidensbaserat socialt arbete är att det finns alltför få studier gjorda, vilket gör att kunskaperna om t.ex. insatsers effekter är begränsad. Teoretiskt rimliga och ofta förekommande insatser är dessutom inte alltid effektiva (Blom, m.fl., 2006, s. 17ff; Jergeby, 2008. s. 11ff; Soydan, 2002, s. 98). Det finns också en del exempel på sociala interventioner som, trots goda syften, har fått oönskade och ibland till och med skadliga effekter (Soydan, 2002, s. 98; Sundell och Vinnerljung i Jergeby, 2008, s. 36ff). Denvall och Vinnerljung anser att frågan om det sociala arbetets nytta hittills har ägnats alldeles för lite uppmärksamhet. Detta är anmärkningsvärt, inte minst med tanke på de avgörande konsekvenser många sociala interventioner får i människors liv, till exempel omhändertagande av barn. Det sociala arbetet har av någon anledning klarat sig från krav på kunskapsbasering av olika slag, till exempel kunskap om konsekvenser av insatser, förbluffande länge (Denvall och Vinnerljung, 2006, s. 15).
För möjligheten att evidensbasera det sociala arbetet, det vill säga bygga det på vetenskaplig kunskap och beprövad erfarenhet, så behöver många sidor av det sociala arbetet beforskas (Dellgran och Höjer, i Blom m.fl., 2006, s. 109). Ett sätt att arbeta för detta kan vara att genomföra regelbundna och kvalificerade utvärderingar. Professionalisering av det sociala arbetet, liksom kravet på evidensbasering, kräver ”dokumenterad kunskap om sambandet mellan insatser och resultat” (Blom, m.fl., 2006, s. 165). Utvärderingar kan dessutom förbättra verksamheters måluppfyllelse, och ge viktig information för eventuella förändringar av interventioner i socialt arbete (Rosen, i Blom, m.fl., 2006. s. 246). Att utvärdera är emellertid komplext (Karlsson, 1999, s. 16), och utvärderingars syften varierar. På en överordnad organisationsnivå kan det handla om att ”kontrollera att beslutade mål har uppfyllts” (a.a., s. 83). Syftet kan också formuleras av de berörda inom en verksamhet, t.ex. personal eller brukare, och det handlar då ofta om att ”stimulera till utveckling av den verksamhet som granskas” (a.a.). Vidare kan utvärderingars syfte definieras av t.ex. forskarsamhället, och förväntas leda till att ”/…/ utveckla mer teoretiskt och vetenskapligt beprövad kunskap” (a.a.). Franke – Wikberg talar i samma anda om att utvärderingar kan genomföras för att ” ge beslutsfattare på central nivå kontrollerande och betygsättande resultatinformation /…/” (1992. s. 10), eller utföras med fokus på intressenter på lokal nivå, där kontrollsyftet är ersatt av behovet av att genom utvärderingar få fram underlag som kan användas av de direkt berörda för kvalitetsutveckling av verksamheter (a.a., s. 10). Utvärderingar kan med andra ord planeras och genomföras ”top down”, eller ”bottom up” (Blom och Morén, 2006, s. 15; Karlsson, 1999, s. 33; Vedung, 2009. s. 152). I praktiken förekommer det naturligtvis också mellanformer mellan dessa ytterligheter (Karlsson, 1999, s. 56, s. 59, 83ff; Åberg, 1997, s. 35).
1:1 Bakgrund
Jag arbetar sedan 2002 som kurator vid kuratorsenheten på Falu lasarett. Debatten om en evidensbaserad social praktik har därför för mig tydliga kopplingar till mitt eget arbete, och väcker frågor. Hur kan vi socialarbetare idag försvara våra verksamheters existens om vi inte har tillförlitliga belägg för att de har förväntad kvalitet och leder till de resultat som avses? Hur kan vi fortsätta hävda att våra verksamheter är relevanta och tillför klienterna eller patienterna någonting, om vi inte kan visa upp att det är så och på vilket sätt? Enligt min mening kan utvärderingar vara en möjlig väg mot bättre kunskapsbasering av det sociala arbetet. Kompetensen hos utvärderare är emellertid ofta för låg, och ”priset man får betala för undermåliga utvärderingar är mycket högt” (Scriven, 2002, s. 9, s. 116). Øvretveit är inne på samma tema och anser, ”att agera utifrån en dåligt gjord utvärdering kan göra mer skada än nytta” (Øvretveit, 2001, s. 9). Inom hälso- och sjukvården behövs dessutom kunskap och kompetens nog för att välja den ”utvärderingsansats som är bäst lämpad för den typ av intervention vi utvärderar och informationsbehovet hos användare av utvärderingen är stort. Den medicinska forskningsansatsen är inte den enda, och vårdpersonal och politiker behöver bli bättre insatta i vilka andra sätt det finns att bedöma värdet av interventioner och förändringar” (a.a., s. 11). Scriven betonar att ”de flesta utvärderingstillämpningar påverkar människor i grunden eftersom de står i samband med kvaliteten på deras arbete eller deras värde. /…/. Det är därför viktigt att utvärdering används med ansvar och viktigt att det står klart att många av dess tillämpningar och angränsade aktiviteter kräver mellanpersonliga färdigheter som ligger långt ifrån de färdigheter som krävs för att utveckla logiken i disciplinens utredningar” (Scriven, 2002, s. 117).
Soydan anser att ”exempel på empiriska studier utgör, enligt min mening, ett pedagogiskt sätt att utveckla sin egen utvärderingspraktik. Genom att studera andras studier kan man lära sig undvika misstag och förbättra sitt eget arbete” (Soydan, 2002, s. 100; Silverman, 2010, s. 73). ”Oavsett om man vill studera effekterna av interventioner i socialt arbete eller andra aspekter som till exempel interventioners förlopp och processer blir det nödvändigt att vända sig till utvärderingsforskningen för val av lämpliga utgångspunkter, teorier, och definitivt för val av metoder och metodologiskt stöd” (Soydan, 2002, s. 99). Jag tar fasta på Soydan och Silvermans uppmaningar, och för att få en så god grund som möjligt att stå på i mitt och mina kollegors forsknings - och utvecklingsarbete framåt undersöker jag i min studie vad det finns för relevanta modeller för att förklara och utvärdera psykosocialt arbete inom hälso- och sjukvården.
1:2 Uppsatsens disposition
I uppsatsens första del tecknas en bakgrund för studien, arbetets syfte och frågeställningar definieras och centrala begrepp beskrivs. I nästa avsnitt följer en teorigenomgång, metodöverväganden diskuteras och redovisas och etiska reflektioner görs. Sedan presenteras resultatet av den systematiska litteraturstudien gällande utvärderingsmodeller som kan vara lämpliga för förklaring och värdering av psykosocialt arbete inom hälso- och sjukvården. I nästa del analyseras modellernas relevans för utvärdering av psykosocialt arbete inom hälso- och sjukvården. I följande avsnitt undersöks de olika modellernas relevans för förklaring och utvärdering av det psykosociala arbetet på kuratorsenheten, Falu lasarett. En utvärderingsdesign presenteras därefter. Analysen och granskningen sker med utgångspunkt i centrala begrepp för utvärdering på kritisk realistisk grund. Slutligen diskuteras arbetet, och förslag ges till fortsatt forskning framåt.
1:3 Socialt och psykosocialt arbete
1:3:1 Socialt arbete
Det är vanligt att hänvisa till ett antal verksamhetsområden eller yrkesroller i praktiken, när socialt arbete skall definieras. Ofta kopplas begreppet till t.ex. socialsekreterare, fältassistenter eller kuratorer i hälso- och sjukvård (Morén, 1996, s. 16). Socialt arbete bygger på tre huvudfundament: teorier, värderingar och arbetsmetoder. Teorierna rör olika materiella och existentiella villkor för klienten eller patienten. Kring värdebasen i socialt arbete råder en förhållandevis stark konsensus. Här inryms olika nivåer som handlar om respekten för individen och hennes självständighet, samt ”sociala värden” i frågor som t.ex. handlar om integration och ansvar för ett samhälles välfärd (Blom, m.fl., 2006, s. 24). Olika värderingar kan komma i konflikt med varandra, och de kan och bör granskas och ifrågasättas. När det handlar om metoder i socialt arbete talas det ofta om beteckningar av typen nätverksarbete eller tolvstegsprogram. Bakom dessa till synes entydiga och välavgränsade beteckningar hittar man dock ofta en oklar begreppsapparat, där ”metoder är mer eller mindre liktydiga med teorier, medan andra består av en löst sammanhållen insatsarsenal där systematiken ibland kan ifrågasättas” (a.a., s. 24f). Det är dessutom möjligt att göra en distinktion mellan generella
arbetsmetoder och individuella färdigheter. Färdigheterna utvecklar den enskilde
socialarbetaren utifrån sin erfarenhet av olika situationer, samt tillämpandet av olika metoder i olika sammanhang. Det är också så att de metoder som används är sammanflätade med rådande värderingar (a.a., s. 25).
1:3:2 Psykosocialt arbete
Bernler och Johnsson anser att det psykosociala arbetet, för att kunna betraktas som ett professionellt förändringsarbete, måste uppfylla fem kriterier. Socialt arbete bör alltid grundas på det psykosociala synsättet. Detta innebär att samspelet mellan människor och miljö, samt samspelet mellan människor och samhälle ses som grundläggande för en personlig identitet och för skapandet och vidmakthållandet av psykosociala problem. Utifrån detta synsätt måste individen alltid ses i sitt sammanhang. Det psykosociala arbetet måste också utgå från en övergripande teori eller ”ett sammanhängande teoretiskt perspektiv för psykosocialt arbete” (Bernler och Johnsson, 2001, s. 19). Detta arbete kräver teorier vid både analys och handling, och det kräver också särskild utbildning av den som skall arbeta med psykosocialt arbete professionellt. Inom psykosocialt arbete används olika metoder eller förändringsstrategier utgående från relationen mellan individer, familjer och grupper i behandlande eller förebyggande syfte. Psykosocialt arbete fokuserar på de sociala sammanhang som klienten/patienten ingår i och som bedöms viktiga för behandlingsarbetet. De processer som försiggår inom och mellan dessa olika system är centrala för det psykosociala arbetet, som därmed kan sägas ha en systeminriktning. Det måste slutligen finnas en handlingsmodell. Psykosocialt arbete bedrivs utifrån tre olika förhållningssätt: 1) Behandlaren åstadkommer genom egen aktion förändringar i klientens/patientens livssituation. 2. Behandlaren åstadkommer genom direkt styrning förändringar i klientens/patientens livssituation. 3. Behandlaren åstadkommer genom indirekt styrning förändringar i klientens/patientens livssituation. Samtliga tre förhållningssätt bör ingå i det psykosociala arbetet för att en gynnsam förändring skall kunna ske (a.a., s. 20ff).
I det psykosociala arbetet ingår både förebyggande och behandlande insatser. Att arbeta förebyggande innebär i det här fallet att så tidigt som möjligt nå riskgrupper av olika slag. Det är genom de psykosociala problemen man som behandlare etablerar kontakt med en individ eller grupp. Vi söker sedan ur denna kontakt finna och skapa en psykologisk och social helhetsbild där vi i sin tur söker urskilja de problemskapande processerna. Behandlingen skall, för att kvalificera sig som behandling vara systematisk, d.v.s.
genomtänkt, medveten och teorianknuten. Den skall vidare ha som mål att påverka de problemskapande processerna så att problemen minskar och effekterna av dem lindras. Interferensen har alltid formen av handlingar, av verbala och icke-verbala akter, mer eller mindre aktiva och avsedda att förändra direkt eller mer indirekt (Bernler och Johnsson 2001, s. 24ff). Psykosocialt behandlingsarbete är en del i det psykosociala arbetet, och är ett begrepp som inbegriper de individinriktade insatserna i gränsområdet mellan psykoterapi och socialt arbete (Lennéer - Axelsson och Thylefors, 1991, s. 13). Det är individuellt inriktade insatser som förutsätter en någorlunda stark motivation hos klienten. Det förutsätter också en överenskommelse mellan behandlare och klient om en gemensam problemlösningsprocess. Behandlingsarbete är mer strukturerat och systematiserat än allmänt psykosocialt arbete, och det kan tidsmässigt sträcka sig från några tillfällen till kontakter på flera år. ”Man går in i ett mer personligt förhållande till varandra och använder sig av denna relation för att åstadkomma förändringar” (a.a., s. 13). Det psykosociala behandlingsarbetet har vidare en ambitiösare målsättning än det psykosociala arbetet, där målsättningen är förändring av personligheten, relationer och den sociala verkligheten hos klienten (a.a., s. 13).
1:4 Syfte och frågeställningar
1:4:1 Syfte
Det övergripande syftet med studien är att genomföra en systematisk litteraturstudie för att identifiera användbara utvärderingsmodeller för psykosocialt arbete inom hälso- och sjukvården
Ett ytterligare syfte är att utforma en utvärderingsdesign för det psykosociala arbetet på kuratorsenheten, Falu lasarett.
1:4:2 Frågeställningar
- Vad finns det för tillämpliga modeller för utvärdering av psykosocialt arbete inom hälso- och sjukvården?
- Hur kan en utvärderingsdesign se ut för det psykosociala arbetet på kuratorsenheten, Falu lasarett?
2. Utvärdering
2:1 Beskrivning
”Utvärdering rör innehåll, förvaltning, slutprestationer, utfall och organisering”, skriver
Vedung (2009, s. 26). Utvärderingar inom politik och förvaltning innebär bland annat att man i efterhand kartlägger, tolkar och bedömer ”offentliga insatsers resultat, genomförande och organisering i syfte att åstadkomma ökad självreflexion och bättre grundade beslut” (a.a., s. 19f). Att granskningen skall ske ”i efterhand” innebär här att något, t.ex. en intervention redan är beslutad och att den verksamhet etc. som skall utvärderas redan pågår eller har avslutats. ”I efterhand” betyder i detta fall efter ett beslut om införande. Utvärdering kan således avse både pågående och avslutade aktiviteter. En grundlig bedömning av eventuella framtida åtgärder är därmed inte detsamma som utvärdering (a.a., s. 24). Att utvärdera innebär att utgå ifrån att det inte räcker med goda avsikter. Det är resultaten som räknas. Utvärdering innebär att noga följa upp, systematisera och värdera pågående eller avslutade offentliga verksamheter och deras resultat, och syftet är bland annat att berörda myndigheter och politiker skall använda utvärderingens rön för att rätta till misstag och förstärka framgångar (a.a., s. 20).
Utvärderingar handlar om insatsers resultat och om vägarna fram till resultatet, d.v.s. interventioners innehåll och struktur samt implementering. Att utvärdera en verksamhet innebär att inte bara beskriva och förklara den, utan att även värdera den. Denna bedömning skall, för att kvalificera sig som utvärdering, vara metodisk, systematisk och ordentlig (Denvall och Vedung, i Meuwisse, m.fl., 2008, s. 186f).
”Utvärdering är att bedöma värdet av en företeelse, genom att samla in relevant information om den på ett systematiskt sätt och göra jämförelser. Syftet med utvärderingen kan vara att hjälpa användaren att fatta bättre underbyggda beslut, för att kunna sätta in de lämpligaste åtgärderna eller att bidra till vetenskaplig kunskap” (Øvretveit, 2001, s. 16). Utvärderingsforskningen har i stora delar av världen under 1990-talet varit till nytta för att bl.a. öka kvaliteten och rättvisan när det gäller service inom t.ex. hälsovård och socialtjänst, (Soydan, 2002, s. 99). Utvärdering är numera en del av hälso- och sjukvården, som en konsekvens av bl.a. det ökande konsumentperspektivet, statliga krav och efterfrågan från kvalitetsutvecklare, och det är centralt att lära sig om och använda sig av utvärdering inom hälso- och sjukvården (Øvretveit, 2001, s. 198). Utvärderingar är idag ett efterfrågat underlag vid styrning av komplexa processer (Vedung 2009, s. 21).
2:2 Kritik mot utvärderingar
Det finns en hel del kritik mot utvärderingar som menar att de ofta beställs och utförs, men sedan inte används av beslutsfattare. Den viktiga information som utvärderingar kan ge ”tas inte tillvara som underlag för beslut” (Vedung, 2009, s. 255; Denvall, 2005, s. 6). Svenska kommuner och andra offentliga verksamheter utvärderar och utvärderas för fullt idag. Samtidigt undersöks och granskas inte utvärderandet självt i samma utsträckning alls. Det saknas svenska kunskapsöversikter och bedömningar av relevansen hos olika utvärderingsmetoder, studier av pågående utvärderingar eller utvärderingars användbarhet och funktion (Denvall, 2005, s. 5).
En annan typ av kritik menar att utvärderingar nog kommer till användning, men då som vapen i konflikter och strider om positioner (Vedung, 2009, s. 255f). Utvärdering är kontroversiellt och en ”integrerad del av maktkampen i politiska och administrativa system” (Vedung 1998, s. 97). Som en konsekvens av detta genomsyras utvärderingar av strategiska överväganden och spel som går ut på att förvilla motståndarna. Försvarare av till exempel ett program beställer utvärderingar för att skapa sig tid, dölja misslyckanden, visa upp en fasad av funktionalitet eller enbart fokusera på positiva inslag för att stärka programmets ställning. Man kan här tala om utvärderingar som en ”potemkinkuliss”, eller om utvärderingars illegitima funktioner (a.a., s. 105). På motsvarande sätt använder ”attackerare” sig av utvärdering för att för att ensidigt samla negativa fakta om motståndaren i syfte att misskreditera denne, eller för att lägga ner verksamheter av andra skäl än att de går dåligt. ”Dessa strategiska, ofta dolda, alltid förnekade, syften blandar sig med sakinriktade motiv i en och samma utvärdering. Häri ligger en svaghet med utvärderingar som instrument för sakligt beslutsfattande. Utvärderingsredskapet som objektiv, kunskapsbaserad ledningsform har sina begränsningar” (a.a., s. 97).
Socialt arbete som praktisk verksamhet innehåller så kallad färdighetskunskap, det vill säga det som ”görs”. Olika uppfattningar finns huruvida detta görande är möjligt eller ens önskvärt att formulera om till fakta och teori, eller om det handlar om ”tyst” kunskap och därför omöjligt att studera vetenskapligt (Bernler och Johnsson, 2001, s. 39f; Karlsson, i Dahlgren & Sauer, 2009, s. 269ff). Från dem som arbetar praktiskt med socialt arbete hävdas ofta att den praktiska yrkesutövningen måste få plats och erkännande, såväl när tjänster skall tillsättas och löner sättas. Det talas ofta om att ”det som tillägnas i praktisk utövning inte kan ersättas, eller ens fullt ut artikuleras och fångas i teoretisk form” (Blom m.fl., 2006, s. 60f., 169ff). Det finns dock outtalade antaganden och underliggande teorier om vad som är viktigt, i den praktiska
yrkesutövningen. Detta kan, till en viss del, fångas i mer generella termer och diskussioner (a.a., s. 60f, 169ff). Den kunskapsform som kan jämföras med kunskapens ”tysta” dimension kallas för förtrogenhet. Denna typ av kunskap får vi genom att delta i praktiska verksamheter och genom det få erfarenheter av ett stort antal varierande situationer. Utifrån dessa erfarenheter lär vi oss att uppmärksamma olikheterna, och att ”använda tidigare erfarenheter i nya sammanhang” (a.a., s. 203).
2:3 Utvärdering och evidensbaserad praktik (EBP)
I början av 1990-talet myntades begreppet evidensbaserad medicin av den kanadensiske folkhälsoforskaren David Sackett och hans kollegor. De skapade begreppet som en reaktion på att mycket av den kliniska medicinen inte grundades på de senaste vetenskapliga rönen, och att läkarna ensamma bestämde och gav vård tämligen godtyckligt. Ett resultat av detta var att patienterna inte alltid fick den bästa tänkbara vården och att de ibland till och med var mottagare av skadliga insatser. Socialt arbete har fått liknande kritik (Jergeby, 2008, s. 12ff). Ordet evidens kan i detta sammanhang översättas med bevis för, eller vetenskapligt stöd för insatsers effekter. Ibland används begreppet evidensinformerad praktik (a.a., s. 12ff). Den svenska översättningen är kunskapsbaserad praktik, eller evidensbaserad praktik. En definition av detta begrepp kan vara ”en noggrann, öppet redovisad och omdömesgill användning av den för tillfället bästa evidensen för beslutsfattande om insatser till enskilda individer” (a.a., s. 12). Här ingår tre kunskapskällor: 1) Den för tillfället bästa vetenskapliga kunskapen, 2) brukarens erfarenhet och önskemål och 3) den professionelles erfarenhet och förmågor (Jergeby, 2008. s. 12; Anttila i Blom m.fl., 2006, s. 116).
Sannolikt kommer socialt arbete aldrig att kunna baseras helt på en heltäckande kunskap om vad som fungerar och vad som inte gör det. Evidensbaserad praktik är ett förhållningssätt till denna osäkerhet (Jergeby, 2008, s. 12). Frågan om evidens har lyfts fram bland annat av hälso- och sjukvården som en central fråga för utvärdering, och Socialstyrelsen har år 2000 presenterat ett koncept gällande ”evidensbaserade vetenskapliga utvärderingar av effekter av sociala interventioner” (Denvall, 2005, s. 5). Evidensbaserad praktik är tillämpbart inom många olika verksamhetsfält, till exempel socialt arbete, medicin och utbildningsväsendet, och det talas ofta om ”what works” idag (a.a., s. 5; Denvall och Vedung, i Meuwisse, m.fl., 2008, s. 186). Professionalisering av det sociala arbetet, liksom kravet på evidensbasering, kräver ”dokumenterad kunskap om sambandet mellan insatser och resultat” (Blom, m.fl., 2006, s. 165). Denna kunskap kan uppnås på olika sätt, till exempel genom breda empiriska undersökningar som studerar relationen mellan olika metoder och deras respektive effekter, eller genom statistiska analyser som söker förklara dessa korrelationer. Det kan också handla om forskning vars syfte är att utveckla teori om ”de generativa mekanismer som är verksamma i socialt arbete och som (i djupare mening) kan förklara hur resultat uppstår som en följd av insatserna” (a.a., s. 165). Sannolikt kräver ett evidensbaserat socialt arbete alla dessa grunder för kunskap (a.a., s. 165).
2:4 Utvärderingars olika syften
Frågan om en utvärderings överordnade syfte ingår i Vedungs ”Elvapunktsprogram” för utvärderingar i offentlig sektor. All utvärdering handlar om lärande av olika slag, och detta är alltid huvudsyftet (Vedung, 2009, s. 165). Det kan också handla om ett främjande syfte, vilket betyder att utvärderingens mål är att ”på en solid bas av data framställa sanningen om interventionen för att därigenom leverera ett underlag för förbättring” (a.a., s. 173). Främjande utvärdering genomförs ofta som olika typer av självutvärderingar, och frågor om förklaringar till olika tillstånd är centrala. Detta är ett ”värdigt motiv för utvärdering” (a.a. s. 174). Utvärderingar kan också ha kontroll som övergripande syfte. I detta fall görs studien för att en uppdragsgivare skall få underlag för att bedöma hur uppdragstagaren sköter sina
arbetsuppgifter, d.v.s. sitt uppdrag. Det centrala i denna typ av utvärdering är ”redovisning uppåt och uppsikt nedåt” (a.a., s. 166), och det upplevs ofta som hotfullt av dem som utsätts för granskningen (a.a., s. 169). Vidare kan utvärderingar, emellertid oftast som sekundärt intresse, ha som syfte att generera grundkunskap. Här är målet ”fallöverskridande kunskap om institutioner, organisationer, processer, handlande, händelser, styrstrategier, styrmedel eller myndigheters sätt att fungera” (a.a., s. 174). Grundkunskapssyftet är ofta framhållet när metautvärderingar genomförs (a.a., s. 175). Utvärderingar beställs och genomförs ofta i sammanhang där makt figurerar, och genomsyras därmed av dolda strategiska mål och syften. Det kan t.ex. handla om att göra utvärderingar för att ge sken av rationalitet och genomarbetning, trots att så inte är fallet, eller för att dölja misslyckanden och ge ett fördelaktigt intryck utåt. En benämning på detta är ”potemkinkuliss”. Utvärderingsforskare menar emellertid att denna användning av utvärderingar är liktydigt med missbruk av utvärdering, och de kallas ibland för pseudoutvärderingar (a.a., s. 175f).
2:5 Utvärderingsmodeller
”För att förstå en utvärdering måste man identifiera vilken modell för uppläggning som använts. Grunden för planering av en utvärdering är uppläggningen” (Øvretveit, 2001, s. 49). Utvärderingsmodeller är olika typer av ”paketlösningar för kunskapsinsamling, bedömning och användning. Men de fasta modellerna måste modifieras, och i praktiken uppkommer det mellanformer” (Åberg, 1997, s. 29; Karlsson, 1999, s. 59). En utvärdering kan vidare vara utformad enligt mer än en modell, såtillvida att en typ av modell kan ha inslag av andra modeller (Øvretveit, 2001, s. 57; Karlsson, 1999, s. 56). Ett annat sätt att definiera utvärderingsmodeller presenteras av Karlsson, och han anser att de är ”mer preciserade ansatser eller tillvägagångssätt för att genomföra utvärdering” (Karlsson, 1999, s. 56).
Alla de olika utvärderingsmodeller som finns och har utvecklats under årens lopp, kan sägas
vara specifika lösningar på grundproblemet med mål och resultat inom verksamheter, d.v.s. hur mål och resultat förhåller sig till varandra. Är de uppmätta resultaten tillräckligt bra sett i relation till de förväntade resultaten? Varje utvärdering måste hantera de problem som handlar om att, på något sätt, beskriva och analysera relationen mellan mål och resultat (Franke - Wikberg, 1992, s. 4). De utvärderingsmodeller som finns styr i olika utsträckning metodvalet. En del leder utvärderarna mot att välja kvantitativa metoder, medan andra leder mot kvalitativa metoder. Vissa modeller förutsätter också ett inhämtande av både kvalitativ och kvantitativ information vid utvärderingen (a.a., s. 4; Denvall, 2005, s. 7).
”En övergripande sammanfattning av utvärderingsmodeller är ett utmärkt sätt att bilda sig en uppfattning av det som fältet erbjuder” (Soydan, 2002, s. 100). Dessa modeller är inte en homogen grupp, tvärtom. Några av dem kan beskrivas som forskningsparadigm, andra är till sin form mer regler för projektadministration, medan en del är ”enkla metodiska tumregler eller ungefärliga utgångspunkter” (Åberg, 1997, s. 28). Utvärderingsmodeller kan också definieras som ”kognitiva förebilder som presenterar någorlunda sammanhållna föreställningar om utvärderingsobjektets natur, vilken typ av kunskap man bör söka, hur bedömningar bör göras hur utvärderingar bäst kan komma till nytta och vilken roll utvärderarna själva bör spela” (a.a., s. 28f). Vidare kan termen åsyfta ”mer eller mindre ateoretiska arbetsordningar eller checklists som anger vad som bör göras och i vilken ordning. Dessa försök att etablera handlingsmönster utgår i olika grad från vetenskapliga krav och praktiska behov” (a.a., s. 29). I praktiken förekommer det naturligtvis också mellanformer mellan de fasta utvärderingsmodellerna (Karlsson, 1999, s. 56).
2:6 Kategorisering/klassificering av utvärderingsmodeller
”Att klassificera utvärderingsmodeller är ingen lätt uppgift. Någon motsvarighet till ett linnéiskt sexualsystem har inte etablerats i denna flora” (Åberg,1997, s. 29). När man söker orientera sig om utvärdering stöter man sannolikt på en stor mängd ”utvärderingsmodeller”. Utvecklingen av dessa modeller härrör i huvudsak från de händelserika år, när ”efterfrågan på bedömningar ökade medan forskarna och administratörerna kring åtgärdsprogrammen saknade de begreppsliga redskapen för annat än mätning och målrelaterad beskrivning” (Åberg, 1997, s. 28). Modellerna presenterades huvudsakligen mellan åren 1967 och 1979, och ”består i olika sätt att kombinera ställningstaganden om hur man bör söka kunskap och göra bedömningar. De innehåller också föreställningar om utvärderingens syfte och betydelse” (a.a., s. 28).
De flesta utvärderingsforskare använder sig av namn på modeller som liknar varandra, men
det finns inget enhetligt sätt att beskriva och dela in utvärderingsmodeller på som alla ansluter sig till. Att göra en modellindelning kan vara ett analytiskt hjälpmedel för att kunna diskutera den enorma, svårgripbara mängd av olika utvärderingar som existerar. Att klassificera utvärderingar gör det möjligt att kritiskt granska dem, t.ex. gällande ”för vem den sker och med vilket syfte” (Karlsson, 1999, s. 56). Det finns otroligt många olika sätt att lägga upp och dela in utvärderingar på. De otaliga utvärderingsmodellerna bör reduceras till ett fåtal, men det är en komplicerad uppgift. Ett sätt att organisera dem är att utgå från ”utvärderingarnas organiserande princip” (Vedung, 2009, s. 69). Detta kan, på en hög abstraktionsnivå, formuleras som ”vilket är det grundläggande problem som attackeras – den fundamentala fråga som ställs – i en utvärdering” (a.a., s. 69). Två möjliga principer att utgå ifrån vid sortering av utvärderingsmodeller följer här. Den ena är de värderingskriterier som utvärderingar bedömer utifrån, exempelvis en insats måluppfyllelse, eller om ett programs resultat motsvarar brukarnas önskemål? Den andra organiserande principen är utvärderingens
objekt, det vill säga ifall utvärderingen är inriktad på att ”bedöma uppnådda resultat eller på
processerna dit” (a.a., s. 69).
Det finns ett mycket stort antal utvärderingsmodeller, och sätten att klassificera dem varierar kraftigt. Det är av stort värde att identifiera de olika modellerna för att ”urskilja de problem och möjligheter liksom de kunskapsteoretiska skiljelinjer som finns hos olika koncept” (Denvall, 2005, s. 6). Emellertid saknas svenska kunskapsöversikter, d.v.s. metaevalueringar, av utvärderingar, utvärderingsmetoders relevans, funktion och lämpliga användarsammanhang (a.a., s. 5ff).
3. Teori
3:1 Kritisk realism
Den engelske filosofen Roy Bhaskar är den som oftast förknippas med den metateoretiska riktningen kritisk realism. Han för fram uppfattningen att verkligheten är indelad i olika nivåer (domäner), och att det finns en distinktion mellan den verkliga världen och våra beskrivningar av den (Danermark, Ekström, Jakobsen, Karlsson, 2003, s. 18f). Det existerar ”både en av oss oberoende verklighet (den intransiva dimensionen) och en historisk och socialt bestämd kunskap om densamma (den transitiva dimensionen)” (a.a., s. 21). Den intransiva dimensionen kan vi endast nå begränsad kunskap om (a.a.). Inom detta perspektiv antas att det finns en central skillnad mellan faktiska objekt, vilket innebär fenomen och händelser som är observerbara, och transfaktiska objekt, d.v.s. de mekanismer som förmår generera händelser, men som inte är möjliga att direkt observera (Danermark m.fl., 2003, s. 100). Dessa generativa mekanismer inryms i den s.k. verklighetens domän. Om vi söker ”kunskap om bakomliggande kausala mekanismer måste vi rikta vårt fokus mot dessa
mekanismer, inte mot de empiriskt iakttagbara händelserna (a.a., s. 20). Det existerar emellertid olika perspektiv inom den kritiska realismen, och det råder ingen konsensus angående exempelvis hur man ser på dess praktiska användning (Danermark, m.fl., 2003, s. 13).
Den kritiska realismen har sin utgångspunkt i en tydliggjord metateori, d.v.s. ”antaganden om hur den sociala verkligheten är beskaffad (ontologi) och hur man kan få kunskap om denna verklighet (epistemologi)” (Blom och Morén, 2007, s. 31). Detta perspektiv är av särkskilt intresse för socialt arbete utifrån dess ambition att ”producera utvärderingar som
förklarar händelser i socialt arbete (Blom och Morén, 2006, s. 25). Den kritiskt realistiska
utvärderingen tar sig an frågor som mått på effekter, värderingar, politik eller olika intressenters uppfattningar. Inom ansatsen ryms möjligheter att använda olika metoder för insamling och analys av data (Blom och Morén, 2007, s. 31). För att kunna kunskapsbasera det sociala arbetets praktik krävs denna typ av systematiserad, förklarande kunskap. Det krävs utveckling av begrepp och teori om ”de generativa mekanismer som är verksamma i socialt arbete och som kan förklara hur resultat uppstår som en följd av insatserna” (a.a., s. 45). För att nå förklarande kunskap är det inte tillräckligt att studera händelser som kan observeras empiriskt. Det är också nödvändigt att söka kunskap på nivåer av verkligheten som inte är direkt empiriskt observerbara, och söka förstå och beskriva de underliggande mekanismer som påverkar händelser och tillstånd (Blom och Morén, 2007, s. 45; Danermark m.fl. 2003, s. 13f, s. 20). De olika nivåerna av verkligheten kallas i den kritiska realismen för strata, och benämns exempelvis fysikaliskt, biologiskt, psykologiskt och socialt skikt (Blom och Morén, 2007, s. 47; Danermark m.fl., 2003, s. 103). De generativa mekanismerna inom dessa strata kan vi endast dra slutsatser om på analytisk väg, men vi kan förstå deras verkningar genom empiriska iakttagelser av skeenden. ”Den generativa mekanismen må vara oobserverbar i sig, men dess verkningar är påtagliga och observerbara; mekanismerna är i den meningen verkliga” (Blom och Morén, 2007, s. 46).
Överfört till det sociala arbetets praktik så görs antagandet inom den kritiska realismen att sociala generativa mekanismer alltid verkar genom människors handlingar, och detta innebär att det inte är ”socialarbetarens insats i sig som orsakar (leder till) resultatet – resultatet uppstår som en följd av klientens val och handlingar under de villkor som insatserna skapar” (Blom och Morén, 2007, s. 50; Danermark m.fl., 2003, s. 341f). Uttryckt på ett annat sätt kan man säga att det är socialarbetarens insatser som skapar möjligheter för förändring hos klienten, men klientens egen insats är nödvändig för att förändring skall ske (Blom och Morén, 2007, s. 50f). Dokumentation av relevanta inslag i en verksamhet är centrala för möjligheten att utveckla och utvärdera. Vad som anses vara relevant styrs av respektive verksamhets mål och syfte, samt innehållet i, och villkoren för, de insatser som genomförs. Detta kan kallas för en verksamhets programteori, och den är oftast oreflekterad (a.a., s. 235). En svårighet i de sociala verksamheternas mångfacetterade och komplexa verklighet, är emellertid att veta vad man skall dokumentera. Med utgångspunkt i den kritiska realismen finns det fog för att fokusera på ett antal inslag i den sociala praktiken som det är viktigare att dokumentera än andra. Det handlar om vad som görs, d.v.s. insatserna eller metoderna, och
resultatet i klienternas liv, där det också är viktigt att dokumentera själva
förändringsprocessen (a.a. s.62f). Det är vidare centralt att dokumentera socialarbetarnas och
klienternas underliggande antaganden, d.v.s. hur de tänker kring problem, insatser och
resultat. Slutligen är det viktigt att dokumentera ”kontextens roll och betydelse” (a.a., s. 63), d.v.s. biståndskontexten samt klientens livsvärld, där exempelvis socialt stöd är av betydelse för utfallet av insatserna (a.a.).
Ofta görs antagandet att kunskap om huruvida det sociala arbetet är effektivt eller inte kan
fås genom ”systematiska empiriska studier av sambandet mellan använda metoder och dess effekter i klienternas liv” (Blom och Morén, 2006, s. 10). De externa faktorernas inverkan
försöker forskarna hantera genom att använda sig av ”etablerade experimentella designer” (a.a., s. 10). Problemet med detta är dock bland annat att den kunskap man får bara bygger på det iakttagbara, det som ligger på ytan. Det som eventuellt kan ligga därunder tar man inte hänsyn till. Det kanske är möjligt att få reda på att vissa metoder troligen är bättre än andra, men det blir problem om man vill få kunskap om hur och varför en insats hjälper i vissa sammanhang. För att få kunskap om de mekanismer i den sociala verkligheten som förklarar dessa resultat krävs teori om de generativa mekanismer som är verksamma i socialt arbete, teori som kan förklara hur resultat uppstår som en följd av insatser (a.a., s. 11).
I den kritiska realismen talas det om förklaringsmöjligheter utifrån tre olika utvärderingsansatser: 1. Metod – svart låda (det vill säga att innehållet är dolt) – resultat. 2. Metod – grå låda (det vill säga att innehållet till en del är synligt, men vad som genererar resultatet/kausalitetsförhållandena är oklara) – resultat. 3. Metod – vit låda (det vill säga att innehållet helt eller till stora delar är synligt, samt att kausalitetsförhållanden är kartlagda) – resultat (Blom och Morén, 2006, s. 14). Utvärdering utifrån kritisk realism innebär att klargöra innehållet i den svarta lådan, och att således söka göra den svarta lådan vit. Ett antal begrepp som visar vad som är viktigt att studera, dokumentera och utvärdera i den sociala praktiken har också en central funktion här. De ingår i den så kallade KAIMeR-modellen (Blom, m.fl., 2006, s. 154ff, 163f). Denna modell bygger på, och är en utveckling av, Pawson och Tilleys (1997) formel för ”förklarande utvärdering på kritisk realistisk grund” (Blom och Morén, 2007, s. 245ff). De identifierar tre centrala komponenter som behöver ingå i utvärdering på realistisk grund: kontext (K), mekanismer (M) samt resultat (R). Kontexten definieras som ”rumsliga och institutionella omständigheter med tillhörande normer, värden och relationer” (a.a. ). Mekanismer är de ”val och förmågor som leder till mönster av sociala beteenden” (a.a.), och resultat är ”effekterna av ett program” (a.a.). Blom och Morén har sedan i sitt arbete lagt till komponenterna aktörer (A) och insatser (I). Jag återkommer till KAIMeR-modellens användning i praktiken i kapitel 7:1.
4. Metod
4:1 Metodöverväganden och val av metod
Det är centralt att välja metod utifrån valet av forskningsområde, och inte utifrån ideologiska ställningstaganden eller ovana vid en viss typ av metod (Silverman, 2010, s. 9ff). Kvalitativ forskning kan i sig innebära olika saker, och involverar vitt skilda metoder. Det är av vikt att vara uppmärksam på risken att använda sig av flera metoder i sin studie, i tron att detta skulle ge en mer ”fullständig” bild av det studerade (a.a., s. 134f). Den metod jag anser är lämplig när jag i undersökningen söker och analyserar möjliga utvärderingsmodeller, är en systematisk litteraturstudie, en textanalys av kvalitativ karaktär. Det finns emellertid några olika typer av litteraturstudier. All forskning startar med en allmän litteraturgenomgång. Syftet med detta kan vara att antingen göra en beskrivande bakgrund där man motiverar genomförande av en empirisk studie i ämnet, eller för att beskriva kunskapsläget inom ett givet område (Forsberg och Wengström, 2008, s. 29). Den allmänna litteraturgenomgången, som också kan benämnas litteraturöversikt eller forskningsöversikt, beskriver och analyserar ett antal utvalda studier, dock sällan på ett systematiskt sätt. Den systematiska
litteraturstudien däremot innebär ”att systematiskt söka, kritiskt granska och sammanställa
litteraturen inom ett valt ämne eller problemområde” (a.a., s. 34). Denna typ av undersökning kan besvara en rad frågeställningar, exempelvis vad som fungerar bäst, vad som är effektivt eller om det ”finns vetenskapligt stöd för att rekommendera en viss åtgärd eller behandling?” (a.a., s. 30). Det finns ett antal krav och kriterier som skall vara uppfyllda i en systematisk litteraturstudie, bl.a. ”klart formulerade frågeställningar, tydligt beskrivna kriterier och
metoder för sökning och urval av artiklar, alla relevanta studier är inkluderade, inte enbart nytta presenteras, utan också risker och kostnader” (a.a., s. 3).
Den systematiska litteraturstudien skall innehålla exempelvis en presentation av varje vald studies metodval och resultat, genomförande av tydlig analys; metaanalys om det finns passande studier, redovisning i form av en rapport där alla centrala delar beskrivs ”syfte, frågor, metod, resultat, analys, konklusion och diskussion ” (Forsberg och Wengström, 2008, s. 32). Metaanalys är en form av systematisk litteraturstudie, och innebär en sammanvägning av data från flera olika studier. ”Metaanalysens styrka ligger dels i metodiken för att väga samman resultat från olika studier, dels i den systematiska kvalitetsvärderingen som inkluderar studier av hög vetenskaplig kvalitet” (a.a., s. 32f). Resultat från metaanalyser har också ett ”starkt bevisvärde” (a.a., s. 33).
Det hade naturligtvis varit möjligt för mig att i min studie använda andra typer av undersökningsmetoder, t.ex. enkäter till, eller intervjuer av, beställare, planerare eller användare av utvärderingar inom hälso- och sjukvården. Detta för att få t.ex. kunskap om deras erfarenheter av olika utvärderingsmodellers relevans. Det hade sannolikt också givit viktig, praktikernära kunskap. Jag bedömde emellertid att det var mer fruktbart att gå till källorna först, att börja med att bredare undersöka vilka modeller som existerar, och hur och var de är tänkta att användas. Studiens resultat blir därför också mer övergripande och teoretiska till sin karaktär. De behöver prövas i praktiken för att ge ökad möjlighet till att utveckla kunskap.
4:2 Tillvägagångssätt, sökstrategi och urval
Litteratursökningen i en systematisk litteraturstudie kan ske manuellt eller med datasökning, på egen hand eller med hjälp av en bibliotekarie, vanligtvis både och. Den manuella sökningen kan göras genom att t.ex. studera referenslistan i en intressant artikel eller bok, eller läsa innehållsförteckningen i en relevant tidskrift för vetenskapliga artiklar. Databassökningen görs vanligtvis via tillgängliga, gratis databaser på Internet, eller via olika bibliotek (Forsberg och Wengström, 2008, s. 80f). Vid faktasökning i olika databaser är det centralt att formulera rätt frågor, att bestämma sig för hur gamla arbeten som skall få ingå, vilket eller vilka språk som är aktuella samt vilka studietyper som är intressanta. Sökningens resultat redovisas i antal funna poster, eller träffar. Vanligtvis väljs sökord genom att utgå ifrån ord i frågeställningen och söka på enstaka ord eller kombinationer av ord (a.a., s. 85). Utifrån samtal och diskussioner med initierade och kunniga personer inom området så har jag valt att använda mig av databaserna ”PsycINFO” samt ”Social Services Abstracts” i min undersökning (se bilaga ett). PsycINFO är en internationell databas och innehåller vetenskapliga artiklar, böcker, kapitel och avhandlingar inom psykiatri, beteendevetenskap, sociologi och psykologi. Social Service Abstracts innehåller vetenskapliga, internationella referenser inom socialt arbete, socialpolitik m.m. Jag har vidare, för att hitta de bästa och mest relevanta ämnesorden/sökorden för databassökningen samt få en rimlig avgränsning, prövat olika ord och kombinationer i ”Thesaurus” (se bilaga ett). Detta är en ämnesordslista som finns på varje databas hemsida. Inom PsycINFO rekommenderas sökorden social casework, evaluation och models. Inom databasen Social Services Abstracts så rekommenderar Thesaurus social work, psychosocial, evaluation, models, almoner samt health care services. Utifrån detta valdes sökorden.
4:3 Avgränsning
Utbudet av intressanta vetenskapliga texter inom områdena psykosocialt arbete och utvärdering är mycket omfattande, och jag har av utrymmesskäl koncentrerat mig på några delar av utvärderingsforskningen. För att hitta relevanta böcker av svenska och utländska forskare i ämnet gjordes sökningar i LIBRIS, och referenslistan till centrala böcker studerades. I LIBRIS är det också möjligt att få en fingervisning om hur centrala/använda böckerna är, eftersom det där finns redovisat hur många bibliotek som har respektive bok. Sökningen efter utvärderingsmodeller utgår också ifrån råd och tips av min handledare Pia Aronsson, Örebro Universitet, när det gäller centrala personer och böcker nationellt och internationellt inom utvärderingsområdet. Vidare är databaserna många och utbudet av vetenskapliga texter i dem oöverskådligt. Utifrån diskussioner med initierade personer används databaserna PsycINFO samt Social Services Abstracts i den systematiska litteraturstudien. Sökorden är framtagna genom resonemang med min handledare och bibliotekspersonal, samt utifrån ”Theasaurus” rekommendationer. De inklusionskriterier som används i studiens sökning i databaserna, förutom att artiklarna skall vara vetenskapliga, engelskspråkliga och inte äldre än 20 år, är att de skall beskriva och diskutera utvärderingsmodeller (möjligen perspektiv), eventuellt relevanta för psykosocialt arbete inom hälso- och sjukvården. Samma kriterier gäller för övriga källor. Där ingår dock även svenskspråkliga texter. Inklusionskriterierna används för att begränsa urvalet samt fokusera på nyare forskning. Självklart finns det en risk att jag genom att göra ovanstående urval och avgränsningar inte får med artiklar eller böcker etc. som hade kunnat ge viktig kunskap, eller förändra min studies resultat.
I enlighet med Silvermans rekommendationer används endast en forskningsmetod, i mitt fall en litteraturstudie (Silverman, 2010, s. 134f). Jag väljer också en specifik teori att utgå från i mitt arbete, vilket naturligtvis påverkar vad jag fokuserar på och vad jag ”upptäcker” (a.a., s. 103f; Larsson, Lilja och Mannheimer, 2005, s. 24). Silverman anser också att det är klokt att vara måttlig i sina ambitioner när man studerar eller forskar på olika nivåer. Studien måste inte vara ”originell”, med banbrytande nya fakta eller resultat, men den bör vara meningsfull och tillföra forskningen något (Silverman, 2010, s. 180). Detta anser jag att mitt arbete uppfyller. I utvärderingssammanhang används en stor mängd begrepp som åsyftar liknande fenomen, exempelvis utvärderingsmodeller, utvärderingsperspektiv, utvärderingssystem eller utvärderingsdesign. Detta gör också forskarna i förekommande studie. Jag har valt att använda mig av begreppet utvärderingsmodell, eftersom det är ett i utvärderingslitteraturen ofta använt begrepp. Enligt min bedömning är det också den benämning som bäst täcker in det jag studerar. Det fungerar även bra som engelskt sökord (models). Det finns naturligtvis en risk att en användning av detta begrepp förenklar, generaliserar och begränsar området och utesluter information. Åberg anser dessutom att presentationen och åskådliggörandet av utvärderingar med hjälp av modeller var vanligast fram till mitten av åttiotalet, ”medan modernare presentationer av utvärderingars teori och praktik utgår ifrån bredare frågor under mottot att anpassa varje projekt till sin konkreta och komplexa situation” (Åberg, 1997, s. 28). Enligt min mening är det emellertid relevant med användandet av begreppet utvärderingsmodeller.
4:4 Reliabilitet, validitet och källkritik
”Det som benämns reliabilitet och validitet i kvantitativa studier uttrycks med begrepp som pålitlighet, överensstämmelse och noggrannhet i kvalitativa studier” (Forsberg och Wengström, 2003, s. 144f). Reliabilitet handlar om i vilken utsträckning man uppnår samma resultat vid upprepade studier av samma fenomen (a.a., s. 107; Grönmo, 2004, s. 220f). Detta innebär en svårighet när det gäller insamling av kvalitativa data, som i den systematiska litteraturstudie som ligger till grund för mitt arbete (se Grönmo, 2004, s. 220). Det beror bl.a.
på att många fenomen i samhället ständigt förändras, och att en del undersökningsobjekt till sin natur är mycket komplexa och medför svårigheter att upprepa datainsamling på exakt samma sätt av olika personer vid olika tidpunkt (a.a.). ”Hög reliabilitet förutsätter /…/ att datainsamlingen genomförs grundligt och systematiskt” (a.a.), och urvalet av typ av information är centralt (a.a.). Jag har i min studie strävat efter en så hög grad av reliabilitet som möjligt genom att söka följa de krav på den systematiska litteraturstudien som beskrivs i kapitel 4:1. Litteraturstudien redovisas också i sin helhet i bilaga ett, för ökad öppenhet och insyn. Vidare presenterar och motiverar jag använda sökord och sökvägar i de olika databaserna, dels i uppsatsen (kapitel 4:2 och 4:3) och dels i bilaga 1. Vad gäller övriga källor så är det naturligtvis möjligt att utgå ifrån andra forskare, och andra relevanta böcker i ämnet. Mitt urval blir här mer subjektivt, och det innebär en lägre grad av reliabilitet.
”Validitet handlar om datamaterialets giltighet för de problemställningar som skall belysas” (a.a., s. 221). ”Validiteten är hög om undersökningsprojektet och datainsamlingen resulterar i data som är relevanta för problemställningarna” (a.a.), och validitet uttrycks ofta i frågor som rör i vilken utsträckning ”en metod undersöker vad den är avsedd att undersöka” (Kvale och Brinkmann, 2009, s. 264). Detta diskuteras en del under kapitel 4:1, där jag menar att min studies val av metod, undersökningsobjekt och informationstyper är relevanta för studiens syfte och frågeställningar, även om andra metoder och objekt hade varit möjliga. Jag har också, för att öka studiens validitet, sökt definiera centrala begrepp på ett tydligt och strukturerat sätt (se a.a., s. 221).
Mitt val av undersökningsmetod innebär att jag enbart utgår ifrån olika typer av dokument, d.v.s. sekundärdata (Grinell, 1997, s. 391ff). De källor som är centrala i studien blir därför av stor vikt. Dokument kan innehålla både åsikter och fakta, och systematiska undersökningar av dem kallas innehållsanalys (a.a., s. 125). Det innebär att ”dokumenten gås igenom på ett systematiskt sätt med sikte på kategorisering, registrering och analys av innehållet” (a.a.). Valet av källor behöver ske utifrån ett kritiskt förhållningssätt, baserat på olika typer av källkritiska bedömningar. Källorna skall vara tillgängliga, relevanta, autentiska (d.v.s. äkta) samt trovärdiga (a.a., s. 125f). De källor jag utgår ifrån i studien är framtagna på ett systematiskt sätt. Det handlar dels om dokument ifrån två internationella, vetenskapliga databaser. Dessa artiklar har, före publicering, genomgått kritisk granskning av experter inom respektive forskningsområde (Forsberg och Wengström, 2003, s. 64f). De är tillgängliga för andra genom att de är möjliga att hitta i olika databaser, och de är tillförlitligt och enhetligt presenterade (a.a., s. 66). Min undersökning innehåller också andra typer av källor. Jag presenterar och diskuterar dem i kapitel 4:3, och jag har sökt att uppfylla kraven på tillgänglighet, relevans, äkthet och trovärdighet på samma sätt som med de vetenskapliga artiklarna. De är dock framtagna med ett större mått av subjektivitet än urvalet i den systematiska databassökningen. Andra forskare kanske skulle anse andra typer av källor vara mest relevanta i sammanhanget.
5. Etik
I studien beskrivs och analyseras endast texter som redan är ”in the public sphere” (Silverman, 2006, s. 257). Inga undersökningsgrupper används och inga observationer eller intervjuer genomförs. Dock är det så att forskarens värderingar alltid påverkar hans eller hennes arbete, och bl.a. styr vad som studeras, varför man studerar det och hur det studeras. Likaså är forskarens tankar, arbete och slutsatser alltid grundade i personliga moraliska och politiska ståndpunkter och möjliga att utläsa i studien (a.a., s. 257). Vid systematiska litteraturstudier finns det ett antal etiska överväganden som behöver göras, bl.a. när det gäller vilka resultat som väljs ut och presenteras. Det är centralt att ”välja studier som har fått
tillstånd från etisk kommitté eller där noggranna etiska överväganden har gjorts” (Forsberg och Wengström, 2003, s. 73). I den systematiska litteraturstudien har jag utgått från detta. Vidare skall alla artiklar som ingår i litteraturstudien redovisas, och både resultat som stöder respektive motsäger forskningshypotesen presenteras (a.a. s. 74). Jag har i min studie sökt ta hänsyn också till detta, bl.a. genom att presentera den systematiska litteraturstudien i sin helhet i bilaga ett.
Det är tyvärr vanligt att humanistisk och samhällsvetenskaplig forskning i praktiken sker utan att man tagit relevant hänsyn till forskningsetisk granskning och reflektion. Det finns ett flertal centrala dokument av betydelse för forskning som involverar människor, men det är också viktigt att tänka över etikfrågor i forskning som inte direkt involverar människor. Det
tidigare Humanistisk-samhällsvetenskapliga forskningsrådet (HSFR) har utvecklat
”Forskningsetiska principer i humanistisk-samhällsvetenskaplig forskning”, vilket är ett dokument som tidigare haft stor relevans som underlag för etiska bedömningar. Detta dokument anser emellertid Vetenskapsrådet vara delvis förlegat, och använder det därför inte längre. Den så kallade Etikprövningslagen (2003:460) ändrade 2008 sin definition av begreppet forskning, till att nu betyda ”vetenskapligt experimentellt eller teoretiskt arbete för att inhämta ny kunskap och utvecklingsarbete på vetenskaplig grund, dock inte sådant arbete som utförs inom ramen för högskoleutbildning på grundnivå eller på avancerad nivå”. Etikprövningen skall också ske även här i vissa fall, då det finns en ”uppenbar risk att skada forskningspersonen” (CODEX, 2010a). Detta kan t.ex. bli aktuellt vid enkäter eller intervjuer (a.a.). I nämnda undantag för formell etikprövning ingår således min studie.
För forskaren finns det som sagt många mer eller mindre tvingande regler och föreskrifter som styr det praktiska arbetet. Det är dock så att grunden för all forskningsetik utgörs av forskarens eget etiska ansvar. Det är han eller hon som själv ytterst har ansvaret för att tillse att forskningen är av god kvalitet och att den är moraliskt acceptabel. Forskaren har alltid det primära ansvaret gentemot informanter, patienter eller försökspersoner (CODEX, 2010b). I min undersökning så har jag emellertid inte med några sådana. Vidare styr yrkesetiken inom de humanistiska och samhällsvetenskapliga områdena där forskaren verkar vederbörandes arbete (a.a.). I mitt fall är det ”Yrkesetiska riktlinjer för socionomer” (Akademikerförbundet SSR, 2004) som kommer i fråga, eftersom jag själv är verksam som socionom/kurator. En del av studien genomförs också med utgångspunkt i min arbetsplats verksamhetsplan. De yrkesetiska riktlinjerna för socionomer anger i huvudsak en ”generell professionsetisk inriktning som vägledning för ställningstagande i enskilda valsituationer” (a.a.). Vidare poängteras värderingars grund och betydelse i det teoretiska och praktiska sociala arbetet samt vikten av att vara medveten om de etiska problemområden man som socionom ställs inför. Här nämns t.ex. lojaliteter och förpliktelser till lagen, kollegor, överordnade och klienter, problemen med att förena rollen som hjälpare och kontrollant, samt frågor om självbestämmande och tvång (a.a.). Dessa problemområden blir också ytterst aktuella, menar jag, när det handlar om utvärderingar i socialt arbete, och således är dessa frågor viktiga i min uppsats. Följande två citat åskådliggör detta på ett bra sätt: ”/…./ Valet av utvärderingsmodell har värdemässiga aspekter som det är viktigt för beslutsfattare att begrunda innan man tar ställning för en viss strategi och modell /…/” (Karlsson, 1999, s. 61). "Det är emellertid så att utvärdering också inrymmer avgörande frågor som har att göra med styrning av makt och kontroll /…/” (Franke – Wikberg, 1992, s. 14).
6. Resultat
Här nedan följer en kort presentation av 15 forskares modeller för utvärdering, numrerade från 1-15. Numreringen återkommer under tabell ett. Under 6:1 redovisas åtta artiklar, och
under 6:2 presenteras resultatet från övriga källor. Uppdelningen innebär ingen skillnad i kvalitet eller vetenskaplighet mellan respektive källor, utan är endast en indelning för att tydliggöra materialets ursprung.
En sökning med hjälp av sökorden och kombinationen models and social casework and
evaluation, ger i databasen PsycINFO 12 träffar. Jag studerar abstracts till samtliga 12 texter.
Åtta stycken är relevanta och intressanta för studien. Två av dessa artiklar väljs bort. Återstår alltså sex stycken (se bilaga ett). En sökning med hjälp av sökorden och kombinationen
models and social work and evaluation and health care services and almoner, i databasen
Social Service Abstracts, ger en träff. För att öka antalet träffar väljs sökorden och
kombinationen models and social work and evaluation and health care services and
psychosocial. Detta ger 18 träffar. Jag studerar abstracts till dessa 19 texter. Efter
genomläsning görs bedömningen att fem stycken är relevanta och intressanta för studien. Samma inklusionskriterier som vid sökningen i PsycINFO används. Jag väljer bort en av artiklarna, och det återstår alltså fyra stycken. Efter ytterligare granskning av de sammanlagt tio artiklarna, görs bedömningen att två av dem inte uppfyller inklusionskriterierna, och de ingår därmed inte i den kommande presentationen och analysen (se bilaga ett).
6:1 Resultat från databassökningarna
1. Shaw och Shaw skriver om de utvärderingsmodeller/alternativ, som används idag av socialarbetare. De har undersökt socialarbetares upplevelser av utvärdering, och deras poäng är att ingen av dem är bra nog. Det behövs därför ett radikalt alternativ, något de kallar för ”Evaluating in practise” (Shaw och Shaw, 1997, s. 862ff).
2. Kharicha, Levin, lliffe och Davey analyserar i sin artikel sätt att utvärdera resultat av samarbetet mellan socialarbetare och hälso- och sjukvårdspersonal inom äldrevården. De menar att detta hittills inte studerats på ett tillfredsställande sätt. Själva behandlingsprocesserna inne i verksamheter har studerats någorlunda ingående, men brukarnas och anhörigas upplevelser av resultat och effekter av samarbetet har inte utvärderats tillräckligt (Kharicha m.fl., 2004, s. 134). Forskarna ger i sin skrift förslag på vad utvärderingar i detta sammanhang behöver undersöka och fokusera på. De skriver bl.a. att utvärderingarna måste vara jämförande, de måste noga undersöka innehållet i interventionerna, och både målrelaterade resultat och brukarorienterade utvärderingar måste ingå i studierna. Vidare så måste systematiska utvärderingar även beakta ekonomiska aspekter (a.a., s. 134).
3. Drisco undersöker hur utvärdering av den sociala praktiken och psykoterapiforskningen uppfattats inom socialt arbete och näraliggande områden under de senaste 100 åren. Han går kronologiskt tillväga och utgår från fyra perioder, där modeller för utvärdering presenteras för varje period. Karakteristik, svårigheter och utmaningar för varje generation utvärderingsmodeller redovisas. Drisco konstaterar inledningsvis att man redan 1878 ser en djup klyfta mellan forskning och praktik i socialt arbete, och den är tydlig än idag (Drisco, 2000, s. 185f). Den första perioden varade mellan åren 1898-1952 (a.a., 186ff), den andra mellan 1952-1973 (a.a., 192ff), den tredje mellan åren 1973-1985 (a.a., 195ff) och den fjärde mellan 1985 och fram till idag. Under denna tid började krav komma på att studenter till socialarbetare skulle utbildas i metoder för utvärdering av den sociala praktiken (a.a., s. 197ff). Jag väljer av utrymmesskäl att i min studie endast redovisa modellerna för utvärdering av det sociala arbetets praktik i den fjärde perioden.
4. Kazi menar i sin artikel att det realistiska paradigmet i utvärderingsforskning, överfört till det sociala arbetets praktik, har förmågan att skapa en ”white box” evaluation (Kazi, 2003, s. 803). Detta innebär att en utvärdering med utgångspunkt i detta perspektiv inte bara undersöker resultat, utan också ”the mechanisms that produce the outcomes, the contexts in
