Examensarbete i socialt arbete Malmö högskola
61-80 p Hälsa och samhälle
Socionomprogrammet 205 06 Malmö
maj 2011
Hälsa och samhälle
SVALÖVS FLYKTINGENHETS
ARBETE FÖR NYANLÄNDA
INVANDRARE
EN UTVÄRDERING MED BRUKAR-
OCH INTRESSENTFOKUS
HANNE HÖGLUND RYDÉN
FRANS AF MALMBORG
SVALÖVS’ REFUGEE UNITS’
INTRODCTION WORK TOWARDS
NEWLY ARRIVED IMMIGRANTS
AN EVALUATION BASED ON THE USER-
STAKEHOLDER MODEL
HANNE HÖGLUND RYDÉN
FRANS AF MALMBORG
Höglund Rydén, H.& af Malmborg, F. Svalövs introduktionsarbete för nyanlända flyktingar. En utvärdering med brukar- och intressentfokus. Examensarbete i
socialt arbete 30 poäng. Malmö högskola: Hälsa och Samhälle, enheten för
socialt arbete, 2011.
The following report is a constructive responsive evaluation of Svalövs communes unit for newly arrived refugees based on a qualitative user- and stakeholder model. The main purpose is to evaluate the units’ quality from a user and stakeholder perspective. The main findings are that the users and stakeholders are satisfied with the quality of the units’ services. Thus the users request further social and structural participation. The evaluation provides new organizational understanding and constructive feedback from a systems theory perspective. The conclusion is that further insight in systemic analysis of the intervention is of importance to further develop the units’ perceived success.
Key words: evaluation, systems theory, user/stakeholder model, double loop
Innehållsförteckning
Inledning 5
Ansvarsfördelning ... 7 Disposition ... 7 Bakgrund ... 8 Utvärderingens objekt ... 8 Tidigare forskning ... 10 Syfte ... 13Intressentutvärdering med brukarfokus ... 16
Teori
18
Utvärdering - perspektivskiften ... 18Den experimentella synen ... 19
Den pragmatiska synen ... 19
Den perspektivmedvetna synen ... 20
Den konstruktiva synen ... 20
Kritiska perspektiv på utvärdering ... 21
Utvärdering som självuppfyllande profetior ... 21
Utvärdering som avpolitisering av politiska tvistefrågor ... 22
Interventionsteorin ... 23
Det systemteoretiska perspektivet - att se helheter, relationer och sammanhang ... 24
Systemens karaktär – begrepp och metaforer ... 25
Feedback ... 26
Bunden rationalitet kontra helhetsbild ... 27
Det systemteoretiska brottet med den kausala logiken ... 28
Det levande, självskapande systemet ... 29
Sammanfattningsvis – vad säger detta om flyktingenheten i Svalövs kommun? ... 29
Metod
31
Datainsamling ... 32 Validitet ... 32 Reliabilitet ... 33 Intervjuförfarande ... 34 Fokusgrupper ... 35 Val av intervjufrågor ... 36 Urval ... 37 Etiska överväganden ... 38 Analys av datamaterialet ... 39Metod som helhet ... 40
Resultat och analys 41
Svalövs arbete med introduktionsprogrammet ... 42Brukarperspektivet ... 42
Intressentperspektivet ... 44
Samverkanspartners arbete med introduktionsprogrammet ... 48
Svenskundervisningen ... 48
Samhällsinformation ... 50
Arbetsförmedlingen ... 50
Övriga föreslagna förbättringsområden ... 51
En kulturell samlingsplats ... 51
Gemensamma mötesplatser med ”svenskar” ... 52
Gemensam regional utvecklingspool ... 53
Sammanfattning och slutsatser ... 54
Ett steg ifrån – enhetens yttre effektivitet ... 55
Slutdiskussion
57
Kvalitet i integrationen? ... 57Individen svag i systemet ... 58
Hinder för samverkan – bunden rationalitet ... 59
För hög institutionalisering? Finns det alternativa vägar för delaktighet? ... 60
Att verksamhetsutveckla inifrån ... 62
Förslag på fortsatt forskning
64
Att vända på steken – argument för bottom-up utvärdering ... 61Litteratur 67
Tryckta källor ... 67Myndighetsdokument ... 68
PDF dokument ... 69
Bilagor
Bilaga 1: Beställningsdokument för utvärderingen Bilaga 2: Diarienummer, beslut om etisk prövning Bilaga 3: Intervjuguide, fokusgrupper
Inledning
Sverige står idag inför ett integrationspolitiskt dilemma. För det första står Sverige inför en starkt tilltagande invandring. Statistiska centralbyrån presenterar i befolkningsstatistiken från 2009 att invandringstakten i stort sett har ökat markant från 1995 till 2009 med cirka 40 000 till över 100 000 nyanlända (Tabeller över
Sveriges befolkning 2009). Så som situationen ser ut i dagsläget med de aktuella
upproren i Nordafrika och mellanöstern söker allt fler skydd i europeiska länder. För Sveriges del finns det inte heller några direkta tecken på att invandringen kommer att minska. Samtidigt ställs allt högre krav på effektivitet i den offentliga sektorn och i flyktingpolitiken. I dagens offentliga debatt tycks det som om vi fortfarande ligger i kölvattnet av New public managementidéernas storhetstid. Det handlar idag ofta om att konkurrensutsätta, skapa valmöjligheter för klienter, privatisera och effektivisera offentlig verksamhet. Det tycks som att många offentliga verksamheter när veckan är slut ”hänger löst” i en alltmer konkurrensutsatt offentlig sektor.
Uppföljning och utvärdering har i denna debatt skapat sig en betydelsefull roll inom den offentliga förvaltningen. Både för att säkra kunskap genom uppföljning samt att bilda ny kunskap genom utvärdering. Detta kan på ett vis tolkas som ett svar på de tilltagande kraven på effektivisering men även mot bakgrund av en ökad decentralisering och målstyrning i den offentliga sektorn sedan slutet på 1980-talet (Lundahl & Öquist, 2002). Utvärdering i den offentliga sektorn har bedrivits på olika sätt från 60-talet och framåt, perspektivskiften och paradigm nom denna tradition har avlöst varandra och i grund och botten kan man urskilja två olika angreppssätt; den kvantitativt orienterade och den kvalitativt orienterade utvärderingen.
Denna kategorisering innebär egentligen endast en skillnad i synsätt på den studerade verkligheten, vilken kastar ljus på olika delar och funktioner i de färdiga utvärderingarna. Utvärdering betraktas idag som en vetenskaplig sysselsättning och de färdiga utvärderingsrapporterna ger därmed återklang i den offentliga debatten. Vi anser att det i denna debatt råder en brist på förståelseorienterade kvalitativa ansatser och att man genom kvantitativa utvärderingar i för stor grad strävar efter effektivitetsmätning (eng. performance measures) och jämförelse framför utvärderingar som främjar organisationers lärande.
Den ökade marknadiseringen och privatiseringen av den offentliga sektorn anser vi påverkar debatten mot ett ensidigt effektivitetstänkande kring offentlig verksamhet. Detta framgår tydligt när det gäller sociala problem och utbildning. Benchmarking i skolor samt kvalitetssäkring genom evidensbaserat socialt arbete och lärarlegitimation anser vi vara att applicera förenklade förklaringsansater på komplexa fenomen. Av denna anledning förespråkar vi en förlängning av kvalitetsdiskussionen där man bör inkludera även brukaren. Denna utvärdering bör på så vis ses som ett viktigt komplement till dagens debatt där den kvantitativa traditionen råder. Utvärderingen skiljer sig från andra mer kvantitativt orienterade och kontrollerande utvärderingar på så vis att den är kvalitativ och förståelseorienterad.
Uppsatsen tar sig formen av en brukar och intressentorienterad utvärdering av en lokal flyktingenhet i Svalövs kommun. Flyktingenheten har som kommunal uppgift att lotsa in nyanlända invandrare i kommunen. Introduktionen riktar sig till nyanlända invandrare som fått asyl och permanent uppehållstillstånd i Sverige. Svenskundervisning, samhällsinformation och praktik är några delar som skall ingå i det så kallade introduktionsprogrammet för den nyanlände, som i grunden ska baseras på individens hälsa, tidigare arbetserfarenheter, utbildning men även individens egna mål. Riktlinjer och bedömningskriterier för utvärderingen har hämtats ur den styrande propositionen Sverige framtiden och mångfalden – från
invandrarpolitik till integrationspolitik (1997/98:18) som ligger till grund för
kommunernas enskilda flyktingmottagande
Utvärderingen kommer främst att utgå från brukarnas men även enhetens samverkanspartners upplevelser av enhetens effektivitet och kvalitet. Denna typ av utvärdering hör hemma i Vedungs (2009) kategori aktörsmodeller för utvärdering där vi använder oss av ett deskriptivt värderingskriterium. Detta innebär att vi inte utgår från enhetens interna målsättningar eller kvantitativa måluppfyllelse utan vi använder oss av kvalitativa metoder i form av fokusgruppsintervjuer och enskilda intervjuer för att ge brukarna och intressenterna möjlighet själva värdera verksamheten utifrån egna premisser. Brukarutvärdering har förespråkats ur ett maktutjämningsperspektiv, där brukaren istället för att agera passiv mottagare, skapar sig en aktiv roll i de insatser som faktiskt berör brukaren själv. På så vis får brukaren makt att påverka sin egen situation, något som även beskrivits som demokratiargumentet för brukarutvärdering. Vidare kan man se det som en typ av serviceanpassning, för att servicen ska anpassas efter de brukare som den faktiskt riktar mot, även kallat
serviceanpassningsargumentet (Dahlberg & Vedung, 2001).
Värt att veta är att den 10 december 2010 trädde en ny lag i kraft som förändrar arbetet för de berörda aktörerna i den nyanländes introduktion. Regeringens proposition 2009/10:60 Nyanlända invandrares arbetsmarknadsetablering –
egenansvar med professionellt stöd förskjuter det övergripande ansvaret från
kommunen till staten och lägger ett ökat ansvar på arbetsförmedlingen att lotsa den nyanlända in på den svenska arbetsmarknaden.
Denna utvärdering riktar sig till det arbete som bedrevs innan reformen och den
nya lagen trädde i kraft. Då kommunernas flyktingenheter fortfarande hade det
övergripande ansvaret för den nyanländes introduktion och guidning. Utvärderingens datainsamling riktar sig således mot de brukare som varit i kontakt med enheten och tagit del av programmet från den 1 december 2010 och tre år bakåt i tiden.
Att vi som externa socionomstudenter utvärderar denna verksamhet har gett oss mycket frihet att utforma utvärderingen själva, trots att ett kvalitativt fokus var efterfrågat från början, gör att vi med ett utifrånperspektiv kan bidra med att studera enheten ur ett annat ljus. Att utvärdera från det sociala arbetets kontext gör att vi fäster stor vikt vid kontextuell förståelse av fenomenet. Målet är att via en upplysande användning (Vedung, 2009) av utvärderingen kunna bidra till lärande inom de organisationer som ämnet berör.
Ansvarsfördelning
Vår första tanke med arbetet var att vi skulle skriva det tillsammans. Det första vi gjorde var att båda två läsa propositionerna som legat till grund för introduktionsprogrammet tillsammans och diskutera dessa. Efterhand föll ansvarsfördelningen naturligt. Därför kom vi fram till att dela upp de två största delarna i förarbetet, teorin och metoden. Dessa tog vi separat ansvar för där vi själva gjorde litteratursökningar som vi utvecklade på egen hand. Frans skrev teorin och Hanne skrev metoden.
Förutom själva uppsatsskrivandet har det funnits många praktiska moment i arbetet. Dessa har vi haft ett delat ansvar över och täckt upp för varandra tidsmässigt. Vi har haft en vilja att göra allting tillsammans och för att få enhetligt arbete har vi diskuterat ny litteratur allt eftersom den uppkommit som relevant. Vi har haft kontinuerliga möten med Svalövs flyktingenhet där vi har stämt av arbetet, fått hjälp med praktiska moment så som kontakt med informanter och information om enhetens arbete. Båda har varit med på samtliga möten med enheten och på så vis bidragit i diskussioner om arbetets fortsatta upplägg. Man kan säga att vi hela tiden har haft en samsyn och konsensus kring arbetet och på så vis är uppsatsen/utvärderingen frukten av bådas gemensamma helhjärtade engagemang och tankearbete.
När det kommer till intervjuerna har vi haft ambitionen att vi båda skall ha varit närvarande vid samtliga tillfällen. Dock har detta av praktiska skäl inte gått vid tre tillfällen. Av den anledningen har Hanne deltagit i en intervju mer än Frans. Det har varit en lång resa som vi båda har gjort tillsammans och man kan säga att vi har kompletterat varandras brister på vägen. Eftersom det sammantagna arbetet växt fram som en gemensam förståelse för det studerade fenomenet har inledningen, resultatanalysen, slutdiskussionen och förslagen på den fortsatta forskningen skrivits tillsammans.
Disposition
Denna uppsats tar sig formen av ett något baktungt timglas, snarare än en tratt. Vi börjar väldigt brett i breda formuleringar kring området. Konkretiserar och smalnar av ned mot vår sammanfattning av våra resultat. Hopkoket av detta utvecklas sedan i slutdiskussionen för att studera resultaten i förhållande till den övergripande helheten.
Utvärderingen tar sin början i en inledning där vi förklarar den flyktingpolitiska kontexten i relation till utvärdering samt vårt kvalitativa grundläggande förhållningssätt. Denna inledande del innehåller bakgrund, tidigare forskning, syfte och vår utvärderingsmodell. Detta utgör den informationsbas som ligger till grund för sammanhangsmarkeringen i arbetet. Teoridelen behandlar den vidare förståelsen av vårt studieobjekt i relation till ett väl genomarbetat utvärderingsbegrepp samt vår systemteoretiska förståelse. På detta följer metoddiskussionen, vilken beskriver utvärderingsprocessens alla praktiska moment. I resultat och analysdelen kokar vi ihop, sammanställer och analyserar våra data och i slutdiskussionen lyfter vi blicken än en gång för att se det studerade fenomenet i en vidare kontext.
Bakgrund
Utvärdering är ett relativt nytt fenomen och har på senare tid blivit allt mer populärt och fått ett genomslag både i offentlig och privat sektor (Vedung, 2009). I och med en ökad privatisering som har följt allt sedan New public management vågen mellan 1980- och 90-talen har det ställts allt högre krav på kvalitetssäkring av verksamheter både ur en effektivitetssynpunkt men även för att legitimera den offentliga förvaltningens existens. Fokus har gått från synsättet att brukarna av den offentliga tjänstesektorn är klienter till ett mer kundfokuserat synsätt där man vill möta brukarnas förväntningar (Lundahl & Öqvist, 2002).
Utvärdering och uppföljning kan göras med många olika syften och förevändningar och som vi ser det är det utvärderingens användning som är av intresse. Det är inte meningen att de ska ligga och samla damm på hyllan. Utvärderingens användning har en bred räckvidd och kan innebära olika saker beroende på vem som gör utvärderingen och på beställarens syfte. Utvärdering kan vara allt från att verka existensberättigande för verksamheter i form av legitimerande utvärderingar till att främja verksamhetens lärande ur ett kvalitetssäkrande perspektiv (Vedung, 2009).
Det bubblar en kritik mot att utvärderingars informativa del inte kommer till nytta och att ingen tar del av de slutgiltiga rapporterna (Vedung ibid). I vårt arbete med denna utvärdering förutsätter vi motsatsen. Vi anser att anledningen till att många utvärderingar inte kommer till nytta är att de inte är gjorda med ett verksamhetsutvecklande fokus. Av denna anledning har vi även identifierat de intressenter som deltar i den utvärderade interventionen samt engagerat dem genom att ge dem möjlighet att komma med egen konstruktiv feedback ur deras synvinkel. På så vis har vi aktiverat intressenter/samverkanspartners och brukare i en verksamhetsutvecklande konstruktiv dialog kring verksamhetens arbete.
Utvärderingens objekt
Utvärderingen kommer att gälla Svalövs flyktingenhets verksamhet. Enheten har ansvar för introduktionen för nyanlända i kommunen och förmedlar kontakt med andra myndigheter. Enheten arbetar på uppdrag av migrationsverket. Det som ligger till grund för denna utvärdering är en beställning att från enhetens sida för förstå hur deras arbete upplevs ur ett brukar/intressentperspektiv. Kvalitet och bemötande är de huvudteman som ligger till grund för studien och brukarna får reflektera och beskriva hur de ser på och upplever detta i det arbete som enheten utför. Bakom arbetet med utvärderingen har vi också ett antal propositioner och tidigare forskning inom ämnet. Detta för att förstå den flyktingpolitiska kontexten och kunna lyfta upp relevanta frågor.
Om man som flykting får asyl i Sverige har man rätt till etableringsinsatser i det svenska samhället. En viktig bestämmelse i flyktingpolitiken som har skiftat över tiden har varit frågan gällande vem som ska ha det övergripande ansvaret för arbetet med integrationen. Som beskrivs i prop. 1997/98:16 lades det övergripande ansvaret för introduktionen av nyanlända över på kommunerna från att tidigare ha legat på arbetsförmedlingens bord. Nyligen har detta beslut åter reviderats och från och med den 1 december 2010 trädde en ny lag i kraft som innebär att ansvaret återigen flyttas över från kommunen till staten.
arbetsförmedlingen ska åter ta huvudansvaret för det som på byråkratspråk har gått från att heta introduktionsinsatser till etableringsinsatser enligt lagen om
etableringsinsatser för vissa nyanlända invandrare (2010:197).
Ur detta perspektiv kan det bli intressant för flyktingenheten att göra en tillbakablick på arbetet som de har utfört under den tid då kommunen stått som huvudansvarig för introduktionen. Utvärderingen kan således verka både upplysande men också ge enheten en möjlighet att mäta dess kvalitet ur brukarnas perspektiv. Vid en eventuell uppföljning av verksamheten efter den nya propositionens ikraftträdande skulle man kunna studera om det finns några skillnader, vilka i så fall skulle vara intressanta att diskutera och sätta fingret på. Vikten av en fungerande samverkan mellan myndigheter har lyfts fram åtskilliga gånger i det bakgrundsmaterial som vi studerat. Ur denna aspekt kan man förstå att nyckeln till en lyckad introduktion i stort påverkas av hur samverkan mellan myndigheterna fungerar. Detta beskrivs i Länsstyrelsens rapport Från samverkan
till samarbete där länsstyrelsen identifierar hinder och utvecklingspotential för en
lyckad introduktion regionalt sätt (Länsstyrelserna, 2010). Här påpekas just problematiken när många aktörer ska arbeta tillsammans som brister i sin helhetssyn. För att samverka måste man också förstå varandras arbete och därför är kommunikation mycket viktigt mellan de olika myndigheterna. Det är utifrån detta synsätt som vi arbetar med utvärderingen. Att på ett systemteoretiskt sätt se till helheter och hur alla delar i den invandringspolitiska kontexten påverkar varandra i systemet skapar djupare förståelse för Svalövs flyktingenhet som en del i introduktionsprogrammet (det lilla systemet) samt introduktionsprogrammet mål och överrensstämmelse med övergripande omgivning som arbetsmarknad och delaktighet i samhällslivet.
Vikten av utvärdering har både påpekats i den gamla och den nya propositionen. Då låg det övergripande ansvaret av utvärdering och uppföljning hos det dåvarande Integrationsverket, vilket lades ned 2007. Nu ligger istället uppföljnings och utvärderingsansvar hos Länsstyrelserna och det nuvarande Migrationsverket enligt den nya propositionen Nyanlända invandrares
arbetsmarknadsetablering – egenansvar med professionellt stöd (2009/10:60).
Här poängteras vikten av utvärdering och uppföljning både i det stora men även lokalt. Introduktionsprogrammet skall följas upp för att kunna kvalitetssäkras. Idag ligger det stora uppföljningsansvaret på Länsstyrelserna, som kontinuerligt följer upp introduktionsprogrammen med kvantitativa enkätbaserade studier. Ur detta perspektiv är denna utvärdering ett viktigt komplement till denna kvantitativa uppföljning som ofta får mediefokus och används som slagträn i offentliga debatter (jmf. Vedung 2009 om utvärderingars användning).
Vikten av mer kvalitativa utvärderingar kan inte poängteras nog. I den tidigare propositionen 1997/98:16 Sverige framtiden och mångfalden beskrivs att det som sker den första tiden i Sverige också blir avgörande för framtiden i det nya landet. Med hänsyn till introduktionens stora betydelse för de nyanlända är en uppföljning av introduktionens betydelse och inverkan av största vikt. Att här kunna ge brukarna, de nyanlända, en röst i sammanhanget kan motiveras med en lång rad argument som vi kommer ta del av nedan. Men först ska vi ta en titt på vad tidigare utvärderingar kommit fram till.
Tidigare forskning
För att få en djupare kunskap och förståelse för vårt ämne har det varit viktigt för oss att sätta vår forskning i relation till tidigare studier på området. Det har därför varit relevant att studera tidigare utvärderingar av flyktingmottagande och introduktionsprogrammets effektivitet. Dessa olika utvärderingar som vi tagit del av har haft olika utgångspunkter, fokus och syfte. Detta har varit intressant och gett flera perspektiv på vår egen forskning. Bland denna tidigare forskning har vi valt att ta del av några utvärderingar dessa har baserat sig på brukarnas erfarenheter men också på uppfattningar och åsikter hos de handläggare. Det är handläggarna som arbetar med insatserna och genomför interventionen i det faktiska slutproduktionsledet som beskrivs i Vedungs (2009) interventionsteori. På detta sätt har vi även fått en inblick i hur några av de handläggare som arbetar med insatserna upplever arbetet med introduktionen. Det har också varit viktigt för oss att ta del av vad som har framkommit under tidigare utvärderingar från både brukare och intressentperspektiv. Detta för att kunna dra lärdom av detta och bygga vidare på en redan existerande kunskapsbas.
I de tidigare genomförda utvärderingarna som vi har tagit del av kan vi tydligt se att det framkommer liknande värderingskriterier som vi stött på i de studerade propositionerna. Sverige framtiden och mångfalden 97/98:16 belyser bland annat vikten av ett ökat krav på individualisering och beskriver en tro på ett individuellt engagemang hos de nyanlända. Detta är ett genomgående drag som präglar diskussionen i en utvärdering från 2006 Den aktive deltagaren. Denna utvärdering baserar sig på erfarenheter och åsikter hos handläggare som jobbar med introduktionen. Här diskuteras en strävan kring hur handläggarna allt mer ska tona ner sin roll som ”hjälpare” och istället agera som guider för individerna som bör ses som kapabla och drivna. Det är detta nya sätt att se på flyktingar som aktiva och kapabla, som banat väg för en ökad individualisering av introduktionen och som vi förstått ska genomsyra introduktionen av nyanlända flyktingar (Den aktive deltagaren, 2006, Sverige framtiden och mångfalden 97/98:16).
I Sverige framtiden och mångfalden (prop. 1997/98:16) belyses vikten av en individuellt anpassad introduktion. Detta för att ta bort stämpeln på invandrare som tillhörande en viss grupp. Propositionen beskriver att ett sådant essentiellt grupptänkande har uppmuntrat en segmenterande introduktion snarare än integrerande sådan. Frågan om huruvida en individuellt anpassad introduktion följs i praktiken diskuteras vidare i Den aktiva deltagaren (2006). Tanken som beskrivs här är att det individuella ligger i att individen själv ska styra sin bana genom introduktionen med handläggaren som sin guide. Detta resonemang kan tyckas låta något naivt med tanke på att man kan anta att få människor som har flytt sitt hemland kommer till Sverige fulla av energi och drivkraft. Dessa människor kan inte liknas vid nybyggarna i Nordamerika på 1500-talet och har inte av fri vilja slagit läger i ett nytt spännande land med drömmar och förväntningar i bagaget. Dessa flyktingar har tvingats fly sitt land och fått uppehållstillstånd, ofta på grund av att de hyst en välgrundad fruktan för förföljelse, hot och våld.
Denna kritik framkommer också i utvärderingen från 2006 där uppgiftslämnarna argumenterar emot ett allt för individualiserat tänkande. Detta ställer krav på individerna som långt ifrån alla kan uppnå vilket leder till att nyanlända, istället för att få en lyckad introduktion, faller utanför ramarna. Man kan säga att det råder en paradox mellan att som nyanländ inte veta vad man kan förvänta av det
nya samhället och förväntningen på den nyanlände att inta en aktiv roll och ställa krav på insatser. Utmaningen tycks ligga i att hitta en balans mellan det individuella och generella. Det individuella krockar med stereotyper och föreställningar om den nyanländas behov som försvårar individualiseringen. Bland annat kan stereotypa könsmönster förhindra individuell anpassning. Stereotypa bilder och antaganden blir prejudikat istället för individen vilket sätter individualiseringen i blåsväder (Den aktive deltagaren, 2006).
Enligt prop. 1997/98:16 ska introduktionen baseras på de mänskliga rättigheterna. Utifrån detta resonemang kan det tyckas att det individuella bör prioriteras utifrån ett mer människorättsligt perspektiv snarare än att för mycket baseras på individualitet mätt i form av krav och ansvarstagande. Alla människor är unika och har behov av olika stödinsatser vilket borde vara styrande och inte skuggas av kravet på eget ansvar. En balans mellan krav, uppmuntran och vägledning, föder enligt vår mening engagemang. Kravet på individuellt ansvar får inte bli allt för dominerande för att detta i sig kan bli ett hot mot individualiseringen. Individen glöms bort då fokus läggs på ansvar snarare än kontextuella förutsättningar. Det dåvarande Integrationsverket som enligt prop. 1997/98:16 har det övergripande uppföljningsansvaret för nyanländas introduktion beskriver i sin sammanfattande utvärdering Ett förlorat år (2007) att även strukturella hinder föreligger, som hämmar en effektiv introduktion. Arbetsmarknadens strukturella diskriminering, problematisk samverkan, otydlighet i uppdrag och samstämmiga mål är några av orsakerna till att introduktionen brister. De strukturella förutsättningarna är enligt utvärderingen otillräckliga för att en god introduktion ska komma till stånd.
En av handläggarna beskriver det som att arbeta i motvind. Hur kan man spika ihop ett hus om man har kunskapen men saknar hammare och spik? Samverkan kommer inte till stånd då det råder brist på ett samstämmigt synsätt då målbilder krockar med varandra. Detta blir hinder som stoppar upp introduktionsprocessen som blir kostsam och tidsödande. Dåliga styrdokument och höga visioner från politiker krockar med få resurser och tidspress. Tydliga styrdokument upplevs av uppgiftslämnarna som mycket viktiga för att samverkan inte ska baseras på egna tolkningar och inställningar. Eftersom alla människor som tar del av introduktionen har olika förutsättningar framkommer också av utvärderingen att handläggarna önskar mer flexibilitet gällande introduktionens längd (Den aktive deltagaren, 2006).
I Utveckling av introduktionen för nyanlända invandrare år 2002 tar man åter upp vikten av att olika myndigheter samverkar med varandra för att en så bra introduktion som möjligt ska komma till stånd. Att i ett tidigt skede få till stånd en effektiv samverkan påverkar hela integrationsprocessen. Att samverkan är viktigt är alltså förståeligt men utmaningen ligger fortfarande i hur en sådan skall komma till stånd. Processen kring integration är ett system där alla aktörer spelar en avgörande roll för att cirkeln ska slutas.
En annan utmaning som också tas upp för en lyckad introduktion är som tidigare nämnts att möta individuella behov. Utveckling av introduktionen för nyanlända
invandrare år 2002 avslöjar att kvinnor ofta erbjuds en sämre introduktion än
männen. Detta är något som vi kan koppla till det som beskrivs i Nyanlända
Där framkommer att nyanlända kvinnor har svårare att bli självförsörjande och ta sig in på arbetsmarknaden än männen. Om de inte prioriteras i processen så är detta resultat inte överraskande.
I utvärderingen Nyanlända kommenterar introduktionen från 2004 har vi fått inblick i hur andra brukare ser på introduktionen. Detta är en kvantitativ enkätutvärdering som görs varje år och som samtliga kommuner som bedriver introduktion kan ta del av och besvara. Den är baserad på NKI (Nöjd-Kund-Index) och frågorna är indelade i de olika områden som introduktionen behandlar och som vi diskuterat ovan. I denna utvärdering framkommer att de områden som upplevs brista i introduktionen är det återkommande problemet gällande arbetsmarknad, näringsliv och kontakt med hälsa och sjukvård. Det som är bristfälligt med denna typ av utvärdering är det stora bortfallet. Det framkommer i undersökningen att endast var femte individ svarar vilket sänker representativiteten i undersökningen. Det är bland annat utifrån detta argument som vi har valt att göra en kvalitativ studie baserad på intervjuer för att minska bortfallet. Det framkommer också att brukarna känner sig bra bemötta men att de samtidigt glöms bort i processen då de individuella förutsättningarna inte tas tillvara på ett bra sätt (Nyanlända kommenterar introduktionen, 2004).
Sammanfattningsvis kan vi säga att vi genom den tidigare forskningen kan se en röd tråd kring vilka faktorer som är viktiga att värdera verksamheter som arbetar med introduktionen mot. Studien Ett förlorat år (2007) pekar på områden i introduktionen av nyanlända flyktingar som behöver utvecklas såsom arbetsmarknad, samverkan och bostadsmarknad. De slutsatser vi kan dra efter att ha tittat på denna tidigare forskning är att ramverket för introduktionen inte efterlevs i praktiken. Utifrån vad som framkommer i både propositionerna och utvärderingarna beror detta främst på bristande resurser.
Vi vill i ljuset av det ovanstående rikta kritik mot den ”symtombehandling” som råder i diskursen kring individens roll i systemet. Detta tycker vi går igen i introduktionsarbetet. Man glömmer bort att se till helheten då det individualistiska tankesättet genomsyrar allt fler verksamheter. För att introduktionen ska fungera tillfredsställande krävs det en förbättrad samverkan mellan alla aktörer som är kopplade till introduktionen. Genom en god och effektiv samverkan kan man i introduktionsprogrammet skapa förutsättningar för individen att kunna bli delaktig i samhället. I Introduktion- men inte för alla (2004) tas vikten upp av att bedriva ett fortsatt arbete mot bättre samverkan. Här redovisas politikernas stöd som en viktig förutsättning för att samverkan ska fungera. Det talas också om en samsyn. Som vi nämnt innan är det viktigt för ett system att man förstår varandra och på så vis kan kämpa i en gemensam riktning. Utan denna vilja eller gemensamhetstanke är samverkan svårt att genomföra.
Vi vill i vår utvärdering dra lärdom från tidigare forskning och fokusera på introduktionsarbetet sett i sin helhet. Vi vill identifiera områden som brister för möjlighet till förbättring samt uppmärksamma de strukturer som fungerar väl. Genom information hämtad från tidigare forskning kan vi hitta utgångspunkter för viktiga frågor som vi själva kan ställa till brukarna och samarbetspartnerna men även dra paralleller mellan denna forskning och våra egna resultat och upptäckter. Detta gör vi med en tilltro till att de är brukarna som är experter på sitt område och den kontext som faktiskt utgör deras vardag.
Syfte
”Utvärderingsdiskursen genljuder av klagolåt över att evalueringar nonchaleras. Beslutsfattare beställer utvärderingar men tar inte del av rapporterna som får samla damm i hyllorna. De råd, rön och insikter som utvärderingar innehåller tas inte tillvara som underlag för beslut. Avgörande beslut fattas, innan beställda utvärderingar hunnit avslutas. Effektiva program skärs ner, tvivelaktiga reformer tillåts expandera. Information från utvärderingar kommer inte till nytta”
- Evert Vedung, Utvärdering i politik och förvaltning (2009) s. 255
Det finns en mängd olika syften med utvärderingar. Kontrollperspektivet kanske är det mest dominerande, vilket man kanske spontant tänker på när man för tankarna till utvärdering. Mål-resultatperspektivets kontrollsyfte innebär att man genom en enkel mål-resultatmodell utvärderar verksamhetens egen självdefinierade måluppfyllelse för se hur hög grad av måluppfyllelse man har. Utvärderingens slutsats blir ett mått på diskrepansen mellan de faktiska konsekvenserna samt de önskvärda på förhand definierade målen som verksamheten satt upp (Vedung, 2009).
Man kan även tala om utvärdering i ett grundkunskapsutvecklande syfte. Detta är ett mer teoriutvecklande syfte där man lägger grunden för lärande långt fram i tiden (Vedung, 2009). Detta kan man jämföra med det explorativa forskningsintresset i en vetenskaplig studie där forskaren ger sig ut i okänd terräng för att undersöka de första rönen kring ett nyfunnet begrepp (Rosengren & Arvidsson, 2005). Det kan även finnas ett strategiskt syfte med utvärderingar. Ur detta perspektiv kan en utvärdering beställas eller inledas på grund av att det ska se bra ut utifrån eller för att man av slughet ska försöka förhala eller försena exempelvis beslutsfattande (Vedung, 2009).
Vårt syfte är varken att kontrollera eller att strategiskt bevara verksamhetens existens utan vi arbetar utifrån vad Vedung beskriver som det främjande syftet. Det främjande syftet är enligt Vedung ett värdigt motiv för utvärdering. Många anser till och med att det är huvudpoängen. I det främjande syftet fäster man inte så stor vikt vid att döma eller kontrollera verksamheten utan snarare skapa en förståelse för varför en intervention lyckas eller misslyckas (Vedung, 2009, s. 174).
Det är lätt att man i en verksamhet blir hemmablind och får svårt att se sitt arbete utifrån. Vi vill försöka ge nya perspektiv på verksamheten genom brukarnas och intressenternas inflytande. På så vis kan en mera upplyst diskussion kring verksamheten bidra till verksamhetsutveckling, vilket är det yttersta syftet med utvärderingen. Vårt jobb ligger således endast i att skapa förutsättningar genom att lyfta upp brukarnas och intressenternas perspektiv på ett konstruktivt sätt.
Dock är det så att oavsett vilket syfte man har finns det alltid en risk att utvärderingen kommer att missbrukas. Alla verksamheter förväntas vara effektiva och i dagens politiska diskurs eftersträvas alltmer ett marknadsorienterat fokus. Så som vi förstår det förväntas offentliga organisationer bli utvärderade för att på så vis legitimera verksamhetens existens. Detta för att bevisa hur effektiv
verksamheten är och för att behålla eller helst till och med utöka ekonomiska resurser.
Det finns således en risk när man gör en utvärdering om man i en för snävt definierad måluppfyllelsemodell hamna i olika former av legitimerande verksamhet. Levin (1990) beskriver denna problematik som att man ersätter effektmått med effektivitetsmått vilket kan leda till att de mått som tas fram hänger samman med den institutionella strukturens legitimitet snarare än dess verkliga effektivitet. Följande citat förklarar detta problem:
"Socialtjänstens statistik och psykiatrins statistik är bra exempel på sådan 'displacement': antal besök, antal ärenden, antal belagda platser osv." (s. 25)
Dessa kvantifierade kriterier behöver enligt Levin (Ibid) inte säga någonting om verksamhetens egentliga effektivitet. Detta eftersom man endast använder sig av effektmått med enkla kvantifieringar istället för framtagna mått på effektivitet. Detta kan leda till ett snedvridet resultat som enligt utvärderingen visar att enheten hanterar så, och så många klienter på så kort tid. Men hur är det med återfall? Är verksamheten verkligen effektiv i det stora hela? Om man har som syfte att ge existensberättigande åt den evaluerade verksamheten kan detta leda till missvisande utvärderingar med dolda syften då dessa kan visa på god måluppfyllelse och god effektivitet. Dessa siffror behöver dock inte alls hänga samman med verksamhetens egentliga effektivitet eller kvalitet. Hur gör man då för att skapa en främjande utvärdering?
Lundahl & Öqvist (2002) skriver i relation till detta att det ofta kan vara så att problemen som en organisation är tänkta att behandla härrör från en annan nivå i det övergripande systemet. Låt oss illustrera med vår egen utvärdering. Vi har satt oss ut att utvärdera Svalövs flyktingenhet som är en människobehandlande organisation i den svenska offentliga sektorn på kommundelsnivå. Det shablonbidraget som innan 1 december 2010 utgjorde verksamhetens budget utgick från migrationsverket, baserat på antalet mottagna nyanlända invandrare. Flyktingenhetens existensberättigande är även statuerat i regeringens övergripande utredningar och propositioner som på policynivå styr verksamheten. Utöver det finns även lagar; kommunallagen, utlänningslagen och socialtjänstlagen som styr verksamheten. Vidare kan man även ta upp enhetens samverkanspartners som skolan, arbetsförmedlingen och vården och ansvarsfördelningen där emellan. Kort och gott kan man säga att Svalövs flyktingenhet samexisterar med många andra verksamheter. Precis som Lundahl & Öquist (2002) påpekade blir enhetens effektivitet i mångt och mycket även definierad av dess överrensstämmelse med de övergripande organisationerna och systemen; verksamhetens omgivning.
Därför blir det viktigt att utvärdera verksamheten i den kontext den befinner sig i; de omgivande politiska systemen, verksamhetens samverkanspartners och deras inbördes relationer. Endast i förhållande till de övriga kringliggande systemen kan vi få en förståelse för verksamheten och på riktigt definiera dess effektivitet och kvalitet.
Om vi till exempel gör en utvärdering som resulterar i att den främsta feedbacken till systemet ligger utanför enhetens handlingsutrymme, är denna feedback inte
konstruktiv. Låt säga att vi skulle komma fram till att de nyanlända känner att de har för få timmar svenskundervisning i veckan och kommunen endast har möjlighet att ge det antal som ges. Då är plötsligt utvärderingens rön inte applicerbart på den utvärderade verksamheten, utan snarare för de politiker som råder över dessa bestämmelser. Detta ger vid handen två viktiga hållpunkter; den ena är att det blir viktigt att identifiera verksamheten i sitt sammanhang för att klargöra enhetens egentliga ansvar. Den andra är att även identifiera verksamhetens intressenter och samverkanspartners, som alla har ett finger med i spelet i den utvärderade verksamheten.
Att se organisationer ur ett sådant perspektiv där man betonar helheter, relationer och sammanhang är att se verksamheten ur ett systemteoretiskt perspektiv. Petter Hensjö konkluderar i sin magisteruppsats Utvärdering och verksamhetsutveckling (2007) följande;
”Konstruktiv utvärdering i människobehandlande organisationer handlar om att genomföra utvärdering i ett systemteoretiskt perspektiv. Det innebär att förstå världen i form av helheter, relationer och sammanhang. Konstruktiv utvärdering går ut på att försöka bevara idén om en verksamhet som en helhet. I fokus ligger följaktligen formen och funktionen, inte innehållet” (s. 3)
Eftersom vi har ett främjande syfte blir verksamhetsutveckling vårt yttersta fokus, vilket förutsätter konstruktiv utvärdering ur ett systemteoretiskt perspektiv. För att kunna bedriva utvärdering med ett främjande syfte är det således av yttersta vikt att vår utvärdering har en fast grund i det systemteoretiska perspektivet, någonting som vi kommer att utveckla i teoridelen.
Preciserad frågeställning
Det beställningsdokument vi har att utgå ifrån framhäver bedömningen av flyktingenhetens kvalitet som mycket viktig. Beroende på sammanhanget och kontexten betyder ordet kvalitet olika saker och definieras därför på olika sätt. Som Ole Karlsson skriver i Min kvalitet (2009) utgår kvalitet från sin omgivning och är således också beroende av de bedömningskriterier som den som bedömer kvaliteten använder sig av. Man kan således se på kvalitet på olika sätt. Vi menar snarare att begreppet kvalitet i en människobehandlande organisation är något som var och en har en upplevelse av, vilken kan diskuteras och även omprövas i förhållande till sammanhanget. Vi vill heller inte i vår diskussion gällande kvalitet bara konstatera om arbetet enheten gör är bra eller inte utan också identifiera de faktorer som gör att den upplevs på respektive sätt.
På det viset stiger vi åt sidan ur den på förhand definierade måluppfyllelsen. Att fråga brukarna själva om deras upplevelser kräver en balansgång av förhandsfakta av vad enheten ska ge i form av tjänster och service, men även ett stråk av öppenhet för ett grundläggande brukarperspektiv. Med bemötandet syftar vi på kvaliteten i själva bemötandet av de nyanlända som kommer till Svalövs flyktingenhet. Bemötandet är även viktigt eftersom vi tänker att det avspeglar den nyanländes första kontakt med samhället.
Kvaliteten i en människobehandlande organisation är någonting som hela tiden måste diskuteras. Därför har vi lämnat frågan om kvaliteten öppen till en viss del och låtit informanterna ge sin bild av god kvalitet för att kunna föra en diskussion
kring vad som eventuellt skulle kunna saknas och vad man skulle kunna göra bättre. När man arbetar med sådana tolkningsbara och vidlyftiga begrepp som kvalitet är det viktigt att lämna utrymme för egna tolkningar och tankar för att inte gå miste om viktiga perspektiv. Därför kommer datainsamlingen och även resultatanalysen att behandla två teman; det främsta temat är Svalövs nuvarande kvalitet. Det andra temat är hur denna skulle kunna förbättras i framtiden. Vår preciserade frågeställning är:
Uppnår Svalövs flyktingenhet god kvalitet i sin implementering av introduktionsprogrammet sett ur ett brukar/intressentperspektiv?
Vi har tagit bedömningskriterierna ur tidigare forskning och ur de politiska riktlinjerna för hur en god introduktion ska fungera. På så vis har vi
operationaliserat vårt kvalitetsbegrepp. Vi har gjort det mätbart i viss mån genom
att ställa frågor och diskutera kring vissa huvudbegrepp som vi ansett vara viktiga för hög kvalitet. Dessa kvalitetsparametrar har varit; lyhördhet, tillgänglighet, bemötande, samverkan och informationshantering. Dessa har vi ställt frågor och fört diskussioner med brukarna och intressenterna kring. Vi kommer nedan att presentera vår utvärderingsmodell samt dess fördelar och nackdelar innan vi går mer in på teoridelen. Där presenteras hur vi på djupet väljer att analysera resultaten av vår utvärdering.
Intressentutvärdering med brukarfokus
Vi har valt att i vår utvärderingsmodell utgå från två olika modeller under Vedungs (2009) kategori aktörsmodeller. Vad aktörsmodellerna har gemensamt är att de helt och hållet hämtar sina värderingskriterier från aktörerna. Det är aktörernas förväntningar, åsikter och upplevelser som helt och hållet ligger till grund för värderingen av verksamheten; ett så kallat deskriptivt värderingskriterium (Vedung ibid). Beställningsdokumentet1 som låg till grund för utvärderingen efterfrågade ett brukar- och intressentfokus, vilket ger oss en blandning av den brukarorienterade modellen och intressentmodellen som vi valt att kalla en Intressentuvärdering med brukarfokus.
Det finns både för och nackdelar med en utvärdering som grundar sig på ett brukar och intressentfokus. Att brukarnas åsikter och upplevelser tas med i beräkningen är bra utifrån aspekten att det blir ett större kundfokus och de får de insatser och den hjälp som de själva anser mest gynnsam (Vedung, 2008). Ibland kan de politiska regelverk och de interventioner som på pappret verkar förnuftiga och legitima upplevas på ett annat vis i praktiken. På så vis kan man genom brukarorientering försäkra sig om att insatserna fyller sitt syfte och verkar främjande (Vedung, 2009). Utifrån ett demokratiperspektiv som även tas upp i Vedung (2009) är aktörsutvärderingar viktiga för att alla ska få vara med och genom sin röst kunna påverka. Kombinationen av dessa två argument anser vi vara de två starkaste argumenten för att bedriva en utvärdering med brukar- och intressentfokus, nämligen demokratiargumentet samt gräsrotsargumentet. En brukarutvärdering kan således ses som ett sätt att implementera demokrati långt ute i fingertopparna på den organisatoriska kroppen. Låt brukarna säga vad de vill och se vad som faktiskt har hjälpt dem. Dock kan detta även slå tillbaka på utvärderingens legitimitet eftersom att dessa röster kanske inte alltid hörsammas
Det kan bli så att ingenting händer och att brukarna tappar förtroendet för både utvärderingen och verksamheten i sig.
Vidare beskriver Vedung nackdelar i form av att brukarna inte känner till eller har intresse och förståelse för den kringliggande kontexten med mål och regler för verksamheten. Brukarna kan således ge uttryck för åsikter och krav som kanske inte alltid är realistiska och om de inte får gehör för dessa och märker förändring kan det i värsta fall leda till ett politikerförakt (Vedung 2009).
Vi har tagit dessa argument med oss i arbetet med intervjuerna och därför vägletts av frågor som har varit realistiska i förhållande till den kringliggande politiska kontexten. Utöver det har vi även uppmuntrat till övriga reflektioner men hållit dessa inom rimliga ramar. På så vis har vi kunnat undvika att kraven och förväntningarna blivit allt för vidlyftiga och fokus har legat på realistiska förändringar (Halkier, 2010).
Intressentutvärdering som vi också har använt oss lite av har också den för och nackdelar. Denna utvärderingsmodell använder sig av intressenterna, i vårt fall samverkande myndigheters uppfattningar och tankar gällande kvalitet och bemötande i Svalövs flyktingenhets arbete. En nackdel är att det är oklart vilka som skall räknas till intressenter (Vedung, 2009). I vår undersökning har vi valt att tala med myndigheter som samverkar med Svalövs flyktingenhet för att få reda på hur de upplever detta samarbete. Utifrån detta förespråkar en intressentutvärdering att vi som utvärderare ställer öppna frågor och att det är upp till intressenterna att lyfta de frågor som de vill diskutera. I detta avseende har det varit viktigt för oss som utvärderare att vara lyhörda och sammanställa ett helhetsintryck från kontakten med intressenterna (Vedung, 2009). Det som talar för en användning av intressentmodellen i vår utvärdering är att intressenterna har värdefull information om hur de upplever samverkan och relationen med Svalövs flyktingenhet. Det talar även för ett demokratiskt argument att de ska få yttra sig i sakfrågor som berör dem. De är intressenterna som kan bedöma hur ett tänkt förfarande har fungerat i praktiken och det kan betraktas som en strävan mot den representativa demokratin att intressenterna ska få säga sitt (Vedung, 2009). I detta fall har vi dock vägt nyttan, att få ett insider perspektiv på vad som faktiskt ”är”, tyngre än att gå emot den representativa demokratin.
Genom att kombinera brukarorienterad utvärdering med ett intressentperspektiv utifrån Svalövs flyktingenhets samverkanspartners har vår ambition varit att få fram uppgifter som kan främja verksamheten ur ett holistiskt perspektiv och skapa ett kretsloppsliknande informationsutbyte mellan parterna likt den av den danska socialforskaren Hanne Kathrine Krogstrups BIKVA-modellen. Fokusgruppsintervjuerna har därför lyfts för att den ansvariga intressenten ska kunna ta till sig och bemöta den framförda kritiken (Lundahl & Öqvist 2002).
Teori
”If a factory is torn down but the rationality which produced it is still left standing, then that rationality will simply produce another factory. If a revolution destroys a government, but the systematic patterns of thought that produced that government are left intact, then those patterns will repeat themselves…. There’s so much talk about the system. And so little understanding.”
-Robert Pirsig, Zen och konsten att sköta en motorcykel
Utvärdering är enligt oss inte en helt oproblematisk sysselsättning. Som forskare är det alltid viktigt att ha ett kritiskt perspektiv till både övrig forskning men även till det man själv gör. Det är alltid viktigt att problematisera, ställa frågor samt resonera fram och tillbaka för att komma fram till att man står där man står. Det har också varit viktigt för oss att se hur utvärdering har beskrivits och teoretiserats om tidigare för att slippa uppfinna hjulet på nytt och missa saker som redan är tagna för givna. Därför har litteratursökningen på just detta område varit väldigt vid. Vi har tillägnat oss allt från ren metodlitteratur, teoretiska och kritiska perspektiv på utvärdering samt teoretiska perspektiv på hur man kan förstå organisationer som system. Som man kan ana är en litteratursökning på detta område egentligen inte möjlig att mätta. Nya och intressanta iakttagelser och perspektiv finns alltid runt hörnet för att komplettera ens bild, men någonstans måste man sluta. Även fast man många gånger ansett att det vore intressant att läsa ännu mer.
I denna avdelning har vi valt att problematisera hur och på vilka premisser utvärderingskunskap utvinns, det vill säga dess epistemologiska status genom olika paradigmskiften. Dessutom har vi undersökt vad dessa epistemologiska grunder gett för typ av utvärderingar, det vill säga vilken metod som förespråkats och vilket användningsområde utvärderingar haft. Vi har ansett detta viktigt på grund av att ett tillräckligt genomarbetat utvärderingsbegrepp även lägger grunden för vad vi som utvärderare egentligen sysslar med idag. Som vi sett tidigare kan ett oreflekterat synsätt hamna snett och utanför ens eget syfte.
Syftet är främjande, därför vill vi skapa en utvärdering där vi lyfter brukarens röst på ett konstruktivt sätt som kan leda till verksamhetsutveckling. Både ur ett demokrati- kvalitets- och effektivitetsperspektiv. Utan att överdriva är detta ingen lätt uppgift. Vedung (2009) beskriver hur utvärderingar används som legitimering av ineffektiva interventioner, slagträn i politiska debatter och till allehanda otyg. Tidigare i denna utvärdering har vi även visat att utvärderingar sällan kommer till nytta. I detta avsnitt kommer vi även här att visa på flera mindre konstruktiva användningar vilka enligt oss får lov att blomma ut om man inte problematiserar och kritiskt utvärderingsbegreppet tillräckligt. Med detta sagt dyker vi ned i den teoretiska förståelsen av utvärderingsbegreppet.
Utvärdering - perspektivskiften
Lundahl & Öquist (2002) sammanfattar det bra när de skriver att utvärdering alltid måste förstås i ett sammanhang och att detta sammanhang i stort sett definieras av
det rådande samhällsvetenskapliga paradigmet. Kort kan man säga att utvärderingens roll i samhället varit skiftande men enligt Pawson & Tilley (1998) och Rombach & Sahlin-Andersson (2003) har den varit centrerad kring fyra generationer av utvärdering. Att utvärdera har gått från att vara ett tayloristiskt influerat vetenskapligt experiment på 1960-talet till ett konstruktivistiskt helhetsbetonande förklaringsinstrument i slutet på 1900-talet.
Här kan vi tydligt se att vad som menas med utvärdering vid en tidpunkt, anses vara helt och hållet förlegat vid en annan tidpunkt. Paradigmen har avlöst varandra och det är viktigt att poängtera vad de olika synsätten leder till i förlängningen. Endast genom en sådan genomlysning kan man få förståelse för riskerna och problemen med att bedriva utvärdering på en oreflekterad grund och på så vis kryssa mellan dessa fallgropar.
Den experimentella synen
Den tidiga experiment- kontrollgruppslogikens främsta kritik var det överdrivna teoretiserandet och problemet med att isolera just den utvärderade insatsen från de omgivande sociala strukturerna. Dessutom är det så att denna i bästa fall kan visa
vad som fungerar men däremot inte varför (Pawson & Tilley, 1998). Experiment-
kontrollgruppslogiken redogörs för i nedanstående figur.
Figur 1: Den mono-kausala experiment- kontrollgruppslogiken
Mätning före Påverkan Mätning efter
Experimentgrupp G1 X G1
Kontrollgrupp G2 G2
Modellen bygger här på en enkel teori om kausalitet och påverkan. Man föreställde sig att man kunde se sociala interventioner som experiment, oberoende av sitt sammanhang och på så viss generellt påvisa vad som var bäst och implementera detta överallt. Man kan med andra ord säga att man tänkte sig att utvärderingar hade generell extern validitet, oberoende av sammanhang. Bristen på kontextuell analys och yttre påverkan är en av två tungt vägande kritiska ståndpunkter mot denna modell. Den andra svidande kritiken var att man heller inte kunde utröna om det var just den i experimentgruppen påverkade faktorn som orsakat det uppmätta resultatet eller någon annan faktor i experimentet. Experiment som exempelvis medicin som kliniskt kunde upprättas i labb kunde inte enkelt överföras till den sociala världen (Pawson & Tilley, 1998).
Den pragmatiska synen
I kölvattnet av den experimentella utvärderingen växte ett mer pragmatiskt perspektiv på utvärderingen fram. Här var målet att utvärderingen skulle vara så praktisk som möjligt. Det skulle bidra till direkt beslutsunderlag för politikerna. Således skulle denna syn fastställa vad med en politisk intervention som ledde till bra respektive dåliga konsekvenser för att detta direkt skulle kunna återföras in i policyskapandet (Pawson & Tilley, 1998). Detta kan jämföras med Vedungs (2009) resonemang kring ingenjörsmodellen, som han själv anser är orealistisk. Utvärderingar skapas i en kontext och kommer inte att användas helt enligt detta förutbestämda idealistiska sätt.
Dock beskriver Rombach & Sahlin-Andersson (2003) att det fortfarande handlade om att utgå från en på förhand definierad måluppfyllelse. Det var ofta huvudmännen och den politiska makten som utvärderade sin egen insats. Rombach & Sahlin-Andersson (Ibid) menar på att man kan se tydliga likheter mellan den pragmatiska synen och idén om den sociala ingenjörskonsten.
En annan svidande kritik mot att bedriva utvärdering på en förhand definierad måluppfyllelse är att det kan leda till ett bekräftande av den existerande strukturen och inget egentligt ifrågasättande eller någon egentlig värdering av interventionen som helhet (Levin, 1990). Levin skriver att om värderingen på ett påtagligt sätt
påverkar interventionens överlevnad och tillväxt så blir kriterierna en politisk
stridsfråga. Ett sådant missbruk av utvärderingars användning kan jämföras med Vedungs (2009) redogörelse för vad han kallar för legitimerande användning.
Den perspektivmedvetna synen
Den tredje generationens brott med den sociala ingenjörskonstens självdefinierade måluppfyllelse var just ifrågasättandet av de på förhand internt definierade målen. Denna generation har vi valt att kalla den perspektivmedvetna synen. Enligt Rombach & Sahlin-Andersson (2003) förväntades utvärderingar från och med denna tid vara oberoende och vetenskaplig. Utvärderingen skulle bedrivas som en vetenskaplig aktivitet av oberoende forskare som inte skulle färgas av sitt enskilda intresse. Dock gjordes utvärderingarna fortfarande ur ett top-down perspektiv men med en allt större medvetenhet om perspektivberoende. Levin (1990) refererar i denna kontext till Franke-Wikberg & Lundgrens idéer om att gå från en nyttoinriktad utvärderingsmetod till en teoriutvecklande där man understryker och problematiserar den politiska kontexten i vilken utvärderingen bedrivs. Kritiken här är lik den Levin själv lyft fram tidigare. Den är också svidande hård. Eftersom problemet är att den undersökta verkligheten aldrig problematiseras eller sätts i ett samhällsvetenskapligt sammanhang kan utvärderingens resultat bli betydelselösa och vilseledande (s. 27). Detta kan ses i ljuset av vad vi tagit upp tidigare om utvärderingars användning; att en konstruktiv utvärdering är beroende av en tydlig sammanhangsmarkering och omvärldsanalys.
Den konstruktiva synen
Den fjärde generationens utvärdering är den som är mest viktig för denna uppsats. Denna har beskrivits som ”constructive evaluation” (Pawson & Tilley, 1998) eller “Responsive construct evaluation” enligt Guba & Lincoln (1991) citerade av Rombach & Sahlin-Andersson (2003). Inom den konstruktiva utvärderingsgenerationen har det varit viktigt att identifiera intressenter och se sammanhang och helheter. Utvärderingen är inte längre en enkel- och nyttoinriktad process där man söker på förhand definierade resultat utan snarare en arena för att sprida erfarenheter och perspektiv från en intressent till en annan. Utvärderingen har således gått från ett snävt och avgränsat fokus till att rekonstruera enhetens position och dess förhållande som organisation till andra intressenter (Rombach & Sahlin-Andersson, 2003).
På detta vis har man även gått från att endast värdera en enhets insatser till att bidra till en förståelse och förklaring till enhetens aktuella status. Man kan säga att det konstruktivistiska synsättet är kulmen av kontextbetoningen i utvärderingens historia. Att identifiera intressenter och bedriva intressentutvärderingar har enligt
Vedung (2009) varit ett sätt att bemöta den tidiga kritiken. Vår utvärdering utgår från ett deskriptivt värderingskriterium vilket enligt Vedungs teminologi handlar om att hämta värderingskriterier från intressenterna eller brukarna själva och låta dem bedöma enhetens kvalitet. På så vis undgår vi även fällan som Levin (1990) tidigare konstaterat kan bli en slags intern legitimering av interventionens strukturella status.
Kritiska perspektiv på utvärdering
Efter denna historiska genomgång av utvärderingsbegreppet hoppar vi in i nuet för att lyfta fler dagsaktuella kritiska perspektiv på utvärderingen. Det är viktigt för oss att lyfta dessa perspektiv just för att undgå att hamna i ett oreflekterat synsätt när vi gör vår utvärdering.
Utvärdering som självuppfyllande profetior
Om man ser utvärdering i dess sammanhang är det i mångt och mycket en avspegling av det rådande utvärderingsparadigmet (Lundahl & Öquist, 2002). Författarna förklarar vidare att utvärderingen på detta sätt bidrar till att skapa teorier och beskrivningar av verkligheten inom sitt respektive paradigm. Att utvärdering kan fungera legitimerande har vi gått igenom, men det kontrollerande syftet har inte behandlats speciellt ingående.
Vedung (2009) beskriver det kontrollerande syftet som ett sätt för huvudmän att se om interventioner leder till de förväntade målen eller ej. Utvärderingens resultat i en sådan mål-resultat modell blir således ett mått på diskrepansen mellan de på förhand definierade målen och de uppkomna effekterna. Att se saker på det ensidiga rationella sättet kan ha sina uppenbara nackdelar. Lundahl & Öquist (2002) skriver att en målrationell syn ofta inte alls behöver vara vetenskapligt "objektiv" i den bemärkelsen utan att alla vetenskapliga perspektiv har sin grund i någon form av teoretiska vägval som styrts av värderingar. På detta sätt kan en sådan utvärdering enligt författarna hjälpa till att befästa vad de kallar ”an ideology of rationality”, alltså en rationalitetsideologi snarare än en vetenskaplig syn på fenomenet (Lundahl & Öqvist, 2002).
I detta sammanhang kan man lyfta den nuvarande skolutvecklingen som ett exempel på denna problematik. Att utvärderingar skall komma till nytta och bidra till förändring är enligt Vedung (2009) en dogm i utvärderingssammanhang. Men precis som Vedung lyfter upp kan interventioner leda till perversa effekter utanför målområdet, dvs. oanade och oförutsedda negativa effekter.
Ett exempel på detta kan man ta från Skolverkets sammanfattning av utvärdering och forskning mellan 1997 och 2007 i rapporten Vad påverkar resultatet i Svensk
grundskola (2009). En av de effekter som utvärderare och forskare studerat är den
tilltagande så kallade skolnivåeffekten. Med skolnivåeffekten menar man att resultatspridningen (skillnaden mellan de högsta och de lägsta betygen) inte bara har ökat generellt sätt utan även mellan specifika skolor. Forskarna menar att skolnivåeffekten är den mån i vilken elevernas resultat påverkas av skolans självbild i förhållande till andra skolor. Det vill säga, huruvida man går i en "bra" eller "dålig" skola. Detta anser vi att man kan se med bakgrund av Lundahl & Öquists (2002) resonemang om skolornas utvärderingsstatistik i betygssnitt och andra resultatfaktorer. De menar att en negativ utvärderingsstatistik i förhållande kan bidra till en ökad negativ självbild av den egna skolan, vilket i sin tur leder till
ännu sämre prestationer, som leder till ett ännu sämre resultat i nästkommande utvärdering. Detta speciellt i dagens starkt mediebetonade samhälle med en stor offentlig skoldebatt blir utvärderingens makt att påverka väldigt stark och det är inte alltid den leder till positiv och främjande utveckling för de granskade skolorna. Speciellt eftersom resultatet av sådana stora kvantitativa utvärderingar och uppföljningar i media inte problematiseras utan tas för givet som vetenskapliga sanningar.
Utvärdering som avpolitisering av politiska tvistefrågor
Vedung (2009) tar upp att pionjärerna inom utvärderingsrörelsen var mycket optimistiska. De ansåg att utvärderingen helt enkelt skulle kunna bedrivas på vetenskaplig grund och "ersätta det politiska käbblet" (s. 256). Nu skulle man ägna sig åt det som fungerade och inget annat dravel. Vedung själv anser att denna bild är alltför orealistisk och icke problematiserad. Vidare påpekar Levin (1990) att ett sådant synsätt även kan ligga till grund för en avpolitisering av större sociala problems omfattning och art.
Speciellt i de fallen då utvärdering kan användas för att legitimera verksamheter är detta extra problematiskt. Vedung (2009) nämner vidare att utvärderingen även kritiserats för att användas som slagträn i debatter med redan uppdragna frontlinjer mellan i politiska läger. Utbildningsministern betonar vissa delar i utvärderingarna medan oppositionen betonar andra. Således kan en alltför snävt definierad mål-resultatorienterad modell med en inte lika framträdande
förklarings och förståelseansats, löpa risk att bli ett instrument i makthavarnas
händer.
Här är det viktigt att granska med ett kritiskt öga. Eftersom utvärdering ses som en vetenskaplig aktivitet är dess resultat och rön en beskrivning som sällan ifrågasätts. Eftersom resultaten av en utvärdering ses som vetenskapliga ses dessa som ett fullgott argument att fatta beslut efter. Ur detta perspektiv har det fortfarande ingenting med ideologi att göra.
Om man väver in det som skrivits om utvärderingen som betonar utvärderingens perspektivberoende (Rombach & Sahlin-Andersoon, 2003) kan man tydligt se att utvärderingens roll fortfarande är oklar. Den perspektivmedvetna synen förespråkar att utvärdering hela tiden är beroende av värderingsimpregnerade teoretiska vägval (Lundahl & Öqvist, 2002). Den andra synen; utvärderingar som beskrivningar av verkligheten krockar med denna syn. Om vi sätter detta i ett politiskt sammanhang blir det än mer komplicerat.
Själva avpolitiseringen sker när en utvärdering med ett egentligt legitimerande syfte används som ett ”objektivt argument” i den rådande debatten. Då har man förvandlat en ideologisk stridsfråga till vetenskapliga rön, med normativa incitament för ett politiskt beslut. Vidare är det viktigt inom politikens styrning att politiska beslut delvis skall vara stödda av forskning på området. Om således fäster vikt vid utvärderingen som en förmedlare av vetenskapliga sanningar hamnar man i ett som Levin (1990) skriver avpolitisering av en i grund och botten politisk stridsfråga.
Sammanfattningsvis vill vi säga att det alltid är viktigt att se utvärderingen i relation till sitt sammanhang. I många fall kan det vara viktigt att anlägga ett av
Franke-Wikberg & Lundgren (1980) i Levin (1991) förordat metaperspektiv på sin utvärdering. Ställa sig grundläggande frågor som "Vad är det vi utvärderar?", "Hur kan detta förstås i sitt sammanhang?" och framför allt "Vad är syftet med utvärderingen?" I vårt fall är syftet främjande och konstruktivt, med fokus på verksamhetsutveckling. Med detta fasta mål skall vi med bakgrund av denna kritiska teorigenomgång fortsätta jakten på vårt synsätt.
Interventionsteorin
Interventionsteorin är ett tankeredskap som utvärderaren kan använda vid en utvärdering av en offentlig verksamhet. Även om man inte använder interventionsteorin rakt av kan den hjälpa utvärderaren att ställa adekvata frågor kring interventionen. Interventionsteorin är ett teoretiskt återskapande av en politisk interventions teoretiska beskaffenhet i ett antal logiska led. Den har även beskrivits som programteori och interventionslogik, eftersom det i grund och botten är ett redskap till att utröna logiken i en politisk intervention. Teorin kan utformas på två sätt; antingen som en systemmodell eller som ett logiskt resonemang uppbyggt i Om-så satser. Systemmodellen konkretiserar den politiska interventionens inneboende kausala logik i olika steg och placerar in aktörer, utfall och prestationer i olika boxar. Om-så modellen är en språklig konstruktion av samma logik uppbyggt som premisser som är tänkta att leda fram till olika, av beslutsfattarna önskvärda slutprestationer (målområden). Man kan således säga att interventionsteorin består av två delar; en som behandlar själva processen och en som behandlar slutprestationerna resultatet (Vedung, 2009).
Tanken bakom att konstruera en interventionsteori är att skissera och konkretisera det teoretiska resonemang som ligger bakom utformandet av en politisk insats. Dessa insatser kan vara allt från sanktioner, skattereduktioner, skatteökningar och sociala program, men även olika policyområden som i sin tur innebär praktiska förändringar. Interventionsteorin ger oss således ett skelett där vi ser den "råa teorin" bakom en intervention. För att göra detta på ett konstruktivt sätt ställs krav på utvärderaren att eftersträva ett så rationellt och logiskt sammanhängande resonemang som möjligt (Vedung, 2009). En interventionsteoretisk modell av Svalövs flyktingenhet skulle kunna se ut enligt följande:
