Synen på utvärderingens användning

I Svens verksamhet genomförs ständigt små utvärderingar ofta i ”mindre” projekt. ”Sen kan det vara större som man får utifrån där man tittar på något större”, tillägger han. ”Det handlar om i mån av tid och när det i processen är dags för utvärdering. Det går i olika cykler, för det måste ta ett tag i vissa verksamheter innan man kan göra en utvärdering”, menar han. Sven fortsätter: ”Det viktigaste skälet till att göra en utvärdering är helt klart att lära sig av det som hänt för att kunna utveckla verksamheten framåt. Annars är det väl ingen större vits med det? Att bara bekräfta hur det har varit är inte så viktigt. Nyttan ligger ju i att ta fram vad som varit lyckad för att kunna föra det vidare”. Utvärderingarnas utformning beror enligt Sven på vilken typ av verksamhet det är och vad man vill åt. ”Ibland kan det vara snabba utvärderingar som är bra för att man ska kunna skifta snabbt och ibland behövs det riktigt rejäla, långsiktiga och grundläggande. Det beror helt på vad man vill titta på”, säger han. Det är också viktigt att man känner igen sig i den beskrivning som utvärderaren gör av verksamheten menar Sven. Annars blir utvärderingen ett hinder snarare än en hjälp. ”Bristen kan finnas i förståelsen för verksamheten. Ibland har man lagt ner alldeles för lite tid för att kunna uttala sig om vissa saker. Man har liksom lagt ett åsiktsraster över allting utan att verkligen ha utvärderat vad som verkligen har hänt”, hävdar Sven. Han menar att det därför är viktigt med en fungerande dialog mellan utvärderarna och de som är berörda. Genom att få fram olika synpunkter kommer man ett steg längre än om man endast håller sig till en skriftlig rapport. ”Bara för att grundrapporten är klar, är det ju inte säkert att utvärderingen är klar. Grundrapporten blir ju underlag för vidare diskussion genom vilken man kan komma till rätta med fel och

missuppfattningar”, påpekar Sven. Enligt Siv använder man sig av både intern och extern utvärdering i verksamheten och utvärdering används nästan hela tiden. ”Utvärdering är avgörande”, tycker hon. Siv säger att den stora vinsten med utvärdering är att om man inte vet vart man ska gå eller var man är, kan man få den informationen. ”Man måste ju veta vad man ska göra och vad som fungerar. Det är inte så intressant annars”, hävdar hon. ”Man kan inte sitta i en organisation och tro att man har full koll på allting, för det har man inte. Så man måste fråga folk. Utvärderingar ska vara till hjälp så att vi gör rätt saker och kan vara till hjälp

och effektivisera vårt arbete” Därför är det viktigt enligt Siv att man gör ett avtal där man bestämmer vad man vill veta. ”Man måste veta vad man vill veta. En bra utvärdering är tydlig med vad du ska göra och vad du vill ha svar på och om man får det svaret”, säger Siv.

Sven ser som det viktigaste skälet med utvärdering att man ska lära sig och förbättra verksamheten. Han ser ingen mening i att bara bekräfta det de gör i verksamheten. Nyttan ligger ju snarare i att plocka fram det som varit lyckat för att kunna föra det vidare. Samtidigt menar han att det är viktigt att man känner igen sig i det utvärderaren kommer fram till. Här ger Sven uttryck för en strävan att bibehålla den kontext organisationen utgör. Utvärdering bidrar med andra ord att låta helhetens egenskaper bli inneboende i delarna. Organisationskulturen i Svens verksamhet, styr vad man vill veta mer av och utvärdera. Genom att trycka på vad som varit lyckat och vad som går att förbättra, blir värdena och visionerna därför mer centrala. Genom att dialogen får stor betydelse fokuseras också på

hurfrågor, vilket är viktigt i ett fungerande utvecklingsarbete. Siv ger uttryck för att man inte kan ”ha full koll på allting” i en verksamhet, varför utvärderingarna är till stor hjälp. Men till skillnad från Sven ligger inte fokus på att primärt få verksamheten till ett fungerande system, utan möjligheten att kunna kontrollera den väger tyngre. Hon menar att det är viktigt att därför ingå avtal med

utvärderaren där man bestämmer vad man vill veta.

Hans menar att utvärdering kan ske på olika nivåer och ha olika struktur. Han nämner flera exempel från sin verksamhet och säger att med hjälp av utvärdering kan man se var dem står nu jämfört med då. Stort fokus ligger på de medicinska resultaten och arbetet med patienterna. Vad gäller utvärdering kring hur

verksamheten fungerar organisatoriskt, tittar man på hur mycket personal det går åt per vårdplats och vilka kostnaderna blir. ”Det viktigaste skälet till att göra utvärdering är att förbättra verksamheten antingen kvalitetsmässigt eller för att göra den ekonomiskt mer effektiv”, säger han. Hans fortsätter: ”Det är viktigt att veta var man står och hur man kan förbättra sig. Det är ju en mänsklig

tävlingsinstinkt och en tillfredställelse att se vad man gjort och vad man kan göra bättre. Det är väl en stark drivkraft”. Hans poängterar att en utvärdering inte får vara för arbetskrävande. Det får inte suga mer kraft än vad det ger så att säga. Personalen kan ju annars bli väldigt trött av utvärdering. Det är viktigt att

utvärderingarna inte är för krångliga och tar för mycket tid i förhållande till vad de ger. Det kan vara så att man plockar in ett kvalitetssystem från industrin, som sedan visar sig inte vara särskilt tillämpbart på vår verksamhet. Det kan vara ordval som inte fungerar och liknande saker. Sen gäller det ju att en utvärdering mäter rätt saker. ”Det är ju lätt att mäta det som är lätt att mäta, snarare än att man mäter det som är intressant. Resultaten ska vara tydliga och gå att reproducera igen och jämföra med”, tillägger Hans. Därför menar han att det kan det kännas skönt att få verksamheten bedömd utifrån vissa kriterier och se hur man ligger till och att man gör rätt. ”I andra fall som en omfattande personalenkät vi haft, har vi för lite kunskaper om hur pass bra och tillförlitlig utvärderingen är. Därmed är det inte sagt att de är dåliga, utan jag har inte kommit lika långt med dem”, säger han. Återkopplingen av utvärderingarna på kliniken sker genom samverkansgrupper, men även direkt till läkarna på olika möten där resultaten diskuteras och där vi tittar på vad som måste förbättras. ”Det ska ju gå att entusiasmera personalen för det här. Man ska ju tycka att det man mäter är vettigt. Det ska därför vara

illustrerbart och lätt att se, så man kan relatera till vad som hänt. På

för komplicerade begrepp. Man ska känna igen sig och det ska vara frågor som de brinner för”, säger Hans.

Hans säger insiktsfullt att utvärdering kan ske på olika nivåer och ha olika struktur. Han menar samtidigt att det är viktigt att veta var man är och hur man kan förbättra sig. Resultaten måste ju gå att reproducera igen och vara möjliga att jämföra med. Han ger här uttryck för att utvärdering måste vara väl förankrat i verksamheten för att fungera. Han poängterar också vidare vikten av att känna till utvärderingsformen, hur pass bra och tillförlitlig den är. Det gör det möjligare att entusiasmera personalen och att illustrera så att det blir mer överskådligt. Detta visar på att formen och strukturen har stor betydelse i en utvärdering men även för dess kapacitet att föra in resultatet i verksamheten. Genom att lyckas entusiasmera alla olika medarbetare finns förutsättningar för att få in helheten i delarna, vilket medför att verksamheten kan vara diversifierad samtidigt som varje del utvecklas till en integrerad helhet.

I Hannas verksamhet har man av tradition varit dålig på att utvärdera över huvud taget. Men man håller på att implementera utvärderingsinstrument som går ut på att alla grupper ska utvärderas alltid. ”Vi har en skyldighet att ta reda på om den behandling vi erbjuder här är effektiv och om den gör någon nytta. Men

utvärdering är också viktigt för metodutvecklingen. Om man inte vet vilken riktning man ska gå kan man liksom inte ta nästa steg”, säger Hanna. ”Det är viktigt att veta hur resurskrävande en behandlingsmetod är och vad vi får för utgång. Det gäller ju att med minsta möjliga insats få högsta möjliga utfall”, fortsätter hon. Hanna menar att om man vill visa på goda resultat väljer man därför verktyg som ger utslag. Hedda menar att hur utvärdering genomförs beror lite på vad kliniken har för resurser och vad det finns för möjligheter att frikoppla någon som kan göra utvärderingen. Metoderna varierar också. ”Går vi in och gör någon förändring så har vi ju ett syfte med det, vad det är vi vill uppnå. Sen ska vi helst följa upp det och se om vi nådde de mål vi avsåg att lösa med förändringen”, säger Hedda. Därför är det viktigaste skälet att göra en utvärdering att ta reda på om en förändring ledde till en förbättring. ”Löste det vi avsåg att lösa med den här förändringen? Ibland kanske vi har lite bråttom och så tror vi att vi har svaret på problemet. Men så blev det inte alls som vi hade tänkt oss. Så visst är det viktigt”. En bra utvärdering är enligt Hedda den som följer den plan man hade, alltså syftet med förändringen. Det man främst vill ha svar på är vad det är för insats som behöver sättas in. Hedda tillägger att det är svårt att få fram statistik och det är ofta svårt att veta vad siffrorna står för. ”Man måste liksom göra djupdykning och titta på varför siffrorna ser ut på ett visst sätt. Det är svårt att få fram uppgifter om förändringar över tid framför allt innehållsmässigt i produktionen”, säger hon. Sanna ser utvärdering som en ganska naturlig del i verksamheten där utvärdering utförs utifrån uppdraget och de mål som är prioriterade. Men samtidigt menar hon att man måste förhålla sig kritiskt till detta då de politiska intentionerna inte alltid är klockrena. ”När tillsynsmyndigheterna kommer och granskar kan det vara så att vi inte har den kvalitet vi ska ha, så vi följer ju inte blint det”, säger Sanna. Sanna menar att fakta är av enormt stor betydelse. ”Vi måste vara säkra på att det vi gör är rätt, så att vi får ett välfungerande system”, säger hon. I det sammanhanget är den interna utvärderingen viktig därför att den ger större möjligheter att selektera. ”På så sätt blir det ett instrument för att gå vidare och säkra”, säger Sanna. En bra utvärdering innehåller därför en genomtänkt plan på vad man ska ha en

utvärdering till och hur man ska följa upp resultatet. Hon tycker att utvärderingar blir dåliga när man ställer slarviga frågor och när man inte har tänkt igenom syftet

med utvärderingen. ”Då kan man få in ett material som inte har något värde, bara för att man svarat fel och missförstått”, säger hon.

För Hanna, Hedda och Sanna är det centrala att uppfylla målen med sina verksamheter. Likaså ska utvärdering följa detta mönster. Hanna menar att hon vill få högsta möjliga utfall i en utvärdering, varför hon många gånger väljer de verktyg som ger utslag. Hos Hedda beror utvärdering på resurser och möjligheter att avsätta någon för att utvärdera. Men uppgiften är att följa planen man hade i förändringsarbetet och se var man landat. Sanna ser uppdraget som det primära och de mål som är prioriterade, som viktigast att utvärdera. Hon menar att man måste vara säker på att man gjort rätt, så att man får ett välfungerande system. Hanna, Hedda och Sanna ger här uttryck för att utvärdering bedrivs på vad Stevrin (1991 s.11) kallar den lägsta nivån. På lägstanivån gör man endast en beskrivning av hur en verksamhet var tänkt att fungera och hur den fungerat i praktiken. Det vill säga i stället för att fokus ligger på beroendeförhållanden och relationer är intresset riktat mot effekter och graden av måluppfyllelse. Utvärderingen handlar således om att göra en bedömning huruvida verksamheten lever upp till de ursprungliga intentionerna.