STEG
,ÊTT
UTVÊRDERING
Lätt reviderad handledning i utvärdering för Naturvårdsverket
Internet: www.naturvardsverket.se/bokhandeln
Naturvårdsverket
Tel: 08-698 10 00, fax: 08-20 29 25 E-post: natur@naturvardsverket.se
Postadress: Naturvårdsverket, SE-106 48 Stockholm Internet: www.naturvardsverket.se
ISBN 91-620-5582-8.pdf ISSN 0282-7298 © Naturvårdsverket 2006 Elektronisk publikation Illustrationer: Idéoluck, Ida Bontin
Förord
Uppföljning och utvärdering är en av Naturvårdsverkets tre huvudsakliga uppgifter. Det är också ett område som ska förstärkas – särskilt utvärderingen av samhällets och sektorernas miljöarbete. Samtliga enheter vid verket förutsätts ägna sig åt ut-värdering. Den här handledningen vill vara en hjälp i det arbetet.
Utvärdering är ett vidsträckt begrepp som kan stå för allt från kommenterade sammanställningar av data till djuplodande analyser och bedömningar. Man kan utvärdera det mesta, och utvärderingar kan användas till mycket. Systemet med mål- och resultatstyrning förutsätter t.ex. att man tid efter annan utvärderar hur man ligger till i förhållande till målet för att antingen fortsätta på den inslagna vägen eller justera kursen.
Handledningen har inte någon ambition att vara en komplett lärobok, utan mera en tänk- och beslutshjälp för den som ska planera, genomföra eller beställa en ut-värdering. Med utgångspunkt från Naturvårdsverkets utvärderingspolicy tar den också upp vad som gäller just för vår utvärderingsverksamhet. För den som inte gått någon utvärderingskurs kan den ge en introduktion i utvärderingens värld, samtidigt som den kan tjäna som repetition för dem som deltagit i någon utbild-ning.
Eftersom utvärdering av miljötillståndet är ”gammalt och vant” för många i form av arbete med miljöövervakning, bedömningsgrunder, aktionsplaner etc. ligger tyngdpunkten i handledningen på utvärdering av miljöarbetet.
Handledningen har skrivits av Inger Vilborg. För bilagan om metautvärdering svarar Ulf Hellzenius. Denna handbok är en lätt reviderad upplaga av den första versionen av Utvärdering steg för steg som kom år 2001.
Stockholm i april 2006
Läsanvisning
Handledningen är uppdelad i fyra delar: Den första delen ger ett ”grundrecept” (checklista) för utvärdering steg för steg. De övriga delarna ger något mer utförlig information om utvärderingsarbete. Den andra delen ger en introduktion om vad utvärdering är. Del tre tar upp frågor om varför, när och vad man utvärderar och vem som gör det – generellt och med tillämpning på Naturvårdsverket. Där be-handlas också beredning och förankring av utvärderingar inom verket. Del fyra, slutligen, består av en genomgång av olika modeller för utvärdering.
Innehåll
FÖRORD 3
LÄSANVISNING 4 INNEHÅLL 5 UTVÄRDERING STEG FÖR STEG – GRUNDRECEPT I PUNKTFORM 7
Utvärdering – att beskriva, förklara, värdera och föreslå utifrån systematiskt
insamlade data. 7
VAD ÄR UTVÄRDERING EGENTLIGEN? 10 UTVÄRDERINGENS VAD, VEM OCH VARFÖR 12
Utvärdering vid Naturvårdsverket 12
Varför utvärderar vi – och när? 14
”Den som gapar över mycket…” Vad utvärderar vi? Avgränsningar 17
Kan vi? Vill vi? Törs vi? Vem utvärderar? 23
MODELLER – HJÄLPMEDEL, INTE TVÅNGSTRÖJA 28
En hjälp för tanken 28
Några utvärderingsmodeller 29
Olika perspektiv ger olika ”sanningar” 35
Varning för begreppsexercis 35
Öppenhet, förankring, engagemang 36
FRÅN IDÉ TILL ANVÄND UTVÄRDERING 37
”Grundrecept” med variationer 37
Låt världen veta! Hur för man ut resultaten? 49
Att utvärdera utvärderingen – metautvärdering 50
BILAGA 1 52
Att samla data genom enkäter, intervjuer och läsning. 52
Enkäter 53
Intervjuer 55
Att bearbeta enkäter och intervjuer 57
Läsning 58
BILAGA 2 61
Utvärdering steg för steg –
grundrecept i punktform
Utvärdering – att beskriva, förklara, värdera
och föreslå utifrån systematiskt insamlade
data.
Vad utvärderar vi?
Det är motiverat att utvärdera om vi bedömer att utvärderingen x blir användbar
x blir rätt i tiden
x gäller ett väsentligt område
x kan ge ökad kunskap och främja miljöarbetet x går att genomföra
Checklista vid utvärdering
x VARFÖR SKA INSATSEN (VERKSAMHETEN)
UTVÄRDERAS? Vem ska använda utvärderingen? Till vad? Dvs. bestäm syftet. Syftet ska styra allt fortsatt utvärderingsarbete (upp-läggning, ambitionsnivå, rapportering). För mer information se sid. 14 och sid. 37.
x FORMULERA KÄRNFRÅGOR UTIFRÅN SYFTET. Vilka frågor ska utvärderingen besvara? För mer information se sid. 14 ff. och sid. 17 ff.
x VEM SKA GENOMFÖRA UTVÄRDERINGEN? Extern utvärde-rare (upphandling av konsult)? Intern, dvs. vi själva (egna enheten eller annan enhet)? Tillsammans med berörda? Syfte, tidplan, resur-ser och kompetens styr vilket som är lämpligast. För mer informa-tion se sid. 23 ff. och sid. 37.
x HUR VAR DET TÄNKT ATT INSATSEN SKULLE FUNGERA? (gör en beskrivningsmodell – programteori/karta – över hur det var tänkt att insatsen skulle verka). Frågor att fundera på vid konstruk-tionen av beskrivningsmodellen kan vara: Vilken är insatsen (verk-samheten) som ska utvärderas? Hur är den (insatsen) tänkt att
genomföras (av vem, på vilket sätt, vilka prestationer och resultat
behövs på vägen)? Vilka resultat och effekter är det tänkt att insat-sen ska få? Vad, utöver insatinsat-sen, kan förklara resultatet? Vilka hin-der och möjligheter finns att genomföra insatsen? Vilka är våra kärnfrågor? Är det resultatet (utfallet) av insatsen eller vägen dit (processen/omvandlingen) som är intressantast att utvärdera? Tänk också på att modellen inte är statisk. Den kan revideras efter hand. För mer information se sid. 38, se även sid. 28 ff.
x HUR SKULLE MAN KUNNA SAMLA IN DATA? Vilka data be-hövs för att besvara det som anges i syftet? Kvantitativa data, kvali-tativa data? Statistik, textanalys, enkäter, intervjuer? (Databehovet styrs av kärnfrågor, kritiska punkter och förklaringsnivå i beskriv-ningsmodellen). Om enkäter eller intervjuer ska göras, hur många och till vilka? För mer information se sid. 43.
x FÖRANKRA FAKTA. Om utvärderingen ska bli använd är det vik-tigt att redovisning av data (beskrivningsmodell och verklighetsbe-skrivning) uppfattas som korrekta och tillförlitliga. Sänd gärna ut faktadelen (dvs. resultatet av arbetet ungefär så här långt) till de be-rörda för förankring, justering och komplettering. För mer informa-tion se sid. 44.
x JÄMFÖR VERKLIGHETEN MED KARTAN. ANALYSERA, SÖK ORSAKSSAMBAND. Stämmer inte verkligheten och kartan får man fundera på vad det beror på. Kartan kan vara fel, t.ex. när det gäller teorierna bakom insatsen, uppfattningen om genomföran-det och andra antaganden. Viktiga omgivningsfaktorer kan ha förbi-setts. Men bristande överensstämmelse kan också bero på att fullt rimliga förväntningar inte har infriats av något skäl, dvs. att verklig-heten inte har blivit den förväntade. Stämmer å andra sidan kartan och verkligheten kan det konstaterade (och förväntade) utfallet bero på insatsen, det kan bero på insatsen och något mera, men det kan också ha kommit till stånd trots insatsen. Ett ”halvlyckat” utfall kan bero på att insatsen har motverkats av andra faktorer, etc. Att ett önskat resultat har uppnåtts kan vara ett fullt tillräckligt konstate-rande. Oftast vill man dock veta varför och hur. Orsakssamband kan sökas genom jämförelser i tid och rum mellan ”objekt” som har på-verkats respektive inte påpå-verkats av insatsen, genom studier av ge-nomförandeprocess och genom kvalitativa omdömen av kunniga personer. För mer information se sid. 45 ff.
x BEDÖM RESULTAT. Hur bedömningen ser ut varierar med typ av utvärdering. Den kan t.ex. gå ut på att bedöma i vilken utsträckning ett eller flera mål har nåtts. Bieffekter som förbättrar respektive för-tar det önskade resultatet kan behöva beaktas. Man kan vilja bedöma prestationer eller effekter i relation till resursinsats, i förhållande till fastlagda bedömningskriterier eller egna, men redovisade kriterier. Brukarutvärderingar utgör brukarnas bedömningar och kan vara fri-stående eller del i en mer omfattande utvärdering. Processer kan be-dömas efter funktion, efter de medverkandes värderingar eller i för-hållande till andra liknande processer. Kriterier kan vara snabbhet, demokrati, produktivitet etc. För mer information se sid. 41 ff, sid. 47. Se även sid. 28 ff.
x DRA SLUTSATSER, LÄMNA FÖRSLAG. I vilken omfattning av-görs bl.a. av beställning och syfte. I övrigt svårt att generalisera. För mer information se sid. 49.
x RAPPORTERA – SPRID RESULTATET. Tryckt rapport? Före-dragningar och diskussioner? Seminarier? Populärversioner? Missiv med särskilda uppmaningar till olika intressenter. Fantasi, syfte och resurser avgör. För mer information se sid. 49.
x GLÖM INTE INTERN FÖRANKRING! På planeringsstadiet, i ”halvtid” (bedömningar och andra slutsatser) och inför slutrapporte-ring.
Vid behov, ta hjälp av utvärderarna vid Naturvårdsverket eller konsulter. En utmärkt vägledning för att beställa utvärderingar har getts ut av Ekonomistyr-ningsverket: Att beställa utvärderingar – en vägledning (ISBN 91-7249-201-5).
Vad är utvärdering egentligen?
Vanligt är att förklara skillnaden mellan uppföljning och utvärdering med att upp-följning beskriver hur något är eller har utvecklats medan utvärdering går ut på att förklara varför det är eller har blivit så. Som ordet anger går utvärdering också ut på att värdera och bedöma det som beskrivs. Man kan egentligen inte utvärdera utan att först följa upp. Däremot behöver uppföljning inte alltid leda till utvärde-ring. Men genom uppföljning kan man få signaler om att något behöver studeras närmare – utvärderas.Utvärderingslitteraturen har olika sätt att beskriva utvärdering. Enligt Vedung1 är det en noggrann efterhandsbedömning av offentlig politik. Med ”efterhandsbe-dömning” menar Vedung dock inte att man måste vänta tills allt är ”färdigt” och avslutat – endast att den insats man ska studera bör ha fått verka någon tid. En del utvärderare arbetar med andra utvärderingsobjekt än offentlig politik. De utvärderar organisationer av alla slag, bl.a. företag, t.ex. Kylén1. Hur en grupp människor – en organisation – samspelar, vad som händer vid förändringar, hur en utbildningsinsats fungerar osv. Utvärderare från USA bl.a. Patton1, talar mycket om att fonder och välgörenhetsorganisationer beställer utvärderingar av ”program” som deras pengar används till. De flesta hänvisar dock till insatser inom ”skolan, vården och omsorgen” när de berättar om utvärdering och utvärderingsmetoder. RRV1 tar bl.a. upp insatser inom ramen för biståndspolitiken i sin handledning.
En konsult beskriver utvärdering som ett perspektiv som anläggs på ett objekt för att i någon mening uppskatta dess nytta, förklara utfall och söka utvecklingsvägar. Karlsson1 menar att det utmärkande för utvärdering är att man värderar något på ett systematiskt och genomtänkt sätt. Kylén karakteriserar utvärdering med fyra grundläggande verb: beskriva, förklara, värdera och föreslå.
Kvintessensen av deras och en rad andra utvärderares definitioner skulle kunna vara just att utvärdering innebär att beskriva, förklara, värdera och föreslå utifrån
1
Beskriva, förklara, värdera, föreslå = utvärdering
Utvärdering kan ge bättre kunskaper och vara lärande på alla plan när det gäller miljöpolitikens genomförande – organisation, policy, hand-lingsplaner och projektarbete. Även arbetsmetoder och tekniska system kan utvärderas.
systematiskt insamlade data (både kvantitativa och kvalitativa). Var tyngdpunkten
ligger varierar mellan olika typer av utvärderingar. Att systematik, data och de antaganden värderingarna bygger på redovisas öppet hör också till en god utvärde-ring.
Utvärderingens vad, vem och
varför
Utvärdering vid Naturvårdsverket
Verkets utvärderingsstrategiNaturvårdsverket har 2004-11-17 antagit en ny utvärderingsstrategi (verksprotokoll Nr 129/04, 2004-11-17). Strategin finns under rubriken Styrande dokument, Pla-ner/Strategier på intranätet. Läs den!
Huvudpunkterna i strategin handlar om varför och vad vi ska utvärdera, hur vi ska uppfatta vår roll som utvärderare och om arbetsfördelningen inom verket. ring är en angelägen arbetsuppgift för samtliga avdelningar och enheter. Utvärde-ringsenheten har som sina huvuduppgifter att göra egna utvärderingar och att ge stöd i metodfrågor till övriga enheters utvärderingsverksamhet.
Olika slag av utvärderingar – alla är Naturvårdsverkets
De utvärderingar som görs och kommer att göras i Naturvårdsverkets regi är av många olika slag: Från insamling och analys av data om individ- och artantal, för-oreningshalter etc. över granskning av hur ett styrmedel fungerar till breda genom-gångar och bedömningar av sektorernas arbete för att åstadkomma hållbar sam-hällsutveckling eller nå ett visst miljömål. Som exempel kan man nämna ring av bottenfaunan i rinnande vatten för att bedöma effekter av kalkning, utvärde-ring av en viss provtagningsteknik och utvärdeutvärde-ringen av arbetet mot miljökvali-tetsmålet Myllrande våtmarker.
Det är Naturvårdsverket som står för alla utvärderingar som genomförs vid verket – av verkets personal eller helt eller delvis av konsulter. Oavsett vad man skriver i förordet om enskilda tjänstemäns insatser är det nämligen som verkets produkter de uppfattas av omgivningen.
Om man anlitar konsulter för hela eller delar av en
utvärdering ska deras arbete i normalfallet ses som underlag för verkets ställningstagande. På något sätt, antingen genom bearbetning av underlaget eller
genom särskilda kommentarer, en inledning, ett slutsatskapitel el. dyl. måste verket förhålla sig till konsultens arbete och göra det till verkets. Detta förfaringssätt mås-te framgå tydligt av upphandlingsunderlaget så att det inmås-te uppstår problem vid publiceringen. Att man ändå redovisar vilken konsult som medverkat med vad är givet. Endast i undantagsfall, om det finns särskilda skäl, publiceras en utvärdering okommenterad och med förbehållet att utvärderaren/konsulten själv helt svarar för innehåll och slutsatser.
Detta innebär att våra utvärderingar ska förankras inom verket på samma sätt som andra aktstycken som verket förutsätts stå bakom. Eftersom särskilt utvärderingar av miljöarbetet kan innebära en hel del bedömningar av och uttalanden om även andra myndigheters eller organisationers göranden och låtanden är förankringen särskilt viktig.
Förankring i flera steg
Oavsett varifrån initiativet till en utvärdering kommer är det verksledningen – Gd – som beslutar om vilka större utvärderingar som ska genomföras vid verket, liksom av vem och hur. ”Större” avser då inte i första hand rapportens omfång, utan snara-re verksövergripande, politiknära eller på annat sätt särskilt grannlaga bedömning-ar. Det kan vara klokt att räkna bedömningar där andra myndigheters och organisa-tioners arbete i relation till miljömålen beskrivs och bedöms som ”större” – i varje fall så länge sådana utvärderingar är en relativt ny företeelse. Att bedöma behovet och omfattningen av förankring är framför allt ett ansvar för Ac/Ec.
Tanken med våra utvärderingar är inte att Naturvårdsverket ska granska enskilda myndigheters inre arbete. Däremot kan det mycket väl vara motiverat att lyfta fram både vad som från miljösynpunkt fungerar bra och vad som fungerar sämre i olika aktörers utåtriktade agerande. Man kan kommentera om regler eller beslut i miljö- eller andra frågor motverkar eller främjar miljöintresset, om samarbetet myndighe-ter emellan fungerar dåligt, till nackdel för t.ex. naturvårdsfrågor eller liknande. Gränsen mellan vad vi kan och bör studera och inte ska ägna oss åt kan ibland vara svår att dra. Än svårare är det att ange generella regler. Därför är det viktigt att diskutera sådana frågor med verksledningen redan på planeringsstadiet.
Tillfällen för diskussion och beslut om fortsatt arbete kan sedan exempelvis vara när man har en plan för en förstudie, när resultatet av förstudien föreligger, när man har en plan för huvudstudien. Avrapporteringen under utvärderingens gång blir mycket beroende på de fynd man gör. Ett givet tillfälle är när det börjar bli dags att formulera värderingar, bedömningar, andra slutsatser och eventuella rekommenda-tioner. Det kan också hända att man under arbetets gång finner att man måste göra väsentliga avsteg från planen – det kan då också vara läge för rapportering. Avrap-portering inför slutskrivning är självklar.
Hur många rapporteringstillfällen man utnyttjar beror förstås på hur stort, komplext eller ”känsligt” ämnet för utvärderingen är. Här har Ac/Ec som sagt ett ansvar.
Ensam kan vara stark, men ibland ligger styrkan i samarbete
Ansvaret för arbetet mot hållbar utveckling och miljökvalitetsmålen delar vi med många andra. Vi har samarbete på gång med flera myndigheter, både bilateralt och multilateralt, t.ex. inom Miljömålsmyndighetsgruppen. Kravet på samarbete kring miljömålen blir än tydligare genom Miljömålsrådet. Naturvårdsverket kan på egen hand utvärdera både sektorsövergripande och enskilda sektorers miljöarbete, lik-som lokalt och regionalt miljöarbete. Vi kan också genomföra utvärderingar till-sammans med en eller flera berörda sektorer eller myndigheter – intressenter. Vår utvärderingsstrategi ger stöd för båda arbetssätten. Egna utvärderingar på områden där vi har samarbetsavtal eller samarbetar på annat sätt kan bli ”vassare” och göra det lättare att sätta fingret på ”ömma punkter”, men de kan också bli mer kontro-versiella. Vilket arbetssätt vi väljer beror bl.a. på syftet med utvärderingen. Valet blir i allmänhet en fråga för verksledningen.
En förutsättning för våra utvärderingar med eller utan medverkan av andra aktörer är att de görs med full öppenhet om att de pågår. Öppenhet är f.ö. nödvändig för att vi ska kunna få tillgång till data och annat material som kan behövas från de berör-da aktörerna. Med öppenhet ökar också förutsättningarna för acceptans och an-vändning av resultaten. Att på olika sätt involvera intressenterna, de som på något sätt berörs, eller de viktigaste av dem, rekommenderas av många utvärderare som ett sätt att just få utvärderingarna mer använda. (Se bl.a. intressentmodellen, sid. 32)
Varför utvärderar vi – och när?
Varför?Utvärderar gör man av många skäl. Det som ligger närmast till hands är förstås att man vill se ”hur det gick”, om den åtgärd man vidtagit har fått det tänkta resultatet eller om man behöver justera något. Man kan också behöva utvärdera något – en organisation, ett styrmedel, ett arbetssätt – därför att det finns tecken på trassel någonstans. Då får man ta reda på var skon klämmer och helst också vad man kan göra åt det. Det är inte heller omotiverat att utvärdera något som fungerar bra. Lär-domarna därifrån kan komma väl till pass i andra liknande sammanhang.
Utvärderingslitteraturen tar upp en rad olika syften med utvärderingar. Kontroll i vid bemärkelse är ett av de vanligaste. Kontrollen kan gälla att utfallet blivit det önskade, men också att alla som skulle nås av en åtgärd har gjort det, att insatserna genomförts på rätt sätt, att kostnadsramarna har hållit, att lagar och regler har följts. Utvärderingar för att kontrollera, se hur det gick, kallas
summativa utvärderingar. Utvärderingen görs mot en
uppsättning kriterier. I summativa utvärderingar ställer man frågor som ”fungerade insatsen/programmet?”,
Obs! att beteckningar-na summativ, formativ, upplysande och stra-tegisk beskriver syftet med en utvärdering. Även om syftet har betydelse för hur man lägger upp utvär-deringen är dessa beteckningar inte rubriker som olika utvärderingsmodeller kan sorteras in under.
”uppnåddes målen?”, ”ska programmet fortsätta eller avslutas?”.
Främjande utvärderingar syftar till förbättringar i någon verksamhet eller av någon
insats. Medan utvärderingar i kontrollsyfte i första hand ska förse någon överord-nad instans med information, vänder sig den främjande utvärderingen till dem som arbetar med det utvärderade programmet/i den utvärderade organisationen. De ska få hjälp att ändra eller förbättra det som inte fungerar så bra, men också att ta vara på och förstärka det positiva. Utvärderingar ”under hand” för att förbättra kallas
formativa.
Formativa eller främjande utvärderingar är i allmänhet mera öppna. Man utgår inte nödvändigtvis från kriterier som man bedömer resultat mot. Snarare söker man efter starka och svaga sidor. Formativa utvärderingar kan komma till användning för att åstadkomma den ”ständiga förbättring” som t.ex. förutsätts i miljölednings-system. Typiska ”formativa frågor” är t.ex. ”Vilka typer av deltagare gör goda framsteg och vilka gör det inte?”, ”Vilka genomförandeproblem har uppstått och hur har de hanterats?”, ”Vad har hänt som inte var väntat?”, ”Hur samarbetar olika grupper/personer/funktioner i projektet?”
Utvärderingar för att rent allmänt få bättre kunskap – upplysande syfte – medverkar till ökad förståelse av processer, styrstrategier, organisationers sätt att fungera.
Kunskapsutveckling kan alltså vara ett skäl till att också utvärdera sådant som
De anförda syftena är de som brukar uppges, men det kan också finnas andra,
stra-tegiska, skäl som beställaren inte lika gärna nämner. Utvärderingar kan, liksom
vanliga utredningar, användas för att fördröja något som måste göras. De kan också användas som förevändning för något i övrigt omotiverat som man vill göra. En misslyckad insats kan döljas genom en utvärdering som bara tar upp det som trots allt fungerar – och tvärtom: genom en utvärdering som lyfter fram missarna i en annars lyckad insats, kan åtgärden eller programmet misskrediteras och kanske förkastas. Slutligen: eftersom utvärderingar är något man ”ska” göra kan de bli en närmast rituell åtgärd utan att sedan leda någonstans.
Skarpa gränser mellan olika syften hör väl närmast till teorin. Inriktningarna uteslu-ter inte varandra, men man bör precisera var tyngdpunkten ska ligga efuteslu-tersom det styr uppläggning och kärnfrågor. Naturvårdsverkets utvärderingsstrategi lutar mest åt kontrollerande och främjande användning. Typexemplet är utvärderingar av arbetet mot miljömålen, som syftar till att ta reda på om det går åt rätt håll och ge förslag till åtgärder och förändringar om det visar sig behövas.
När?
”Utvärdering är en noggrann efterhandsbedömning” enligt Evert Vedung och många med honom. De menar dock inte att man alltid måste vänta tills fullständiga resultat av en insats föreligger innan man kan sätta igång att utvärdera. Särskilt för att kontrollera eller främja finns det skäl att vid ett eller flera tillfällen titta på hur det går, t.ex. arbetet mot ett miljökvalitetsmål eller ett av delmålen. Man kan behö-va se om ett styrmedel eller en organisation ser ut att fungera som avsett. Formati-va utvärderingar görs alltså inte i efterhand utan i en pågående verksamhet eller process.
En formativ utvärdering av strandskyddet kan göras för att svara på frågor av följande slag: Hur arbetar kommunerna med strandskyddet, har de till-räcklig kompetens och hur kan man få besluten bättre från naturvårdssyn-punkt? En avgörande fråga i en summativ utvärdering skulle kunna se ut så här: Kan kommunerna ha kvar beslutanderätten i strandskyddsfrågor? En utvärdering i upplysande syfte skulle kunna gå ut på att ta reda på hur kommunala beslut i strandskyddsfrågor skiljer sig från länsstyrelsebeslut, t.ex. som en del i en större undersökning om skillnaderna mellan de båda nivåerna när det gäller beslut i naturvårdsfrågor.
Hur som helst finns det all anledning att noga tänka igenom både egna och en eventuell beställares motiv för en planerad utvärdering. Syftet med utvärderingen har betydelse för både ambitionsnivå, uppläggning och genomförande.
Man behöver inte vänta tills något är ”färdigt”. Det är snarare valet av tidpunkt som är viktigt. En insats eller åtgärd av något slag behöver få tid att ”sätta sig” innan man börjar titta på effekterna.
Vill man utvärdera själva införandeprocessen går man in tidigare för att se vad som händer. Signaler om att något går fel är ett tecken på ”rätt tid”. Förändringar i om-världen kan vara skäl att studera nuläget för att jämföra med och utvärdera det som sedan inträffar. Tidpunkter för händelser i omvärlden då en utvärdering kan komma till användning är en viktig faktor. Kända beslutstillfällen inom EU eller riksdag och regering är sådana händelser. Det kan t.ex. vara så att en utvärdering kan utgö-ra underlag för en förhandling eller en planeutgö-rad proposition.
”Den som gapar över mycket…” Vad
utvärd-erar vi? Avgränsningar
Hitta kärnfrågorna
Utvärderingar är i allmänhet tidskrävande. Vare sig man beställer eller planerar en utvärdering måste man därför vara noga med att begränsa sig, att rätta omfattning-en efter vad man faktiskt tror sig behöva veta och efter tid och resurser.
Ett uppdrag att utvärdera ”effekterna i miljön av att statliga myndigheter infört mil-jöledningssystem” som gavs året efter det att ett antal myndigheter fått i uppdrag att införa sådana system får utgöra ett exempel på ett inte helt genomtänkt val av tidpunkt. Däremot hade man kunnat titta på införandearbetet, hur introduktionsut-bildningen för ”pionjärmyndigheterna” fungerade, t.ex. Att utvärdera de lokala in-vesteringsprogrammens betydelse för miljöarbetet återkommande finns det goda motiv för. Genom att titta på ansökta och beviljade projekt får man en uppfattning om vilken miljöinriktning satsningarna har, i vad mån målkonflikter beaktas, om projekten leder till miljöförbättringar, liksom hur projekt med risker för miljön be-handlas. Därmed finns också möjligheter att påverka genom information och eventuella regeländringar. Att utvärdera arbetet mot miljökvalitetsmålen redan nu är också rimligt, eftersom vad som behöver göras egentligen varit känt länge. Däremot kan det vara i tidigaste laget att bedöma just betydelsen av att målen antagits av regering och riksdag och fått en mera systematisk och heltäckande utformning än tidigare.
Fundera på tidpunkten och skälen till att göra en viss utvärdering vid en viss tidpunkt. Genomförda eller väntade förändringar? Tecken på problem? Andra omvärldssignaler? Utvärderingen kan presenteras vid politiskt lämplig tidpunkt?
Engagemang och intresse förleder oss till att vilja ta reda på ”allt”. Utvärderings-uppdrag eller idéer formuleras ofta svepande: ”Utvärdera strandskyddet”, ”Vi mås-te utvärdera producentansvaret”, ”Miljömålen ska fortlöpande utvärderas”. Med litet tur finns det kommentarer till uppdrag och idéer som noggrannare anger vad det är som bekymrar uppdragsgivaren, vad han eller hon vill veta. Uppdragen kan också vara mera förutsättningslösa. Då gäller det för den som ska göra utvärde-ringen att skapa sig en uppfattning om vad som är viktigt – kärnfrågorna, lämna förslag och få det bekräftat, att komma överens om ambitionsnivå, tid och resurser. Systematisera tänkandet. Några hjälpmedel
Det finns många olika typer av utvärderingar, och man kan lägga en rad aspekter på det ”objekt” man ska utvärdera. Ett bra hjälpmedel i många fall för att resonera sig fram till vad man är ute efter och vad som då är relevant att studera är någon form av systematisk genomgång från ”ax till limpa” i form av en tankekarta. Såda-na beskrivs i de flesta läroböcker med litet olika utformning och benämning. En
händelsekedja är ett sätt att orsaks- och/eller tidsmässigt bena upp händelser,
insat-ser, resultat och effekter. Man kan också tala om programteori, dvs. en beskrivning av hur den eller de som skapat eller beslutat om ”programmet” tänkt sig händelsers inbördes relationer (gör man A så händer B och det för i sin tur med sig C och D*). I allmänhet påverkas människors agerande eller en
för-ändring i miljön inte enbart av en påverkansfaktor eller händelse. Ju längre fram mot den slutliga effekten man kommer, desto mer blandas effekten av t.ex. ett styrme-del eller en annan åtgärd med andra inflytelser. Desto svårare blir det också att urskilja just det aktuella styr-medlets eller åtgärdens effekter. Det kan innebära att man behöver söka efter påverkan från flera håll och effekter på mer än ett område – efter parallella händel-sekedjor. En programfältsteori är en annan benämning. Man försöker beskriva vad man vet eller tror om hur
olika förhållanden, aktiviteter och åtgärder påverkar den företeelse eller det händel-seförlopp man vill utvärdera. Handlar studien om ett styrmedel, utgår man från hur styrmedlet självt tänkts fungera, men försöker också bedöma vilka andra faktorer som verkar i samma eller motsatt riktning osv.
Det kan vara praktiskt att reda ut vilka drivkrafterna i samhället är bakom de aktivi-teter som ställer till eller motverkar ett problem, vilka styrmedel som samhället använder för att påverka. Finns styrningar på andra områden som har effekt också på det objekt eller förlopp man tänker studera? Vilka effekter har styrmedlen och på vem? Vad är det i övrigt som påverkar? Resultatet av en sådan genomgång kan bli både gamla välkända förhållanden och en del Aha-upplevelser. Man kan klara ut vilka samhällssektorer som är mest berörda, vilka intressenterna kan vara etc.
*Eller för att vara mer konkret: Om vi lägger en skatt på naturgrus blir gruset dyrare, vilket gör att bergkross får ett bättre konkur-rensläge och att en del av efterfrågan förs över dit. Effekten blir lägre takt i förbruk-ningen av naturgrus, lättare att ”spara grusåsar”
Följande schematiska bild, utan anknytning till något särskilt styrmedel eller miljö-problem, kan ge en idé om tankebanorna. Det kan tilläggas att det här schemat trots allt är förhållandevis enkelt.
Tanken bakom rutorna och pilarna är att ett program eller ett styrmedel förval-tas/genomförs av myndigheter, som i sin tur styr/påverkar näringslivet och /eller hushållen, konsumenterna, dels genom att använda styrmedlet, dels, kanske, genom information i olika former. Redan införandet av ett styrmedel innebär information om vartåt de beslutande strävar. Hushållen agerar utifrån vad företagen erbjuder, sin reaktion på den information de får (den kan t.ex. också komma från ideella organisationer, och den kan förmå konsumenterna att ställa krav på företagen att skapa förutsättningar för ett mer miljövänligt agerande). Konjunkturen kan rent allmänt påverka efterfrågan på t.ex. de varor eller tjänster som påverkar det som programmet vill åstadkomma. Påverkan kan riktas från ideella organisationer till sektorn, enstaka branscher eller till enskilda företag. Bransch- och intresseorganisa-tioner kan försöka påverka myndigheter (lobbyverksamhet), företag och enskilda medlemmar i eller mot programmets riktning. Myndigheter och företag kan påver-ka genom miljökrav i samband med upphandling. O.s.v. Inte sällan får man så småningom ett virrvarr av rutor och påverkanspilar.
Det är härur man ska välja ut vad man ska gå vidare med. Att gå till botten med allt är nästan oöverstigligt. Kanske bör man välja ut några kritiska punkter att titta närmare på, kanske är man mera betjänt av en bred men grund studie. Kanske bör man inte följa kedjan ända ut till de slutliga effekterna. I många fall kan man ”backa” ett stycke från den önskade effekten i miljön. Vi vet ofta vilka händelser litet längre bak i kedjan som är nödvändiga för att effekterna ska bli de önskade. Där är det för det mesta lättare att mäta. Och, vilket är väsentligt, man hittar troli-gen resultaten snabbare där. Miljön reagerar i allmänhet långsammare.
Central myndighet Kommun Läns- styrelsen ”Program” t.ex. lagar, information Sektor Bransch Företag Hushåll eller konsument Utfall, resultat, effekt Omvärldsfaktorer: konjunktur, internationella förhållanden,
drivkrafter (t.ex. transportbehov, energibehov) andra styrmedel, andra myndigheters agerande, ideella organisationer etc.
Man kan alltså välja att titta närmare på en del av händelsekedjan som verkar sär-skilt intressant, man kan välja att gå så långt fram i kedjan där man tror att effekter av en viss insats fortfarande går att avläsa. Man kan välja avsnitt där det finns gott om data. Vad man väljer beror på beställning och syfte. Detta är en viktig del av utvärderingsarbetet. Vilka frågor som ställs och hur de ställs styr vilka svar utvär-deringen kan ge. Här kommer förstudien in. Redan en kartläggning av det här sla-get är f.ö. något av en förstudie; man kartlägger och försöker få en bild av ”var skon klämmer” eller vad det är som bidrar till att något går bra. Förstudien åter-kommer vi till senare.
Strandskydd, producentansvar – några exempel
Om vi t.ex. får i uppdrag att ”utvärdera strandskyddet” kan det finnas en rad in-fallsvinklar (Obs: Detta är ett teoretiskt exempel för att visa på sätt att tänka. Det har en viss verklighetsförankring.)
En helt förutsättningslös utvärdering skulle kunna avse läget längs våra kuster, sjöar och vattendrag – hur det har utvecklats, hur mycket tillgänglig strand som för-svunnit och konsekvenserna av detta för friluftsliv och biologisk mångfald. Med någon redovisad uppfattning av vad som är acceptabelt skulle man sedan kunna bedöma om styrmedlet fungerat som det var tänkt. Det skulle bli en omfattande historia med naturvetenskaplig inriktning.
Problemet uppfattas allmänt vara att dispenser från strandskyddsbestämmelserna beviljas alltför generöst, framför allt i tätorts- och tätortsnära kommuner. Därför ligger det närmast till hands att utgå från att en allmänt hållen uppmaning att utvärdera strandskyddet främst avser mängden dispenser.
Det finns en lång rad frågor som skulle kunna utvärderas. En som snabbt dyker upp är t.ex. om styrmedlen fungerar som avsett och om de är tillräckliga. En annan fråga är om beslutsfattarna fattar ”rätt” beslut – om de tillämpar bestämmelserna så som lagstiftningen förutsätter. En tredje fråga kan gälla om besluten hanteras på ”rätt” nivå. Man kan också behöva värdera förutsättningarna för att besluten ska bli bra, t.ex. handläggarnas och beslutsfattarnas kompetens, arbetets organisation och tilldelade resurser. När man klarat ut vilka olika faktorer som skulle kunna ha bety-delse för hur dispensgivningen fungerar får man med hänsyn till resurser i tid och personal välja ut de frågor man tror är viktigast – kärnfrågorna. En förstudie kan då vara till god hjälp.
Strandskyddsbestäm-melserna innebär i kort sammandrag att det inom 100 meter från strandlinjen i vattnet och på land är förbjudet att bl.a. bygga nytt, ändra befintlig bebyggelse till andra ändamål, utföra anläggningar eller i övrigt vidta åtgärder som hindrar allmänhe-ten från att färdas fritt eller som väsentligt förändrar livsvillkoren för djur och växtarter. Strandskyddet kan utvidgas till 300 meter.
En utvärdering med förhållandevis små resurser skulle kunna inriktas på att kart-lägga i vilken omfattning de olika strandskyddsreglerna tillämpats, hur mycket stränder som ”försvunnit” genom dispenser och i vilka kommuner som reglerna tillämpas mest generöst. Genom att gå igenom ett tillräckligt stort antal dispensbe-slut skulle man också kunna få en uppfattning om hur bedömningarna görs, framför allt om de särskilda skäl som lagen kräver finns och har redovisats.
En mera ambitiös uppläggning skulle dessutom kunna titta på utvecklingen över tiden, och försöka knyta förändringar i frekvensen dispenser till förändringar i styrningen. Genom att omfatta också faktorer som beslutsnivå, handläggarnas kompetens och typ av kommun skulle studien kunna få användning även i frågor om hantering och beslutsnivå för andra miljöfrågor.
På motsvarande sätt kan en utvärdering av producent-ansvaret få många olika utformningar beroende på vad man vill veta. Här finns mål för hur stor procent av olika förpackningstyper som ska återvinnas. En variant är då att bedöma dagens återvinningsnivåer mot målen, och kanske också mot eventuella tidplaner eller del-mål. Intressant kan också vara att se hur utvecklingen över tiden varit. Det kan kanske ge en antydan om huruvida det hela går framåt, har stagnerat eller rentav backat i något avseende. I synnerhet om man noterar något oväntat bra eller dåligt kan det finnas skäl att försöka hitta förklaringarna till det – i organisation, introduktion, information, personalens kompetens och engagemang eller dyl. Det kan finnas skäl till jämfö-relser mellan olika förpacknings- eller varutyper, olika entreprenörer, återvinningsföretag osv.
Andra infallsvinklar är att ta reda på hur företag på olika nivåer uppfattar produ-centansvaret och de krav det ställer. Hur ser kommunerna på det och vad gör man på den kanten? Vad är det som får konsumenterna att återvinna eller inte återvinna förpackningar? Hur har informationen till hushållen fungerat? Hur fungerar åter-vinningsstationerna och vilken betydelse har det för återvinningsnivåerna? De samlade kostnaderna för återvinningen i relation till vad ”vi” medborgare eller miljön får för pengarna är naturligtvis intressant, men som på många av miljövår-dens områden svår att göra, eftersom framför allt en del av vinsterna är svåra att kvantifiera.
I förlängningen tänks producentansvaret leda till att företagen använder färre för-packningar, tillverkar förpackningar och produkter som är mera resurssnåla, enkla-re att återvinna eller på annat sätt är mera miljöanpassade. Att ta enkla-reda på om ut-vecklingen gått i den riktningen, generellt eller i vissa branscher, vad det i så fall
Producentansvar innebär bl.a. att producenterna ska se till att deras produkter samlas in och åter-vinns när de är be-gagnade. Det finns för närvarande lag-stadgat producentan-svar för förpackning-ar, däck, returpapper, bilar och elektriska och elektroniska produkter. Det lång-siktiga syftet med producentansvar är att det ska leda till utveckling av mer miljöanpassade produkter.
beror på (producentansvaret eller annan styrning och i så fall vilken/vilka) och hur det har gått till, är också ett sätt att gripa sig an frågan om producentansvaret. Det är förstås frestande att ”gå hela vägen”, oavsett vilket område man ger sig in på att utvärdera. Nyfikenheten växer medan man funderar. Det har också visat sig att många mindre erfarna utvärderare ofta försöker ta alltför stora grepp. Men be-gränsningar är nödvändiga, och det gäller att bestämma sig för vilka nyckelpunk-terna eller kärnfrågorna är – vad det är man framför allt vill veta. Det går ju också att dela upp en utvärdering, ta en bit i taget och därifrån gå vidare med andra in-tressanta områden.
Förstudie – nyckeln till kärnfrågorna
Om man är mycket kunnig inom det sakområde man ska utvärdera, om beställ-ningen är utomordentligt tydlig och klar och området begränsat, är det bara att sätta igång att leta data och annan information över hela området.
I alla andra fall är det klokt att göra eller låta göra en förstudie först. Det är en god hjälp att hitta kärnfrågorna. En förstudie kan vara allt från att en kunnig person skriver en PM eller att man resonerar med en rad experter till att man gör en rätt omfattande och bred studie för att klara ut vad man behöver fördjupa sig i. Den kan bestå i en litteraturgenomgång eller en översikt av tillgängliga data, ett seminarium med kunniga personer, etc. Förstudiens omfattning varierar med hur bekant man är med ämnet för utvärderingen och givetvis med hur komplicerat det är, hur många intressenter som berörs, utvärderingens ambitionsnivå, anslagna resurser etc. Förstudien är en hjälp att klara ut flera olika frågor. Den är grunden för att besluta om en utvärdering ska göras (om man inte har ett uttryckligt uppdrag). Kanske redan förstudien ger de svar man vill ha, eller så visar den att det inte går att få fram data, att tidpunkten är olämplig eller att någon fråga kommer att vara överspe-lad när resultatet kan vara framme. Den kan visa på att kärnfrågorna är andra än de man tyckt sig ana eller som uppdraget anger. Den kan givetvis också bekräfta att man är på rätt spår.
Syftet med en förstudie är också att skapa sig en bild av hur sammanhangen ser ut, vilka ”de ömma punkterna” är, vilka frågor som kan och bör besvaras och var det alltså finns skäl att fördjupa studien, vilka påverkansfaktorer och effekter man bör titta på, och vilka intressenter man bör hämta uppgifter ifrån eller diskutera med. Det kan också finnas skäl att tänka över hur den omgivning ser ut som kommer att beröras av och kanske påverka utvärderingen eller användningen av den. Vilka vill eventuellt inte se resultatet av arbetet? Varifrån kan man vänta sig stöd? Finns det faktorer som politiska krafter, intressemotsättningar eller personlig prestige som kan komma att styra arbetet?
Förstudien kan också ge en uppfattning om var och inom vilka områden det går att få tag på data – vad som redan finns och vad man kan behöva skaffa in just för
utvärderingen. Tanken är att förstudien ska vara en hjälp att planera och avgränsa utvärderingen så att den blir hanterlig.
Med förstudien i bagaget är det också lättare att diskutera med uppdragsgiva-ren om syfte, inriktning och omfattning på utvärderingen, om tidplan och resur-ser. Allt detta är faktorer som i sin tur påverkar valet av utvärderingsmo-dell(er) och metoder för insamling av data. Att först göra eller låta göra en förstudie kan också vara en väg för en beställare att bättre kunna precisera en beställning. Man kan t.ex. göra en förs-tudie som underlag för upphandling av (delar av) en huvudstudie.
Kan vi? Vill vi? Törs vi? Vem utvärderar?
Utvärdering är en profession. Det finns högskoleutbildningar i utvärdering (eng: evaluation), och det forskas i det. Det finns internationella sammanslutningar för utvärdering och utvärderingsforskning. Kan då vem som helst utvärdera? Som med de flesta professioner är det nog så att amatörer med utbildning, handledning och övning kan ta sig fram hjälpligt även på det här området. Tänker vi på att utvärde-rarna söker sig till utvärderingsprofessionen från många andra kunskapsområden och att många av oss är ganska vana utredare, borde vi kunna närma oss utvärde-randet med tillförsikt.Sakkunnig eller utvärderarproffs?
En ”proffsutvärderare” som ska utvärdera något på miljöområdet, har förmodligen god kunskap om olika perspektiv och angreppssätt, modeller och metoder för att göra utvärderingar av olika slag – analysera effekter, processer, funktioner, samla in data, göra statistiska beräkningar. Men analyser och bedömningar kräver också god kunskap om sakområdet, om miljömål, miljölagstiftning, ansvarsfördelning inom ”Miljövårdsfamiljen”, ekologiska sammanhang etc. Det kan vara mycket tidskrävande att läsa in eller på annat sätt hämta in den nödvändiga kunskapen. Ett ”miljöproffs” har gedigna kunskaper om det område som ska utvärderas. Det är naturligtvis en stor fördel. Samtidigt kan det innebära risk för att vederbörande är så säker på hur saker förhåller sig att det kan var svårt att ”lyfta näsan över vattnet” och hitta andra samband som har betydelse.
Det finns många olika lösningar på dilemmat och det gäller att välja med hänsyn till utvärderingens syfte och inriktning – att hitta en lämplig kombination av utvär-derar- och sakkompetens. Man kan ta hjälp av en utvärderare (via konsult eller
inom verket) på planeringsstadiet och få hjälp med frågor och infallsvinklar som kanske inte är lika självklara för den sakkunnige med t.ex. naturvetenskaplig in-riktning. Stödet kan fortsätta i olika former under hela utvärderingsarbetet eller återkomma vid ett antal förutbestämda kontrollstationer. Det kan vara en fördel om de närmaste medarbetarna i ett utvärderingsprojekt får i varje fall en introduktion i utvärderingens terminologi och metodik för att underlätta kommunikationen. Man kan välja att anlita utvärderare för att genomföra en utvärdering och själv ställa upp med material, referensgrupper och specialkunskap inom området. Man kan anlita utvärderare för delar av utvärderingen och göra andra delar själv. För Naturvårdsverkets del kan det bli aktuellt att genomföra utvärderingar i sam-verkan med andra medlemmar av miljövårdsfamiljen eller miljömålsmyndigheter-na. Här kan man överväga att gemensamt anlita en utvärderare i rollen som handle-dare eller moderator.
Hur man väljer handlar inte enbart om vilken kompetens som är viktigast i det aktuella sammanhanget. Det handlar också om hur man ser på utvärderarens roll, och hur de som ska ta emot och helst använda utvärderingen ser på den. Söker man en opartisk, objektiv iakttagare eller en engagerad bedömare i den verksamhet som ska utvärderas? Den förra varianten kan ge en utvärdering som vinner större tro-värdighet hos omgivningen, men det andra valet hade kanske gett ett ”riktigare” och bättre underbyggt resultat.
Den traditionella bilden av den profes-sionelle utvärderaren som en objektiv och värdeneutral analytiker utifrån har börjat ifrågasättas. Uppfattningen att det krävs sakkunskap och engagemang för att kunna bedöma ett resultat eller en situation på ett insiktsfullt sätt har vunnit gehör. Det skulle innebära att utvärdering inte bör överlämnas helt till särskilda utvärderare som ser saker utifrån, utan att det är något som olika yrkesutövare bör ägna sig åt, låt vara med hjälp av uttalade mål, principer och teorier för det aktuella området.
Som så ofta är det förmodligen ett mellanting som är det bästa. Utvärderaren Ove Karlsson ser den externe utvärderaren som ett ”bollplank”, en handledare, utbildare och samtalspartner snarare än en domare som slår fast hur det egentligen är. Något att fundera över vid val av utvärderare
Ove Karlsson diskuterar i sin utvärderingsbok några för- och nackdelar med extern respektive intern utvärderare. Resonemanget kan också i viss mån belysa valet
mellan professionella utvärderare och i vårt fall miljösakkunniga. (Ove Karlsson utgår i huvudsak från utvärdering av försöksverksamhet inom ramen för kommuna-la tjänster inom skokommuna-la, vård och omsorg. Delvis gäller hans synpunkter även oss). Om vi ”översätter” till våra förhållanden blir det ungefär så här:
x Om sakkunniga inom verket genomför en utvärdering är de ofta väl insatta i de miljöaspekter som ska beaktas. De kan en hel del om be-rörda verksamheter och kan ge en god bild av förlopp och samman-hang. Däremot kan de ha svårt att skilja på sina roller som miljövår-dare och utvärderare. Det finns risk för att man tonar ner misslyck-anden och lyfter fram det som gått bra, om det handlar om något där ”hjärtat finns med”. Vanemässig inställning till andra myndigheter kan påverka bedömningen (baksidan av att man kan området och de olika aktörerna). Erfarenheten av utvärdering och rapportering kan vara otillräcklig.
x Anlitar man i stället en professionell utvärderare ökar antagligen sannolikheten för en förutsättningslös och allsidig belysning. Utvär-deraren har distans till det som utvärderas och kan anlägga flera ge-nerella synpunkter (t.ex. i fråga om hur organisationer fungerar). Utvärderaren har specialistkunskaper i bl.a. forsknings- och under-sökningsmetodik. På minussidan kan stå bristande kännedom om den verksamhet el. dyl. som ska utvärderas och kanske brist på en-gagemang i de idéer eller problem som ligger bakom den utvärdera-de åtgärutvärdera-den eller styrmedlet. Utvärutvärdera-deraren kan också ha svårare att anpassa resultaten så att de blir direkt användbara i de verksamheter som utvärderas.
Vi kan, vi vill, vi törs – i synnerhet med litet hjälp
Det är alltså mycket att fundera över när det gäller att organisera en utvärdering. De som vill ha generella regler för när vi själva ”ska” genomföra en utvärdering och när vi bör anlita konsult känner sig nog besvikna över den resonerande fram-ställningen. Men det är svårt att komma närmre än så eftersom både utvärderings-objekt, resurser och övriga förutsättningar varierar så mycket både från tid till an-nan och från enhet till enhet.
Patton definierar en extern utvärderare som en person som inte har en långsiktig, pågående ställning inom det program eller den organisation som utvärderas. När vi i Naturvårdsverket utvärderar miljöarbetet i samhället eller ett miljöpolitiskt styr-medel kan vi ses som ”externa” i förhållande till sektorsmyndigheter, länsstyrelser och kommuner, liksom till ”program”, insatser, som dessa myndigheter genomför. Å andra sidan är vi som central miljömyndighet med ansvar att vara samlande och pådrivande i miljöarbetet involverade i många insatser på miljöområdet utan att direkt vara ansvariga för dem eller medverka i det löpande arbetet. Det kan ge en mellanställning som kan vara svår att hantera i utvärderingssammanhang: stor
sak-kunskap, stort engagemang, lyhördhet, men samtidigt risk för ”infångning” (alltför stark identifiering med/lyhördhet mot de utvärderade) eller förutfattade meningar. En tumregel skulle kunna vara att ju mer vi i utgångsläget tycker oss veta ”hur det egentligen är”, desto större skäl finns det att ta hjälp av någon mera neutral utvär-derare. Risken för ensidighet eller partiskhet minskas också om man så mycket som möjligt engagerar intressenterna i arbetet. (Om intressentmodellen, se sid. 32 f.)
Om verket självt har stor del i den eller de verksamheter som ska studeras eller betydelse för de resultat som ska bedömas, kan det vara klokt att utvärderingen görs av eller tillsammans med andra. Utvärderingslitteraturen hävdar visserligen att s.k. egenutvärderingar kan ge bra resultat, men det kan vara svårare att övertyga andra intressenter eller allmänheten om att det förhåller sig så.
När vi både kan samla ihop sakkunskap inom verket och se på litet distans på de verksamheter och resultat som ska utvärderas kan organisationen av utvärderingen hänga mera på tid, resurser och hur säkra vi känner oss på att anlägga utvärde-ringsperspektiv. Att vända sig till en extern konsult eller till utvärderare inom ver-ket för att få ett bollplank vid uppläggning och genomförande, men i stort sett själv (enheten, en projektgrupp el. dyl.) svara för det praktiska utvärderingsarbetet kan då vara en användbar modell.
Utvärderingsenheten
Naturvårdsverkets enhet för strategier och utvärdering gör utvärderingar i egen regi eller tillsammans med andra inom verket. Enhetens medverkan i utvärderingar som drivs av andra bör helst avtalas i samband med verksamhetsplaneringen. Vi är öpp-na för mindre insatser i form av rådgivning, som samtalspartner och bollplank, och ställer upp i mån av tid.
Noggrann upphandling
När man bestämt sig för att anlita en konsult för en utvärdering eller en del av den blir det fråga om upphandling. Dels måste man förstås följa gällande upphandlings-regler (se handboken på nätet och kontakta någon upphandlingssakkunnig). Dels måste man tänka på att mycket noggrant beskriva vad man vill ha hjälp med, vilka frågor man vill ha svar på, vilka sammanhang som ska belysas etc. Här har man god hjälp av en förstudie. Det kan också vara fråga om att ta hjälp med själva för-studien, som då förmodligen blir mera förutsättningslös. Det är dock viktigt att styra även den så långt det går, t.ex. genom att precisera syfte med utvärderingen, eventuella mål för den verksamhet som ska utvärderas och andra kriterier som är viktiga.
En utmärkt vägledning för att beställa utvärderingar har getts ut av Ekonomistyr-ningsverket: Att beställa utvärderingar – en vägledning (ISBN 91-7249-201-5).
Fokus i denna vägledning ligger på utvärderingsprocessen, inte på juridiska och ekonomiska aspekter av en beställning.
Verket har ramavtal med två utvärderingskonsulter på området Personal och orga-nisation, se lista på intranätet. För övriga typer av utvärderingar saknas ramavtal.
Modeller – hjälpmedel, inte
tvångströja
En hjälp för tanken
Som nybliven ”utvärderare” ser man sig gärna om efter en modell eller metod att arbeta efter. – en steg-för-steg-vägledning att följa, och gärna en anvisning om vilken modell som bör användas när. Vedung inleder sitt modellkapitel med att konstatera att det råder djup oenighet om
utvärderingars inriktning och metodiska grundvalar. Han sorterar ändå ett antal olika ansatser efter vad han kallar den
organiserande principen eller den
grund-fråga som ställs i utvärderingen. Andra utvärderingsforskare och -praktiker sor-terar på sitt sätt. Ove Karlsson påpekar att även om de modellnamn som utvärde-ringsforskarna använder liknar varandra, finns det inget enhetligt beskrivningssy-stem som alla använder. För egen del sorterar och benämner han i huvudsak efter syftet med utvärderingen.
Inledningsvis kan det vara skäl att berätta om Riksrevisionsverkets utvärderings-modell som den skildras i verkets handbok i utvärdering (Handbook in Performan-ce Auditing)2. RRV:s modell går ut på att först titta på den verklighet som ska utvärderas (se ”Förstudie” ovan) och sedan skapa sig en modell för att på bästa sätt få svar på sina kärnfrågor. Det antyder att modeller snarare är något man tar till när man ska karakterisera en utvärdering än något man väljer och vrakar bland för att få ett rättesnöre för en planerad utvärdering, även om de kan vara till hjälp för tan-ken också i planläggningen.
Det är inte helt nödvändigt att döpa modellen. Försöker man placera in en utvärde-ring i något fack, upptäcker man ibland att den snarare blir en kombination av (de-lar av) flera av de modeller som beskrivs i litteraturen.
2
Det viktigaste är att man tänker igenom vad man vill veta och hur det ska gå till att få reda på det, och att man noga dokumenterar hur man har gått till väga och också motiverar varför.
Några utvärderingsmodeller
Man kan skilja mellan resultatutvärdering och processutvärdering.
Intressentut-värdering beskrivs ibland som en variant för sig, ibland som en modell för
resultat-utvärdering.
Resultatutvärderingar innebär att man värderar resultaten av en åtgärd eller insats,
t.ex. ett nytt eller förändrat styrmedel eller prövningssystem eller en ny typ av slåt-termaskin för öppna landskap. Processutvärderingar studerar förlopp. En process kan vara en engångsföreteelse, men man kan också behöva titta på återkommande processer, t.ex. handläggningsrutiner och samrådsprocesser, för att komma åt ett hinder eller en framgångsfaktor. En utvärdering är inte nödvändigtvis en fråga om den ena eller den andra inriktningen. Bådadera kan behövas för att man ska kunna bedöma eller förklara. Intressentutvärdering är för vissa författare en beteckning för utvärderingar där intressenterna engageras i stor utsträckning, oavsett om man i första hand är ute efter att studera resultat eller processer. Andra beskriver intres-sentmodellen som en modell för resultatutvärdering. Här tas den upp under model-ler för resultatutvärdering.
Resultatutvärdering
Bland modeller för resultatutvärdering kan man nämna: x Måluppfyllelseutvärdering eller mål-resultatmodell, x Bieffektsmodell (som också är målbaserad),
x Mållös eller målfri utvärdering,
x Brukarmodell eller brukarorienterad utvärdering, varianter av målfri utvärdering
x Beslutsmodell eller beslutsorienterad utvärdering, x Intressentmodell eller intressentutvärdering.
MODELLER FÖR UTVÄRDERING MOT FASTLAGDA MÅL
Måluppfyllelseutvärdering avser att svara på två frågor: Stämmer utfallet överens
med målet och beror det i så fall på insatsen, den åtgärd man vidtagit för att nå målet? Det är en enkel och tydlig modell, som ger besked om huruvida en insats – en reform, ett bidrag, en utbildning – fått avsedd effekt. Det krävs förstås att det finns i någon mening mätbara mål (som t.ex. en del av de nationella miljökvali-tetsmålens delmål) eller att sådana går att vaska fram. Om insatsen dessutom ligger nära resultatet – i en tänkt orsakskedja och/eller i tiden, bör sambandet mellan in-sats och utfall inte vara alltför svårt att belägga.
Om man beskriver förloppet med följande figur inser man att det inte bör hända alltför mycket i den ”svarta lådan” (omvandling) om det ska gå att belägga ett sam-band.
Till modellens nackdelar hör att den inte tar hänsyn till de uppoffringar som gjorts för att nå målet – kostnaderna. Dessutom är inte alltid målen så klara och mätbara att de duger som värderingsgrunder. Det händer också att det finns flera mål för en insats, t.ex. sysselsättning och miljövård, vilket komplicerar effektmätningen. Mo-dellen tar inte heller hänsyn till bieffekter av insatsen. Genom att man inte avses titta i ”svarta lådan” eller på händelser i omvärlden, förbiser man också andra för-klaringsgrunder till att programmet lyckats eller misslyckats.
Försök att motverka måluppfyllelsemodellens svagheter har lett till att den kom-pletterats eller utvidgats på olika sätt. Bl.a. kan man dela upp omvandlingsproces-sen i flera delar och se efter vad som hänt i ytterligare några led på vägen mellan insats och utfall. Man jämför t.ex. planerade kostnader, prestationer, etc. med de faktiska och gör i princip en måluppfyllelseutvärdering för varje del eller valda delar i systemet. En sådan kostnads- och resultatinriktad utvärdering fäster ofta främst avseendet vid inflödet av resurser och utflödet av prestationer för varje del och uppmärksammar inte processerna däremellan. Inget hindrar emellertid att man tittar närmare på orsakssamband och försöker reda ut om utfallet faktiskt har på-verkats av de insatta resurserna, prestationerna etc. Man kan alltså lägga större tonvikt vid processen om man vill. Står det klart att väntade effekter uteblivit eller, givetvis, inträffat, kan det vara intressantare med en förklarande processutvärdering (se sid. 33 och 46).
Inte heller med den här utvidgningen tas någon hänsyn till bieffekterna av en re-form eller en insats. Med tanke på alla de i och för sig behjärtansvärda åtgärder, styrmedel etc. som fått negativa bieffekter för miljön känns det för det mesta vik-tigt att få grepp om sådana effekter – liksom också bieffekter på andra områden av olika miljöinsatser. För att göra detta möjligt har utvärderarna utvecklat
bieffekts-modellen. Här utgår man fortfarande från det centrala målet med en insats,
utvärde-ringen är målbaserad, men man söker också efter bieffekter, både avsedda och oavsedda, positiva och negativa, förutsedda och oförutsedda. En del bieffekter kan man alltså resonera sig fram till, men modellen går också ut på att söka efter oför-utsedda bieffekter.
UTVÄRDERINGAR KAN GÖRAS MOT ANDRA KRITERIER ÄN MÅL
De modeller som har beskrivits hittills har i förväg fastställda mål i centrum. Inte minst arbetet med miljökvalitetsmålen har visat på svårigheterna att hitta mätbara mål. Det vore att ålägga sig onödiga begränsningar om man bara skulle utvärdera områden där det finns mätbara och klart uttalade mål för den politik eller de åtgär-der i övrigt som utväråtgär-deras. Ett sätt att angripa problemet är att göra en s.k. målfri.
utvärdering.
Fördelen med det arbetssättet är att man inte är bunden av det man vet om avsedda effekter, utan kan söka effekter mera förutsättningslöst. En svaghet är att det inte direkt finns någon värdegrund att bedöma effekterna mot. En utomstående utvärde-rare kan då överlämna till den som beställt utvärderingen att själv bedöma och värdera resultaten. En annan lösning är att låta dem som utsätts för effekterna också värdera dem (Se brukarutvärdering nedan). Gör Naturvårdsverket utvärderingar på detta sätt väntas det att vi också ska värdera i varje fall miljöeffekterna. Då är det viktigt att man tydligt redovisar de värdegrunder och andra kriterier man använder i bedömningen. I en utvärdering med hållbarhetsperspektiv kan det vara på sin plats att också försöka diskutera effekter på sysselsättning och ekonomi, kanske också anlägga fördelnings- och demokratiperspektiv.
Ett sätt att hitta utvärderingsgrund för en målfri utvärdering är att göra en
brukar-orienterad utvärdering. Då lägger man huvudvikten vid vad brukarna, dvs.
allmän-heten eller en speciell grupp som en insats riktar sig mot, har för behov och för-väntningar och om programmet eller insatsen motsvarar dessa förför-väntningar. När vi deltar i kurser eller bor på hotell stöter vi ofta på enkla varianter av den här ty-pen av utvärdering. Man frågar i princip om vi är nöjda.
Brukarmodellen riktar in sig på mötet mellan programmet/insatsen och dess klien-ter och bortser från andra faktorer som kan vara värda att bedöma, t.ex. resursåt-gång, genomförande eller överensstämmelse med de ursprungliga planerna för insatsen. Även om brukarorienterade utvärderingar är viktiga i många utvärde-ringssammanhang bör de därför oftast ses som komplement till andra modeller. Hushållens – brukarnas – bedömning av återvinningsstationerna kan t.ex. ge en viktig pusselbit i en utvärdering av producentansvaret, men ger inte hela bilden av hur ansvaret fungerar.
En annan typ av målfri utvärdering är en modell som är helt inriktad på att ge in-formation inför kommande, väl definierade beslut – beslutsmodellen. Man kan t.ex. ta reda på hur olika sätt att hålla betesdjur bidrar till ett visst miljötillstånd inför ett beslut om hur man ska restaurera någon igenvuxen ängsmark. Man kan utvärdera tillsynsrutiner inför utformningen av en tillsynshandledning. Vi gör alla utvärde-ringar enligt beslutsmodellen då och då, t.ex. inför köp av någon kapitalvara. Också mera strategiska beslut på regeringsnivå kan grunda sig på en beslutsfixerad utvär-dering.
Här är det alltså inte mål eller resultat som styr hur utvärderingen utformas, utan de beslut som ska fattas. En fördel med denna modell är en god chans att resultatet kommer till användning i den specifika beslutssituationen. Däremot är risken stor att resultatet, just för att det är så specialanpassat, inte ger någon generellt använd-bar information.
FRÅN KONTROLL TILL DELAKTIGHET – INTRESSENTMODELLEN
Utvärdering som företeelse har utvidgats från ett medel för mätning och kontroll (mål-resultatutvärdering) till ett sätt att ta reda på och lära av hur resultatet har kommit till (processutvärdering) och vidare till ett medel att skapa delaktighet genom att låta olika intressenter medverka (intressentutvärdering). Intressentutvär-dering anses öka relevansen i utvärIntressentutvär-deringens frågor och resultat. Intressenternas delaktighet blir också större genom att de både får inflytande över vad som ska utvärderas och deltar i diskussionen om resultaten. I vissa sammanhang ses denna typ av utvärdering också som ett medel att förbättra intressenternas situation. Det innebär inte att den nyaste modellen för utvärdering genomgående är den som bör användas. Snarare visar det att utvärdering efter hand har fått ett allt vidare användningsområde och att man fått allt fler modeller att välja mellan – och att
kombinera för att anpassa till varje enskild utvärderingssituation.
Metoden att ta med intressenterna i utvärderingen kan ses som en utvidgning av brukarorienterad utvärdering, ett sätt att genomföra en effektutvärdering, men det kan givetvis vara minst lika motiverat att engagera intressenterna i en processut-värdering (se nedan).
Intressenter är benämningen på alla dem som berörs av en reform, en ändring, ett program. Både ”brukare” och ”beslutsfattare” och dessutom de som genomför och administrerar det är egentligen intressenter. Utvärderingsarbetet börjar med att identifiera intressenterna. Sedan kan man välja att beakta alla eller några av dem. Intressenternas förväntningar och farhågor bestämmer vad som ska utvärderas. Vilka förväntningarna och farhågorna är kan man reda ut på många olika sätt, men oftast används kvalitativa metoder, framför allt intervjuer. (Vedung kallar intres-sentmodellen för lyhördhetsutvärdering.) Detta innebär att det tar tid att komma fram till vad det faktiskt är som ska utvärderas. Materialsamlingen för själva utderingen blir oftast också kvalitativ. Värutderingen kommer att göras mot flera vär-degrunder, eftersom det är intressenterna som tillhandahåller dem och även svarar för värderingen. Intressentmodellen kan tillämpas på såväl effekt- som processut-värderingar.
Till intressentmodellens fördelar brukar anföras att de berörda har kunskaper om programmet, genomförandet (processen) och effekterna som det är viktigt att ut-värderaren får ta del av. Det är ett sätt att få information om bieffekter, hinder och påverkan från andra program eller styrmedel och problem eller framgångsfaktorer i genomförandet, som annars kunde vara svårare att hitta.
Huvudargumentet för intressentmodellen anses dock vara att den ökar resultatens användbarhet, eftersom chansen är större än annars att de berörda verkligen känner sig berörda. Intressentmodellen kan också vara ett sätt att hantera avsaknaden av mål eller oklara mål och mål som är svåra att väga samman.
Nackdelar finns också. Det finns t.ex. inget entydigt svar på vilka som faktiskt är berörda. Här måste utvärderaren avgränsa och motivera avgränsningen, och det finns risk för att de bäst organiserade och mest högljudda grupperna blir de som uppmärksammas. Modellen är också resurskrävande, i synnerhet om man vill låta alla berörda göra sig hörda.
Vid sidan av möjligheterna att hantera flera oklara mål och att få resultaten använ-da finns slutligen ett starkt argument för intressentmodellen, nämligen kunskapsar-gumentet. En förstudie kan ofta lämpligen utformas enligt intressentmodellen, om än mera översiktligt. Det är då ett sätt att få ett visst grepp om innebörd, genomfö-rande och utfall av den reform, förändring eller process som man ska utvärdera.
PROCESSUTVÄRDERING
Utvärderingar av processer har en annan inriktning än resultatutvärderingar. Pro-cessutvärderingar söker inte i första hand efter vilka effekter eller resultat som t.ex. besluts- eller planeringsprocesser har, utan hur processerna går till. De används ofta i förklarande syfte. (jfr sid. 46 f.). Man kan då säga att man öppnar ”svarta lådan”, tittar närmare på omvandlingsdelen, i t.ex. en måluppfyllelseutvärdering och tar reda på vad som hänt för att finna förklaringar till utfallet.
Men syftet med processutvärderingar är långtifrån alltid att hitta förklaringar. Det kan också vara att bedöma, värdera en process eller ett system. Sprids relevant information till dem som behöver den? Får alla berörda parter vara med i proces-sen? Vem bär ansvar för beslut som fattas under procesproces-sen? Processutvärderingar kan exempelvis belysa hur arbetet mot miljömålen bedrivs (till skillnad från frågan om miljömålen nås) eller hur länsstyrelser och kommuner arbetar med tillsyn. Rättssäkerhet, demokrati, snabbhet och kostnader kan också vara faktorer som studeras.
Bedömningskriterier kan också vara modeller för hur en process eller ett system ”bör” fungera. Det kan röra sig om teoretiska modeller eller jämförelser med lik-nande befintliga system eller processer. En sådan typ av processutvärdering kallas av en del utvärderare för systemutvärdering. Det finns också andra benämningar, liksom det finns de som menar något annorlunda med begreppet systemutvärde-ring.
Processutvärderingar kan kasta ljus över flaskhalsar i miljöarbetet eller ge goda exempel när det gäller hur en viss typ av miljöarbete, t.ex. tillståndsprövning eller tillsyn, kan bedrivas. Utvärderingar av organisationers interna arbete har också ofta formen av processtudier.
Ekonomiska ansatser
Det är naturligtvis inte oväsentligt om mål har nåtts till rimliga eller i förväg beräk-nade kostberäk-nader eller om en orsak till att mål inte nåtts är otillräckliga resurser, etc. Utvärderingar i kontrollerande syfte har ofta ekonomiska kriterier i centrum. Olika
