Av det föregående ser man att det inte går att ge ett entydigt och detaljerat recept på en lyckad utvärdering. Det finns många olika typer av utvärdering, en mängd ”ingredienser” att välja bland, och de kan kombineras på olika sätt. Ett antal ar- betsmoment återkommer dock i de flesta utvärderingar, om än med varierande tyngd. Momenten följer här i turordning. I viss mån följs Vedungs åttapunktspro- gram för utvärdering.
Momenten följer logiskt på varandra, men det innebär inte att man avverkar dem ett efter ett utan att se tillbaka. Slutsatser i ett efterföljande moment kan påverka ett föregående. Det gäller kanske inte minst i fråga om beskrivningsmodellen, som kan ge impulser till hur utvärderingen bör organiseras. Liksom i andra utredningssam- manhang kan man givetvis ta ett steg bakåt och justera vid behov. Redan vid plane- ringen (En plan är nödvändig, och kan gärna följa grundreceptet) gör man för övrigt en översiktlig modellbeskrivning med hjälp av egen eller andras kunskaper. Vi rör oss ju sällan på helt okänd mark.
Syfte
Syftet med en utvärdering påverkar ambitionsnivå, resurser och tillvägagångssätt. Därför är det viktigt att redan inledningsvis göra klart för sig varför utvärderingen görs, vad vi kan och vill påverka, vem som kommer att använda resultaten och till vad. Man bör också ägna en tanke åt vilket motstånd det kan finnas mot att accep- tera utvärderingens resultat, vilka som vinner eller förlorar på tydliga konstateran- den och tydliga förslag i en eller annan riktning. Stäm av med beställaren om det gäller ett uppdrag. Klara ut med en eventuell. konsult att ni är överens om syfte och inriktning – en förutsättning för att man ska få vad man vill ha. Diskutera inom arbetsgruppen så att alla strävar åt samma håll.
Organisation
Bestäm vem som ska genomföra utvärderingen. Person eller arbetsgrupp inom verket? Extern utvärderare för hela eller delar av utvärderingen? Utvärderar vi tillsammans med andra myndigheter med krav på konsensus om resultatet eller engagerar vi dem på annat sätt och står för utvärderingen själva? Syftet kan ge en fingervisning. Betoning på kontroll talar mera för utvärdering på egen hand eller genom konsult. Betoning på främjande eller kunskapsutveckling kan vara motiv för gemensam utvärdering eller någon variant av intressentutvärdering. Oavsett om utvärderingen bedrivs helt eller delvis inom eller utanför verket måste någon i ver- ket ha ansvaret för utvärderingen för verkets räkning, vara projektledare. Projektle- dare och utvärderare behöver däremot inte vara samma person.
Tidsgränser, tillgänglig kompetens, konsultmedel osv. är naturligtvis avgörande för vad man väljer. Upphandling tar tid. Är tiden knapp kan en lämplig lösning därför
vara att själv (inom verket) genomföra utvärderingen med diskussioner inlednings- vis och under hand med någon av de konsulter som redan finns upphandlade. Se konsultlistan.
Över huvud taget är det bra med ett bollplank att diskutera planer, uppläggning och metodval med. Utvärderingsenheten ställer som sagt upp i mån av tid. Konsulter kan också anlitas som diskussionspartner. För ekonomiska bedömningar rekom- menderas kontakt med miljöekonomerna. Lägg gärna litet tid på en kort introduk- tionsutbildning för dem som kommer att arbeta mest med utvärderingen. Se också sid. 23 ff.
En karta att gå efter (insats, genomförande, resultat, effekter, bedöm- ningskriterier)
När vi bestämt resans mål och ressällskapet behöver vi en karta. Dvs. vi behöver en modell av den verklighet vi ska utvärdera. Statskontoret kallar kartan för beskriv-
ningsmodell. Andra utvärderare talar om programteorier, händelsekedjor, mål-
medelanalyser. Gemensamt för dessa modeller är att de beskriver hur ”program- met”, verksamheten, styr- medlet etc. är tänkt att fungera. Beskrivningsmo- dellen ska, precis som en karta, ge en teoretisk för- ståelse för det vi ska utvär- dera. Den ska ge vägled- ning om vilka frågor som bör besvaras och vilken information man behöver ta fram för att bedömning- arna ska bli så rättvisande som möjligt. (Se också ”Den som gapar över mycket”, sid. 17 ff.). En beskrivningsmodell kan innehålla:
x insatsen (t.ex. ett antal åtgärder för att främja ett miljömål, införande eller ändring av ett styrmedel, en organisationsändring, en ny hand- läggningsrutin, en utbildningsinsats),
x genomförandeprocessen (vägen mellan insats och resultat i ett eller flera steg - t.ex. vilka prestationer styrmedlet tänks leda till hos olika aktörer och vilka effekter detta i sin tur tänks få, under vilka förut- sättningar aktörerna kan väntas agera som avsett, vad som krävs för att resultaten ska bli de önskade, hinder och framgångsfaktorer i ge- nomförandet),
x resultaten (kan vara prestationer, utfall, resultat i flera led, ger väg- ledning om vilken information man behöver samla in, vilka presta- tioner och resultat i olika led man behöver titta på, hur långt fram i beskrivningsmodellen man behöver/kan gå med hänsyn till data och möjligheter att belägga samband mellan insats och resultat)
x förklaringsfaktorer (orsaksfaktorer, omvärldsfaktorer, sådant som – utöver insatsen – kan förklara resultaten. Ger vägledning om vilken information om t.ex. tidigare utveckling, drivkrafter, andra program och styrmedel, utveckling inom angränsande områden etc. som man behöver ta reda på för att kunna bilda sig en uppfattning om effekt- frågan: om insatsen haft någon inverkan på resultaten)
x bedömningskriterier (kriterier för att bedöma genomförande, presta- tioner och utfall. Bedömningsgrunder för genomförandet kan t.ex. vara rättssäkerhet, deltagande, snabbhet, ”gott arbetsklimat”. Mål, delmål etc. kan vara ett sätt att bedöma utfall, kostnaderna för att nå dit man nått, brukarnas bedömning, jämförelse med liknande ”pro- gram”. Ger vägledning om vilken information man behöver samla in om t.ex. handläggningsrutiner för styrmedlet, intressenternas upp- fattning, handläggningstid, kostnader för genomförandet, kostnader hos intressenter etc.).
Allt detta behöver inte finnas med i varje programteori eller beskrivningsmodell, och inte i varje utvärdering heller. Och även om varje punkt berörs, kommer tyngdpunkten att ligga olika beroende på vad man utvärderar och i vilket syfte. Det kan t.ex. finnas skäl att koncentrera sig på resultaten och bedömningen av dem, utan att man bryr sig om processen mellan insats och resultat (Når vi återvinnings- målen? Till vilka kostnader?). Kanske är man mest intresserad av att ta reda på framgångsfaktorer och hinder i en genomförandeprocess (var finns knutarna i fråga om strandskyddet?). Kanske bedöms det viktigast att ta reda på om en insats verk- ligen har effekt (har skatten lett till att användningen av naturgrus minskat? Finns det fler förklaringar och hur stor betydelse har de haft?). Kundernas/brukarnas synpunkter kan också stå i centrum, och då kanske man avstår från att fördjupa sig i annat än det (hur bedömer hushållen återvinningsstationerna i kommunen? Hur påverkar det deras benägenhet att sortera avfallet?)
KARTSKALA – FÖRKLARINGSNIVÅ
Liksom för en karta kan skalan på modellen vara större eller mindre; den kan vara mer eller mindre detaljerad. Avgörande är att beskrivningen är begriplig och han- terlig, både när det gäller abstraktionsnivå och händelseförlopp.
Om det man ska utvärdera, eller utvärdera mot, ligger på en alltför övergripande nivå kan man inte på ett begripligt sätt beskriva det händelseförlopp som leder dit. Uttalandet: ”Sverige ska vara ett föregångsland när det gäller hållbar utveckling”, är t.ex. alltför abstrakt för att utvärdera mot. Den närmare innebörden är oklar och
alltför mycket måste preciseras närmare. Ett otal parallella och interagerande hän- delsekedjor skulle behöva beskrivas och undersökas.
Det gäller också att bestämma sig för på vilken nivå man behöver studera effekter- na av det program eller den insats man utvärderar. De sammanvägda effekterna på en övergripande nivå kan bestå av både mycket positiva och mycket negativa ef- fekter på en lägre nivå, och därmed vara alltför aggregerad för att vara användbar. Är det de sammanvägda effekterna som är det väsentliga, eller skulle starka negati- va effekter på den lägre nivån innebära att insatsen trots allt misslyckats? I det senare fallet måste datainsamlingen göras så detaljerad att dessa effekter kan analy- seras. Man måste välja ”förklaringsnivå”.
UNDERLAG TILL BESKRIVNINGSMODELLEN
Den information vi behöver för att konstruera en beskrivningsmodell får hämtas från många olika håll: Vilken insatsen är framgår ofta av ett regeringsuppdrag eller ett uppslag till en utvärdering. Hur insatsen är tänkt att fungera, vilka som ska för- valta den, antaganden och förutsättningar, beskrivs mer eller mindre detaljerat i förarbetena till besluten eller lagstiftningen, dvs. i direktiv, utredningar och propo- sitioner. Lagar, förordningar, regleringsbrev, instruktioner etc. kan ge ytterligare information om hur man tänkt sig ”omvandlingsprocessen”. Verksamhetsplaner, beslutsunderlag, rapporter – det finns en rad källor att hämta information ur om avsikt och tänkt funktion hos utvärderingsobjektet. Vetenskapliga teorier om hur ekonomi, organisationer etc. fungerar kan också ge information om vad man kan vänta sig, liksom erfarenheter från andra, liknande områden.
Det finns i allmänhet också starka skäl att tala med folk som arbetar med eller inom det område som ska utvärderas. Det är oftast till fördel både för utvärderaren och den framtida användningen av utvärderingen att diskutera med intressenterna redan när man bildar sig en uppfattning om ”programmet”. Man kan då också få klart för sig om det råder olika uppfattning om hur en verksamhet eller en insats är tänkt att fungera. Det kan vara klokt att rikta beskrivningen främst mot sådana delar av verksamheten som det råder ovisshet eller meningsskiljaktigheter kring.
Eftersom beskrivningsmodellen är en förenkling av verkligheten kan det visa sig nödvändigt att revidera och komplettera den efter hand. Den är alltså inte en statisk produkt. Stämmer inte verkligheten med beskrivningen eller blir inte resultaten de
I utvärderingen av våtmarksmålet visade byggandet av skogsbilvägar en stark minskning, vilket såg mycket positivt ut. Vid en närmare ana- lys visade det sig dock att skälet till nedgången huvudsakligen var att det var ”färdigbyggt” söder om Dalälven. Nästan hela den noterade utbyggnaden var koncentrerad till delar av landet där vägnätet var glest eller inte utbyggt alls. Där pågick utbyggnad i nästan oförmins- kad takt. Det gav en annorlunda bild av de ”positiva” siffrorna.
väntade, kan det visserligen vara verkligheten som av något skäl gått åt ett annat håll än förutsett, men det kan också vara kartan som vilar på felaktiga antaganden. Oavsett om man gör en smal och djup utvärdering
eller väljer en bredare och mera översiktlig är det angeläget att man redovisar beskrivningsmodellen och de antaganden man gjort, grafiskt och/eller verbalt. Det underlättar förståelsen av analyser och bedöm- ningar för dem som ska ta del av och använda utvär- deringen. Det är också en fördel att själv kunna hålla reda på hur det nu var man tänkte…
Mer om beskrivningsmodeller finns att läsa i Stats-
kontorets handledning. (Se litteraturförteckningen).
Bedömningskriterier – kännetecken
Ordet kriterium betyder kännetecken, prövosten, indi- cium, bevis. I utvärderingssammanhang talar man om
kriterier som man bedömer, mäter eller prövar utfall, prestationer eller processer mot. Man kan så att säga bestämma sig för vilka kännetecknen är på en bra process, ett bra resultat, och så jämföra den process eller det resul- tat man studerar med dessa känne- tecken.
Utvärdering går ut på att värdera och bedöma. Men värderingarna får inte bestå av något fritt tyckande av utvärderaren. Den som utvärderar måste veta och kunna ange vilka värden som bedöms, vilka egen- skaper hos det som ska utvärderas man särskilt vill titta på, vad det är som uppskattas, respektive inte gillas. Det måste alltså finnas kriterier att utvärdera mot – något som anger hur ”idealfallet” skulle se ut. Kännetecken på ett gott utfall, indicier på att en prestation är bra, bevis på att ett mål har nåtts. Valet av kriterier är betydelsefullt, eftersom det till stor del avgör hur en insats bedöms.
De bedömningskriterier man väljer ut kan finnas uttalade i målet eller syftet med den insats eller åtgärd man utvärderar. De kan anges i utvärderingsuppdraget. De kan finnas tillgängliga i form av bedömningsgrunder, normer, yrkeskodex, kvali- tetsbeskrivningar, allmänna värderingar i samhället som rättvisa och demokrati osv. Men det kan också bli nödvändigt att utvärderaren söker efter lämpliga kriteri- er genom att studera förarbeten till en insats, genom att diskutera med sakkunniga,
Ibland redovisas hela beskrivningsmodellen på en gång. I andra fall redovisar man huvud- dragen och tar sedan resten av modellen bit för bit i samband med att man beskriver resul- tat och diskuterar or- sakssamband. Ett exempel på det senare tillvägagångssättet är utvärderingen av skat- ten på naturgrus. (Se Rapport 5077)
eller genom att ta reda på vad kunder, brukare eller intressenter anser vara väsent- ligt.
I målbaserade utvärderingar är det målet man mäter emot. Målet anger det sakernas tillstånd som en insats eller åtgärd syftar till att nå. Ett kvantitativt mål är ofta ett bra kriterium från mätsynpunkt. Det går att bedöma om målet har nåtts, om man är halvvägs etc. Om målet ligger långt fram i tiden kan man behöva bestämma sig för hur långt på väg man bör ha nått vid tidpunkten för utvärderingen för att det ska bedömas som bra, acceptabelt eller dåligt. Man får sätta upp ett kriterium. Om målet är uttryckt i kvalitativa termer kan det vara nödvändigt att ta reda på eller bestämma sig för vad som krävs för att det ska anses vara uppfyllt. Liksom i fall där det inte finns något mål angivet behöver man då sätta upp ett eller flera kriterier att utvärdera mot.
Arbetar man med bieffektsutvärderingar, kan man se förekomsten eller frånvaron av vissa bieffekter som positiva eller negativa kriterier. I målfria utvärderingar kan man ta reda på hur t.ex. kunder eller intressenter definierar en bra produkt, ett gynnsamt utfall eller liknande, och låta det vara ett kriterium att utvärdera mot. Man kan också formulera kriterier som säger att om si och så många procent av en grupp anser sig nöjda med det utfall eller den process man studerar, betraktar vi den som lyckad.
Processer kan bedömas efter vad de resulterar i eller värderas efter hur de inblan- dade upplever den. Om målet har nåtts till ungefär samma kostnader som motsva- rande processer på andra håll, om kunderna eller intressenterna är nöjda, om de beslut eller åtgärder som processerna utmynnar i fyller krav på snabbhet och rätts- säkerhet (varvid man måste ha kriterier för vad som är snabbt i de situationer det gäller och hur man definierar rättssäkerhet). Man kan av erfarenhet eller genom tidigare studier veta att vissa moment bör hanteras på ett visst sätt, t.ex. i en till- synsprocess. Då kan man använda förekomsten av dessa moment som kriterier. Värderar man efter hur de inblandade upplever processen kan kriterierna vara triv- sel, möjligheter att påverka, tillgång till relevant information etc.
De bedömningskriterier man utvärderar mot beror, som så mycket annat, på utvär- deringens syfte. Finns inte mål eller kriterier angivna, får man på något sätt skaffa fram dem. Man kan sätta upp kriterier utifrån egna eller andras erfarenheter, genom att diskutera med uppdragsgivaren, med intressenterna eller genom att söka i litte- raturen, allt efter uppdragets art och vilka som medverkar. Det viktiga är att man redogör för de kriterier man väljer att utvärdera mot och motiverar valet. Då vet den som tar del av utvärderingen vilka utgångspunkter man har för sina bedöm- ningar.
Det kan finnas kriterier som skulle kunna vara relevanta att ta upp i en bedömning, men som man av någon anledning lämnar därhän. Då kan det vara viktigt att ange vad man inte värderat mot, vilka kriterier man inte beaktat, och skälen till det. Om man arbetar med många kriterier kan det vara svårt att komma till något enty- digt resultat av utvärderingen. Hur ska man väga olika värden mot varandra? På sådana problem kan det finnas olika lösningar. En kan vara att redovisa sina be- dömningar mot varje kriterium för sig och låta uppdragsgivaren ta ställning. En annan kan vara att göra några kriterier till nödvändiga (t.ex. krav på demokrati, att budgeten ska hållas eller att en viss typ av sakkunskap alltid ska anlitas) och andra till önskvärda. Också en sådan rangordning av kriterier ska redovisas.
Se också avsnitten om utvärderingsmodeller (sid. 28 ff.) och Att bedöma resultat på sid. 47.
Ut i verkligheten (uppföljning, analys, bedömning)
Sedan gäller det att beskriva verkligheten – nuläget och kanske också utvecklingen från insatsens början fram till nuläget för de verksamheter, prestationer, resultat etc. som man med ledning av beskrivningsmodellen bestämt sig för att undersöka. Gäller utvärderingen en process eller en rutin är det den som ska beskrivas. Data i vidaste bemärkelse ska samlas in. En hel del både hård- och mjukdata kan man få redan när man samlar information för att göra beskrivningsmodellen. Vedung an- ger fem metoder för datainsamling. Var och en kan sedan i sin tur utformas på många olika sätt.
x Direkt observation. Utvärderarna besöker platsen för den verksam- het som ska utvärderas och iakttar enligt någon systematik
x Deltagande observation. Man deltar själv i den verksamhet som ska utvärderas.
x Intervjuer med berörda (behövs nästan alltid i något avseende). x Enkäter är användbara om man behöver få data från många. De kan
gå ut på att samla in ”hårddata” som sifferuppgifter av olika slag, men kan också nyttjas för att ta reda på människors inställning och agerande. Resultatet kan redovisas kvantitativt och/eller kvalitativt. x Textanalys, dvs. granskning av bevarade skriftliga dokument. Man
skulle t.ex. kunna granska ett antal beslut i strandskyddsärenden som ett led i utvärderingen av strandskyddet för att få en uppfattning om hur lagstiftningens intentioner följs. Genom att studera pressde- batten om strandskydd skulle man kunna få ytterligare belysning av vad som kan påverka besluten.
STATISTIK
Ett sätt att samla in data som bör ligga nära till hands för oss är att ta för sig ur den gigantiska löpande uppföljning som bl.a. SOS, Sveriges Officiella Statistik, inne- bär. Därutöver finns ytterligare åtskilligt material i form av andra typer av uppfölj- ning som vi och andra myndigheter och organisationer ägnar oss åt. Årsredovis-
ningar, miljöredovisningar och andra uppföljningsrapporter kan vara goda källor till både kvantitativ och kvalitativ information. Miljöövervakningen, vår internatio- nella rapportering, motsvarigheter på andra områden – med fantasi och envisa frå- gor till omgivningen kan man få tag i mycket av det som man kanske inledningsvis trodde man skulle behöva samla in från grunden. Givetvis måste man ibland också samla in och ställa samman data för ett visst ändamål – t.ex. genom enkäter. Behöver man komplettera serier av befintliga data är det en fördel om man samlar in informationen på samma sätt. Det är också viktigt att noga beskriva hur man samlar in nya data så att det blir möjligt att längre fram göra motsvarande uppfölj- ningar.
VERBAL INFORMATION
Även om mycket kan belysas med hjälp av siffror krävs mestadels också kvalitati- va data. Några exempel är information om hur rutiner och processer ser ut, hur lagregler tolkas, hur människor uppfattar information och andra styrmedel, vilka värderingar som styr aktörers agerande i olika sammanhang, hur de upplevt ett visst händelseförlopp, varför de gjort si och inte så. Här kan samtliga av de metoder Vedung nämner komma till användning, framför allt kanske intervjuer, enkäter och