Fördelen med det arbetssättet är att man inte är bunden av det man vet om avsedda effekter, utan kan söka effekter mera förutsättningslöst. En svaghet är att det inte direkt finns någon värdegrund att bedöma effekterna mot. En utomstående utvärde- rare kan då överlämna till den som beställt utvärderingen att själv bedöma och värdera resultaten. En annan lösning är att låta dem som utsätts för effekterna också värdera dem (Se brukarutvärdering nedan). Gör Naturvårdsverket utvärderingar på detta sätt väntas det att vi också ska värdera i varje fall miljöeffekterna. Då är det viktigt att man tydligt redovisar de värdegrunder och andra kriterier man använder i bedömningen. I en utvärdering med hållbarhetsperspektiv kan det vara på sin plats att också försöka diskutera effekter på sysselsättning och ekonomi, kanske också anlägga fördelnings- och demokratiperspektiv.
Ett sätt att hitta utvärderingsgrund för en målfri utvärdering är att göra en brukar-
orienterad utvärdering. Då lägger man huvudvikten vid vad brukarna, dvs. allmän-
heten eller en speciell grupp som en insats riktar sig mot, har för behov och för- väntningar och om programmet eller insatsen motsvarar dessa förväntningar. När vi deltar i kurser eller bor på hotell stöter vi ofta på enkla varianter av den här ty- pen av utvärdering. Man frågar i princip om vi är nöjda.
Brukarmodellen riktar in sig på mötet mellan programmet/insatsen och dess klien- ter och bortser från andra faktorer som kan vara värda att bedöma, t.ex. resursåt- gång, genomförande eller överensstämmelse med de ursprungliga planerna för insatsen. Även om brukarorienterade utvärderingar är viktiga i många utvärde- ringssammanhang bör de därför oftast ses som komplement till andra modeller. Hushållens – brukarnas – bedömning av återvinningsstationerna kan t.ex. ge en viktig pusselbit i en utvärdering av producentansvaret, men ger inte hela bilden av hur ansvaret fungerar.
En annan typ av målfri utvärdering är en modell som är helt inriktad på att ge in- formation inför kommande, väl definierade beslut – beslutsmodellen. Man kan t.ex. ta reda på hur olika sätt att hålla betesdjur bidrar till ett visst miljötillstånd inför ett beslut om hur man ska restaurera någon igenvuxen ängsmark. Man kan utvärdera tillsynsrutiner inför utformningen av en tillsynshandledning. Vi gör alla utvärde- ringar enligt beslutsmodellen då och då, t.ex. inför köp av någon kapitalvara. Också mera strategiska beslut på regeringsnivå kan grunda sig på en beslutsfixerad utvär- dering.
Här är det alltså inte mål eller resultat som styr hur utvärderingen utformas, utan de beslut som ska fattas. En fördel med denna modell är en god chans att resultatet kommer till användning i den specifika beslutssituationen. Däremot är risken stor att resultatet, just för att det är så specialanpassat, inte ger någon generellt använd- bar information.
FRÅN KONTROLL TILL DELAKTIGHET – INTRESSENTMODELLEN
Utvärdering som företeelse har utvidgats från ett medel för mätning och kontroll (mål-resultatutvärdering) till ett sätt att ta reda på och lära av hur resultatet har kommit till (processutvärdering) och vidare till ett medel att skapa delaktighet genom att låta olika intressenter medverka (intressentutvärdering). Intressentutvär- dering anses öka relevansen i utvärderingens frågor och resultat. Intressenternas delaktighet blir också större genom att de både får inflytande över vad som ska utvärderas och deltar i diskussionen om resultaten. I vissa sammanhang ses denna typ av utvärdering också som ett medel att förbättra intressenternas situation. Det innebär inte att den nyaste modellen för utvärdering genomgående är den som bör användas. Snarare visar det att utvärdering efter hand har fått ett allt vidare användningsområde och att man fått allt fler modeller att välja mellan – och att
kombinera för att anpassa till varje enskild utvärderingssituation.
Metoden att ta med intressenterna i utvärderingen kan ses som en utvidgning av brukarorienterad utvärdering, ett sätt att genomföra en effektutvärdering, men det kan givetvis vara minst lika motiverat att engagera intressenterna i en processut- värdering (se nedan).
Intressenter är benämningen på alla dem som berörs av en reform, en ändring, ett program. Både ”brukare” och ”beslutsfattare” och dessutom de som genomför och administrerar det är egentligen intressenter. Utvärderingsarbetet börjar med att identifiera intressenterna. Sedan kan man välja att beakta alla eller några av dem. Intressenternas förväntningar och farhågor bestämmer vad som ska utvärderas. Vilka förväntningarna och farhågorna är kan man reda ut på många olika sätt, men oftast används kvalitativa metoder, framför allt intervjuer. (Vedung kallar intres- sentmodellen för lyhördhetsutvärdering.) Detta innebär att det tar tid att komma fram till vad det faktiskt är som ska utvärderas. Materialsamlingen för själva utvär- deringen blir oftast också kvalitativ. Värderingen kommer att göras mot flera vär- degrunder, eftersom det är intressenterna som tillhandahåller dem och även svarar för värderingen. Intressentmodellen kan tillämpas på såväl effekt- som processut- värderingar.
Till intressentmodellens fördelar brukar anföras att de berörda har kunskaper om programmet, genomförandet (processen) och effekterna som det är viktigt att ut- värderaren får ta del av. Det är ett sätt att få information om bieffekter, hinder och påverkan från andra program eller styrmedel och problem eller framgångsfaktorer i genomförandet, som annars kunde vara svårare att hitta.
Huvudargumentet för intressentmodellen anses dock vara att den ökar resultatens användbarhet, eftersom chansen är större än annars att de berörda verkligen känner sig berörda. Intressentmodellen kan också vara ett sätt att hantera avsaknaden av mål eller oklara mål och mål som är svåra att väga samman.
Nackdelar finns också. Det finns t.ex. inget entydigt svar på vilka som faktiskt är berörda. Här måste utvärderaren avgränsa och motivera avgränsningen, och det finns risk för att de bäst organiserade och mest högljudda grupperna blir de som uppmärksammas. Modellen är också resurskrävande, i synnerhet om man vill låta alla berörda göra sig hörda.
Vid sidan av möjligheterna att hantera flera oklara mål och att få resultaten använ- da finns slutligen ett starkt argument för intressentmodellen, nämligen kunskapsar- gumentet. En förstudie kan ofta lämpligen utformas enligt intressentmodellen, om än mera översiktligt. Det är då ett sätt att få ett visst grepp om innebörd, genomfö- rande och utfall av den reform, förändring eller process som man ska utvärdera.
PROCESSUTVÄRDERING
Utvärderingar av processer har en annan inriktning än resultatutvärderingar. Pro- cessutvärderingar söker inte i första hand efter vilka effekter eller resultat som t.ex. besluts- eller planeringsprocesser har, utan hur processerna går till. De används ofta i förklarande syfte. (jfr sid. 46 f.). Man kan då säga att man öppnar ”svarta lådan”, tittar närmare på omvandlingsdelen, i t.ex. en måluppfyllelseutvärdering och tar reda på vad som hänt för att finna förklaringar till utfallet.
Men syftet med processutvärderingar är långtifrån alltid att hitta förklaringar. Det kan också vara att bedöma, värdera en process eller ett system. Sprids relevant information till dem som behöver den? Får alla berörda parter vara med i proces- sen? Vem bär ansvar för beslut som fattas under processen? Processutvärderingar kan exempelvis belysa hur arbetet mot miljömålen bedrivs (till skillnad från frågan om miljömålen nås) eller hur länsstyrelser och kommuner arbetar med tillsyn. Rättssäkerhet, demokrati, snabbhet och kostnader kan också vara faktorer som studeras.
Bedömningskriterier kan också vara modeller för hur en process eller ett system ”bör” fungera. Det kan röra sig om teoretiska modeller eller jämförelser med lik- nande befintliga system eller processer. En sådan typ av processutvärdering kallas av en del utvärderare för systemutvärdering. Det finns också andra benämningar, liksom det finns de som menar något annorlunda med begreppet systemutvärde- ring.
Processutvärderingar kan kasta ljus över flaskhalsar i miljöarbetet eller ge goda exempel när det gäller hur en viss typ av miljöarbete, t.ex. tillståndsprövning eller tillsyn, kan bedrivas. Utvärderingar av organisationers interna arbete har också ofta formen av processtudier.
Ekonomiska ansatser
Det är naturligtvis inte oväsentligt om mål har nåtts till rimliga eller i förväg beräk- nade kostnader eller om en orsak till att mål inte nåtts är otillräckliga resurser, etc. Utvärderingar i kontrollerande syfte har ofta ekonomiska kriterier i centrum. Olika
ekonomiska ansatser kan användas i de beskrivna modellerna för att belysa effekti- vitets- och produktivitetsaspekter. I vissa fall kan de tillämpas fristående. Här nämns endast kort några sådana ansatser. I litteraturförteckningen finns tips om mer att läsa. Verkets miljöekonomer kan också ge vägledning.
En typ av ekonomisk utvärdering som man från politiskt håll gärna vill ha, och som ofta görs inom företagarvärlden, är en bedömning av effektiviteten eller värdet på effekterna i förhållande till kostnaderna , en kostnads-intäktsanalys. Svårigheterna för oss i våra utvärderingar är att effekter i miljön – liksom på många andra håll i samhället – i allmänhet är så svåra att beräkna i pengar. Det innebär att man då få nöja sig med att beskriva effekterna i fysiska termer och ställa de beskrivningarna mot kostnaderna i kronor, s.k. kostnads-effektivitetsanalys.
En liknande ekonomisk ansats inriktar sig i stället på produktiviteten. Man kan t.ex. ställa prestationerna inom ramen för en viss process mot kostnaderna för att driva den, kanske antalet prövade ansökningar om en viss typ av tillstånd i förhållande till antalet inkomna ansökningar. Vill man veta något om effekten av tillstånds- prövningen, t.ex. på de aktiviteter som regleras eller i miljön, får man komplettera med andra modeller.
En helt annan ekonomisk ansats bygger på s.k. ekonometriska metoder, som inne- bär att man söker statistiska samband mellan en åtgärd (t.ex. skatt på naturgrus) och dess effekter (minskad användning av naturgrus). Sådana undersökningar kan ge värdefull information om hur ekonomiska styrmedel verkar.
I Naturvårdsverkets rapport 5005 ”Val av åtgärder – metod för sammanvägning och samhällsekonomiska bedömningar” finns avsnitt som går närmare in på eko- nomiska metoder. Både verkets utvärderare och miljöekonomer kan ge hjälp och vidare hänvisning till litteratur och konsulter. Litteraturförteckningen tar upp en del böcker med inriktning på sådana metoder.
Ibland vet experterna bäst
Utvärderingar av mycket komplicerade eller speciella företeelser kräver ett så stort mått av specialiserad kunskap att bara de som är experter inom området egentligen kan uttala sig om kvaliteten på resultat, genomförande etc. Då kan experter anlitas för att genomföra hela utvärderingen – man kan säga att man väljer en expertmo-
dell. Man tar inte ställning till hur utvärderingen ska genomföras utan endast till vem som ska göra den. Man kan också se expertgranskning som en metod för att
genomföra en del av en utvärdering, t.ex. för att bedöma resultat eller process. En typ av expertutvärdering, som ofta förekommer i forskningssammanhang är
kollegiebedömningen. Medlemmar av en viss profession utvärderar andra profes-
sionsmedlemmars arbete och verksamhet utifrån yrkeskårens egna kvalitetskriteri- er. En annan sådan professionell modell är den självvärdering som ibland görs
inom en krets av experter eller sakkunniga medarbetare där man själv utvärderar utfört arbete mot bakgrund av det man vet om yrkets kvalitetskrav, etik m.m.
Olika perspektiv ger olika ”sanningar”
Genomgången av modeller visar på ett sätt att sortera i en uppsjö av olika modeller och metoder för att genomföra en utvärdering. Alla modellerna har sina för- och nackdelar. Syfte, utvärderingsobjekt, resurser och tidplan blir bestämmande för hur man väljer ur mängden. Att ha syftet klart för sig är viktigt, eftersom de resultat man får fram av en utvärdering styrs av vilket perspektiv man anlägger, vilka krite- rier man utvärderar mot och vilken information man skaffar in. Man får inte fram ”sanningen” med hjälp av en utvärdering, utan en ”sanning” bland många. Vilken beror till stor del på hur man
har utformat utvärderingen. Detta visar också på de be- gränsningar och risker som är förknippade med utvärdering- ar. Utvärderaren kan medvetet eller omedvetet styra de svar som utvärderingen ger genom val av perspektiv, intressenter osv. Utvärderaren, vare sig det är vi själva eller en konsult har alltså en rad viktiga val att göra vid uppläggningen av en ut- värdering. Ett liknande ansvar gäller för den som beställer eller handlar upp en utvärde- ring.