För att skänka arbetet trovärdighet är det viktigt att kunna visa resultatet av en tillsyn som är målstyrd utifrån miljöbalkens syfte och miljökvalitetsmålen. Det ska finnas en
koppling mellan miljömålen, identifierade problemområden, vidtagna tillsynsinsatser och effekter och resultat. Här kan en systematisk uppföljning och utvärdering av arbetet ge värdefulla bidrag. Den operativa tillsynsmyndighetens egen uppföljning och utvärdering
kan ge vägledning om hur tillsynen kan förbättras. Den blir då en viktig länk i tillsyns- processen.
Utvärdering är ett vidsträckt begrepp som kan stå för allt från kommenterade samman- ställningar av data till djuplodande analyser och bedömningar. Som ett stöd vid
utvärdering har Naturvårdsverkets givit ut boken ”Utvärdering steg för steg – handled- ning i utvärdering på miljöområdet”, Naturvårdsverkets förlag (2002). I den beskrivs ett ”grundrecept” för en mer utförlig utvärdering. Grundreceptet innehåller följande steg: • klarlägg syftet – Vem ska använda utvärderingen? Till vad?
• bestäm organisation – Vem ska utvärdera? Vi själva? Extern utvärderare? • gör en beskrivningsmodell – en karta att gå efter
• samla data = uppföljning • förankra fakta
• jämför verkligheten med kartan • bedöm resultat
• dra slutsatser, lämna förslag • rapportera.
Användare av en utvärdering är främst ledning och personal på tillsynsmyndigheten, beslutsfattare som tilldelar resurser och beslutar om finansiering av verksamheten, och tillsynsvägledande myndigheter (underlag för deras uppföljning och utvärdering). Användarnas behov av information är olika varför utvärderingens resultat kan behöva presenteras på olika sätt.
5.4.1 Uppföljning
Uppföljningen av tillsynsarbetet syftar till att tillhandahålla data som visar tillsynens resultat, hur verksamheten fungerar eller har fungerat och därigenom ge den information som behövs för att styra verksamheten. Den ska även ge underlag till utvärderingar.
Myndigheten bör välja tidpunkt(er) för sin uppföljning så att resultatet kan användas vid den löpande planeringen under året. Långsiktiga tillsynsinsatser bör stämmas av löpande för att personalen ska känna delaktighet och kunna drivas av de uppställda målen. Avstämningar kan göras enkelt och muntligt.
Nedan redovisas några exempel på frågeställningar med återkopplingar till TIM- projektets modell som kan ingå i uppföljningen.
Modellen
Tillsynsprocessen kan följas upp med avseende på om myndigheten uppfyller de krav som ställs enligt 7 § tillsynsförordningen (se avsnitt 5.1). Uppföljningen kan också som ett led i den interna kontrollen belysa på vilket sätt myndigheten genomför den process som myndigheten själv har beslutat om för exempelvis planering, genomförande och
uppföljning och utvärdering av tillsynen. Följer man exempelvis modellen i denna rapport?
Behovsutredningen
Uppföljningen kan göras mot det behov av tillsyn och resurser som myndigheten enligt modellen i denna rapport har fastställt i behovsutredningen, exempelvis:
• tillsynens omfattning i förhållande till behov
• resurser (tid, pengar och kompetens) som har varit tillgängliga för tillsyn i förhållan- de till behovet.
Tillsynsplanen
En naturlig utgångspunkt är tillsynens resultat och effekter i miljön i förhållande till de mål som myndigheten har fastställt i tillsynsplanen, dvs. har målen i tillsynsplanen uppnåtts? En omständighet som i hög grad kan påverka den planerade tillsynens resultat är den händelsestyrda tillsynens omfattning och de resurser som den tagit i anspråk. Detta bör följas upp.
Ska personalen känna delaktighet och kunna drivas av de uppställda målen måste de också erhålla kontinuerlig information om resultatet.
Det intellektuella kapitalet i kommuner och landsting, Komrev 2001
Indikatorer och nyckeltal
Genom att använda sig av indikatorer eller nyckeltal kan myndigheten förenkla
rapporteringen av tillsyn. Det är dock viktigt att komma ihåg att indikatorer endast är ett urval av data (se begreppsdefinitioner i bilaga 1). För att kunna göra bedömningar och ta beslut krävs oftast ett mer omfattande underlag.
Ett sätt är att ta fram indikatorer och nyckeltal är att identifiera de effekter i miljön eller andra resultat som myndigheten vill uppnå med tillsynen inom respektive
problemområde. Därefter tar man ställning till hur myndigheten kan mäta eller kontrollera dessa. När man väl kommit fram till det finns möjligheten att identifiera lämpliga indikato- rer eller nyckeltal.
För att indikatorerna eller nyckeltalen ska kännas meningsfulla och effektiva krävs att det är relativt lätt att mäta eller på annat sätt kvantifiera resultatet. Det ska också finnas ett samband mellan tillsynsinsats och resultat och responsen bör vara relativt snabb. I allmänhet är det svårt att se omedelbara samband
mellan vidtagna tillsynsinsatser och effekter i miljön. Att exempelvis följa upp tillsyn över enskilda avlopp i ett specifikt område genom att mäta fosforhalten i närmaste större sjö är sannolikt inte rätt metod. Mer ändamålsenligt kan vara att utifrån antalet åtgärdade anläggningar beräkna minskad mängd fosfor till recipienten.
Indikatorer eller nyckeltal för uppföljning och rapportering kan också bygga på data om tillsynsprocessen. Exempel på sådana indikatorer kan vara tilldelade resurser för tillsyn i relation till behovet av resurser, eller problemområden som omfattats av planerad tillsyn i relation till antal problemområden som identifierats i behovsutredningen.
(Indikatorer, se även 4.6.2.)
Exempel på indikatorer/nyckeltal: Miljömålsportalen, www.miljomal.nu
”Det uthålliga Mark – lokala miljökvalitetsmål”, Marks kommun, www.mark.se ”Stockholms miljöprogram – På väg mot hållbar utveckling”, Stockholms stad
2003, www.tyckom.stockholm.se
”Gröna nyckeltal för kommuner”, Svenska Kommunförbundet,
www.svekom.se
”Målgång – Så kan din kommun bidra till att miljömålen nås”, Naturvårdsver-
kets förlag 1998
Regionalt UppföljningsSystem, RUS, www.rus.lst.se ”Framtidens miljö – allas vårt ansvar” (SOU 2000:52)
5.4.2 Utvärdering
Huvudsyftet med utvärderingen är att främja den operativa tillsynen. Utvärderingen ska vara framåtsyftande och ge underlag för beslut och åtgärder så att tillsynen ständigt förbättras. Genom att analysera den genomförda tillsynen kan myndigheten se över om man i behovsutredningen och i tillsynsplanen har gjort korrekta bedömningar av vilka tillsynsmetoder som är lämpligast och vilka resurser som krävs. Har exempelvis de valda tillsynsmetoderna i tillsynsplanen varit kostnadseffektiva? Förutsättningarna för en väl fungerande tillsyn bör lyftas fram, liksom de problem som finns.
Utvärderingarnas fokus kan variera från tid till annan. Boken ”Utvärdering steg för steg – handledning i utvärdering på miljöområdet”, är ett bra stöd i utvärderingsarbetet. I boken beskrivs bl.a. att man kan behöva en karta eller beskrivningsmodell att gå efter. Den ska beskriva hur verksamheten är tänkt att fungera och den ger vägledning om vilka frågor som bör besvaras och vilken information man behöver ta fram för att bedömning- arna ska bli så rättvisande som möjligt.
Nedan redovisas några exempel på frågor som kan belysas i en utvärdering. • Har myndigheten det systematiska angreppssätt, den planerings-, genomförande-,
uppföljnings- och utvärderingsprocess, som krävs för att ha en effektiv tillsyn som medverkar till en hållbar utveckling? Vilka möjligheter finns till förbättringar? • Har tillsynen inriktats på de angelägnaste problemområdena? Vilka är orsakerna till
att vissa problemområden inte har fått den tillsyn som det finns behov av? Vilka möjligheter till förbättringar finns och vilka blir konsekvenserna om inte förbättringar sker?
• Har valda metoder för utövande av tillsyn i tillsynsplanen varit kostnadseffektiva? Om inte – vilka slutsatser dras?
• Hur kan uppföljning och utvärdering förbättras och förändras för att ge bättre underlag för kontinuerliga förbättringar av tillsynsverksamheten?
• Vilka åtgärder är nödvändiga för att tillsynen i tillräcklig utsträckning ska bidra till att miljömålen uppnås?