Kapacitetsutveckling beskriver utvecklingen av förmågan för individer, organisationer eller samhällen att upprätthålla eller förstärka sina mål över tid. Utvärderingen och
övervakningen är kritiska steg för en framgångsrik kapacitetsutvecklingen. MSB har tagit fram en metod som benämns som M&E vilket står för ”Monitoring & Evaluation”. MSB beskriver processen för utvärdering och övervakning utifrån åtta steg. I de första stegen så ligger mycket fokus på intressenterna genom att utarbeta en tydlig ansvarsfördelning, belysa fördelarna med utvärderingen och komma överens om mål samt syften. Detta är viktigt för kapacitetsutvecklingen för att ge en holistisk och meningsfull analys. Vidare så fastställs övervaknings-och mätkriterier. Systemet är progressivt vilket kräver en ständig feedback och löpande diskussion om resultaten. Nästa steg är att ta fram ett övervaknings-och
utvärderingsramverk. Ramverket består av tre aspekter som innebär att mäta effekterna av aktiviteterna, studera vad det är som orsakat effekterna eller förändringar av utfallet och studera slutprodukten baserat på tidigare tydliga och väldefinierade mål. För att få en holistisk utvärdering så är det nedbrutit i att dels mäta effekter för varje intervention och aktivitet i ett tidigt skede, men även att fokusera på slutprodukten. Sammanfattningsvis så
fall på att experter uppskattar sannolikheter för specifika händelser, vilket gör att det finns ett subjektivt inslag (Rae och Alexander, 2017). Slutsatsen av detta är att det är viktigt att antagandena har hög validitet och reliabilitet. För RSA finns det ett inslag av kvantitativa riskbedömningar vilket gör att detta område är värt att analysera.
Det finns ett flertal olika metoder med avseende på att bedöma validiteten och
trovärdigheten inom området för risk- och säkerhetsanalyser. Under litteratursökningen hittades ett flertal metoder som kan användas för att validera riskanalyser. Goerlandt, Khakzad, Reniers (2016) har gjort en omfattande litteratursökning med avseende på de metoder som finns inom området för kvantitativa riskanalyser. Tillvägagångsätten för att validera kvantitativa riskanalyser kan ur en bred synvinkel klassificeras till fyra kategorier av metoder som redovisas nedan.
Benchmarking metoder
Förlitar sig på jämförelser av ett antal andra analyser inom området.
Verklighetskontroller
Jämför resultaten i riskanalysen med verkliga data eller erfarenheter som kan utläsas av samma system eller process.
Oberoende granskningar
Kännetecknas av att resultaten granskas av oberoende experter. Dessa granskningar görs baserat på experternas kunskap och utifrån kvalitetskrav som definierats i förhand.
Kvalitetssäkringar
Kvalitetssäkringar kontrollerar de tekniker och processer som används i varje steg av de kvantitativa riskanalyserna som utförts. Detta görs med syftet att kontrollera att hög kvalité upprätthålls under hela processen (Goerlandt et al., 2016). Ett exempel på när denna typen av metod används redogörs i Suakas and Rouhiainen (1989) där vanliga fel i varje fas summeras och leder fram till en check-lista som försäkrar att tillräcklig kvalité uppnås.
QUASA är ett exempel på en metod som utvärderar kvalitén av säkerhetsanalyser. Metoden handlar i stora drag om att analysera processen samt identifiera de svagheter och brister som finns genom att använda en framtagen checklista. Författarna hävdar att resultatet av denna metod är att den kan hitta största delen av de brister som finns i säkerhetsanalyserna.
Metoden är användbar både under processen men även användbar när säkerhetsanalysen är färdigställd (Rouhiainen, 1992).
5.7 Utvärdering av effekter genom generisk kontroll av kontrollgrupper
För att utvärdera effekter och förändringar så kan generiska kontroller tillämpas. Denna metod utgår från två grupper. En grupp som exponerats för interventionen och en grupp som inte har exponerats av interventionen men ändå beräknas vara inom de avseenden som interventionen förväntades att påverka. Normalvärdena för den ej exponerade gruppen bör vara för en stor grupp. Genom att jämföra dessa grupper mellan varandra kan man se
interventionen (Eriksson och Karlsson, 2016). Den större grupp som inte utsatts för insatsen bör vara en allmängiltig större grupp. Exempelvis om man hade implementerat åtgärder för en vägsträcka för att minska antalet trafikolyckor, så hade man kunnat jämföra effekterna genom att studera statistik för trafikolyckor inom kommunen eller Sverige för vägar eller områden som inte implementerat åtgärden (Ekonomistyrningsverket, 2006).
Litteratursökningen visar att denna typ av utvärderingen används för utvärdering av effekter inom många olika områden.
6 Praktiska arbetet med utvärdering av RSA i Sverige
Under detta avsnitt kommer det praktiska utvärderingsarbetet med RSA i svenska
kommuner att analyseras via en intervjustudie. En intervjustudie med 12 svenska kommuner för att få inblick i om de utvärderar och följer upp sitt RSA-arbete samt hur det utförs. Nedan kommer svaren på frågorna att översiktligt sammanfattas. Fullständiga svar på frågorna redovisas i Bilaga B- Intervjustudie med svenska kommuner.
Det finns en variation för vilken typ av metod som används för att göra RSA i svenska kommuner. FORSA var den metod som användes för flest av de intervjuade kommunerna.
Metoden är utvecklad av totalförsvarets forskningsinstitut genom direktiv från Stockholms stad (MSB, 2018h). Det var ett antal kommuner som delgav att de hade egenutvecklade metoder utifrån deras behov. En av kommunerna angav dessutom att ett konsultföretag tas in för att göra RSA. IBERO är en annan metod som användes av en kommun. Örebro län har en modell som gemensamt stöd för RSA, som tillämpades av två intervjuade kommuner med geografisk närhet till Örebro.
Nästintill alla kommuner angav att det på något sätt följer upp eller utvärderar sina RSA.
Intervjuerna visade på att det var få specifika utvärderingsmetoder som användes vid utvärdering och uppföljning av RSA-arbetet. Kommunerna angav däremot genomgående att de på något sätt följer upp de åtgärder som vidtagits baserat på RSA. Intervjuerna visade att uppföljningen görs av de koordinerande enheterna inom kommunerna där RSA följs upp genom att kontakt sker med förvaltningarna i kommunen och andra väsentliga aktörer.
Detta görs framförallt baserat på den senaste RSA eller framtagna handlingsplaner. En del av kommunerna följer upp åtgärderna mer frekvent över mandatperioden medans andra gör en kontroll innan nästa mandatperiod påbörjas och en ny RSA ska göras. I intervjuerna påtalades av ett antal kommuner att utvärdering görs genom att länsstyrelsen sitter med kommunerna och går igenom analysen utifrån ett formulär med de aspekter som är
väsentliga för länsstyrelsen exempelvis att lagstiftningen uppnås. Sammanfattningsvis så var tillvägagångsätt och frekvens av uppföljningarna väldigt varierad och därför hänvisas till Bilaga B- Intervjustudie med svenska kommuner för mer ingående svar.
Intervjupersonerna betonade att en framgångsrik RSA förklaras av exempelvis i vilken grad åtgärdsförslagen implementerats, engagemang och medvetenhet i förvaltningarna och hur frekvent RSA uppdateras.
7 Malmö Stads arbete med RSA
RSA-arbetet i Malmö stad utförs av varje förvaltning. Metoden som används för att utföra arbetet med RSA benämns Tre steg för ett robustare Malmö, som har tagits fram via ett gemensamt arbete av Malmö stad och Lunds tekniska högskola. Metoden har tillämpats för första gången 2018 av Malmö stad. De två första stegen har gjorts av förvaltningarna och efter det så har en uppföljning gjorts av den koordinerande enheten och Lunds tekniska högskola. Detta har gjorts via exempelvis intervjuer för att kartlägga hur arbetet har gått ute i förvaltningarna. Tanken är sedan att förvaltningarna ska återgå till Steg 1 och utföra hela metoden för att underbygga den koordinerade enheten med underlag till den RSA som ska vara klar i oktober 2019 (Hassel, personlig kommunikation, 4 oktober 2018).
7.1 Uppföljning av initial implementering
Intervjuerna som gjorts för arbetet med de två första stegen av Tre steg för ett robustare Malmö visar på att arbetsmetodiken har varierat inom förvaltningarna. Dessa intervjuer genomfördes av involverade personer hos Lunds tekniska högskola för att följa upp arbetet med implementeringen av Tre steg för ett robustare Malmö. Intervjuerna visade att
exempelvis så tillsattes en ledningsgrupp inom Arbetsmarknads- och socialförvaltningen medan i Skolförvaltningen gjordes arbetet i största grad själv av en beredskapssamordnare.
Tidsaspekten med RSA-arbetet anges återkommande som en problematik i intervjuerna.
Intervjupersonerna i förvaltningarna menar på att RSA-arbetet är tidskrävande vilket i många fall kan vara problematiskt. Detta är en faktor som beaktas i examensarbetet då ytterligare arbetsbörda genom alternativa utvärderingsmetoder kommer att föreslås. Intresset av att arbeta med RSA i förvaltningarna anses i vissa fall varit svagt (Hassel, personlig
kommunikation, 4 oktober 2018). Detta är också en aspekt som tas med i utformningen av alternativa utvärderingsmetoder i examensarbetet.
7.2 Tre steg för ett robustare Malmö
Tre steg för ett Robustare Malmö har utvecklats med ambitionen att ha en mer enkel och lätthanterlig metod för beredskapssamordnarna. En metod med färre frågor och större tydlighet är också en ambition med framtagandet av metoden (Ringberg, personlig
kommunikation, 31 oktober 2018). Tre steg för ett robustare Malmö består av tre steg som kommer att presenteras nedan (Malmö stad, 2018).
Steg 1-Kartlägg er förvaltning
Syftet med detta steg är att undersöka vilka av uppgifterna inom förvaltningen som anses vara samhällsviktiga för Malmö stad och därför bör innefattas i RSA-arbetet.
konsekvenser kan inträffa om åtagandet inte kan utföras? Åtagandens beroende identifieras sedan för de mest kritiska åtagandena och reservlösningar beskrivs. Slutligen i detta steg identifieras förbättringsåtgärder i detta skede.
Steg 2-Analysera oönskade händelser
Syftet med detta steg är att analysera hur förvaltningen kommer att påverkas av oönskade händelser. Dessa händelser identifieras av förvaltningen men man analyserar dessutom de händelser som den koordinerande enheten identifierat och vill att varje enskild förvaltning ska ta hänsyn till.
Identifiera de händelser som i allvarlig grad kan påverka förvaltningen eller dess åtagande och beroenden. För att kartlägga dessa händelser gäller det att utgå från arbetet som gjorts i steg 1 tillsammans med en ”brainstorming” i grupp. Kategorisera och gör ett urval av
händelserna som man går vidare med. Konkretisera i vilken utsträckning och hur de oönskade händelserna skulle kunna påverka förvaltningen eller dess beroenden och
analysera om förvaltningen har förutsättningarna för att mildra de negativa konsekvenserna.
Analysera hur troligt det är att de oönskade händelserna inträffar och vad orsaken till dem är.
Steg 3-Ta fram ett beslutsunderlag för förbättringsåtgärder
Syftet är att ta fram underlag för de ansvariga beslutsfattarna med de förbättringsåtgärder som förvaltningen borde prioritera.
Analysera vilka av förvaltningens åtagande, beroenden, oönskade händelser som anses vara mest kritiska och om det finns några åtgärder som kan tillämpas för att förebygga oönskade händelser och begränsa dess skadeverkan på förvaltningen. Diskutera vidare förmågan att utföra de kritiska åtagandena vid oönskade händelser. Bedöm vilka av de framtagna förbättringsåtgärderna som bör prioriteras och föras in i ett beslutsunderlag.
7.3 Målsättningar för Malmö stads RSA-arbete
För att kunna ta fram alternativa utvärderingsmetoder för Malmö stad så är det av vikt att redovisa vilka krav som finns utifrån lagstiftningen, se 3.1 Risk och sårbarhetsanalyser, och vilka uppsatta mål med avseende på RSA-arbetet som finns inom Malmö stad. I (Malmö stad, 2015) beskrivs:
”Ett resilient Malmö är ett samhälle som motstår, anpassar sig till, klarar av, återhämtar sig från samt lär sig av oönskade händelser”.
Vidare beskriver Malmö stad (2015) att ett kontinuerligt arbete med att stärka
organisationens förmåga att förebygga och hantera oönskade händelser bör genomsyra organisationen. Arbetet med krisberedskap ska vara integrerat i de olika verksamheternas och förvaltningarnas processor. Malmö stad arbetar utifrån ett program som tagits fram för att ligga till grund för att Malmö utför ett arbete som ger en god krisberedskap. Programmet är baserat på lag (2006:544) och Överenskommelser om kommuners krisberedskap som specificerar mål med avseende på hur Malmö stad ska arbeta utifrån lag (2006:544).
- Tre steg för ett robustare Malmö används kontinuerligt och vid behov i all
samhällsviktig verksamhet och för andra processer som kan bli verksamhetskritiska för Malmö stad.
- Riskbilden av Malmö stad är kommunicerad till allmänheten och de berörda intressenterna.
- Det ska finnas möjlighet för delägda bolag att tillämpa Tre steg för ett robustare Malmö för att i dess samhällsviktiga verksamhet kunna arbeta med
kontinuitetshantering.
- RSA är sammanställd enligt föreskrifter om kommuners RSA-arbete (MSBFS 2015:5) senast 31 oktober året efter val till kommunfullmäktige. Analysen ska då redovisas för kommunstyrelsen och rapporteras till länsstyrelsen i Skåne län.
- RSA-arbetet är integrerat och samordnat med riskanalysarbetet som sker för annan lagstiftning.
För att få mer inblick i vilka målsättningar som finns inom Malmö stad så utfördes en telefonintervju med en person som arbetar med RSA i den koordinerande enheten i Malmö stad. Det framgick i intervjun att eftersom Tre steg för ett robustare Malmö i dagsläget är i ett utvecklingsstadie och det är första mandatperioden som metoden implementeras så är det huvudsakliga målet att få igång arbetet. Ett annat mål är att få en förståelse för
sårbarheterna i samhället. Det betonades däremot att det bör finnas en förståelse av att vissa sårbarheter bör kunna accepteras om man vet att dem finns. Det gäller dessutom att uppnå ett tänk i förvaltningarna för RSA-arbetet och en förståelse över
förvaltningsgränserna. Förvaltningarna ska bli mer självständiga i sitt arbete och den koordinerande enheten ska finnas som stöd. En framtida ambition är att det potentiellt ska kunna bli ett samarbete mellan förvaltningar i olika kommuner som arbetar med samma område för att stärka arbetet. Varje förvaltning inom kommunen har väldigt olika
förutsättningar och därför kan ett arbete över kommunernas gränser vara bra för att stödja och komplettera varandras arbete (Lina Ringberg, personlig kommunikation, 31 oktober 2018).
Vidare så ställdes frågan om vilka målsättningar som finns inom två av Malmö stads förvaltningar till två yrkesverksamma. Förskoleförvaltningen angav att det är viktigt att implementera och förankra arbetet samt att utveckla hur man genomför RSA och kartlägga förvaltningen (Sara Ek, personlig kommunikation, 25 oktober 2018).
Funktionsstödsförvaltningen angav att målet är att följa Malmö stads program för krisberedskap och att kunna upprätthålla förvaltningens åtagande vid kriser och ta fram åtgärder där det behövs (Ellen Andersson och Jeanette Larsson, personlig kommunikation, 25 oktober 2018). Dessa målsättningar redovisas i Tabell 2 och 10.1 Respons på
utvärderingsmetoderna från Malmö stad.
Tabell 2: Översiktlig summering av målsättningar för Malmö stad.
Målsättning Tidsprognos Källa
Lagstiftning:
- Analysera vilka potentiella extraordinära händelser som finns inom kommunen eller länets gränser.
- Samtliga bevakningsansvariga myndigheter och länsstyrelser ska utföra RSA.
- Krav på innehåll enligt (MSBFS 2015:5), se 3.1 Risk och sårbarhetsanalyser.
Löpande och kontinuerligt arbete tills ändringar sker i lagar, förordningar eller
- Använd Tre steg för ett robustare Malmö kontinuerligt i alla processorer och samhällsviktig verksamhet som kan bli verksamhetskritiska för Malmö stad.
- Kommunicera riskbilden till allmänhet och berörda intressenter.
- Sammanställ RSA-arbetet senast 31 oktober året efter val till länsstyrelsen i Skåne och kommunstyrelsen.
- Samordna och integrera med riskanalysarbetet för annan lagstiftning.
Programmet är avsett för
- Få igång arbetet med Tre steg för ett robustare Malmö ordentligt då det är i ett utvecklingsstadie.
- Kontinuerligt få en förståelse för samhällets sårbarheter och risker.
- Öka kunskapen och uppnå ett tänk i förvaltningarna för att arbeta med RSA och utöka förståelsen mellan förvaltningsgränserna.
- Större självständighet för förvaltningarna i deras RSA-arbete.
- Utöka samarbetet mellan förvaltningar från olika kommuner som jobbar med samma område för att stödja och komplettera varandras arbete.
Förvaltningar:
Förskoleförvaltningen:
- Implementera och förankra arbetet som samordnas av den koordinerande enheten.
- Arbeta med hur vi genomför RSA och kartlägga förvaltningen eftersom det är första gången förskoleförvaltningen genomför det.
Funktionsstödsavdelningen:
- Följa målen från Malmö stads program för krisberedskap.
- Kunna upprätthålla förvaltningens åtaganden vid kriser och ta fram åtgärder där det behövs.
Kombination av kortsiktiga och långsiktiga
målsättningar.
Tillkännagavs via intervjuer med en person från koordinerande enheten och två personer som arbetar med RSA i
Kommunens målsättningar för RSA-arbete enligt överenskommelse mellan SKL och MSB:
- Utföra RSA-arbete för det geografiska ansvarsområdet, kommunens organisation och de berörda kommunala bolag och kommunalförbund som finns.
- Använda RSA-arbetet för att stärka förmågan att kunna hantera extraordinära händelser och samhällsviktiga verksamheter.
8 Urval av utvärderingsmetoder till Malmö Stad
De alternativa metoderna som kommer att tas fram har som ambition att kunna användas för att självutvärdera RSA-arbetet i Malmö stad. För att kunna välja ut vilken eller vilka av utvärderingsmetoderna från litteraturstudien som är bäst att användas för att ta fram den alternativa utvärderingsmetoden för Malmö stad så krävs en förståelse av vilka egenskaper som är av värde för en sådan metod. Kriterierna har tagits fram baserat på det tidigare empiriska underlaget från examensarbetet, se Tabell 1: Sammanställning av empiriska underlag som används. De är avsedda som en utgångspunkt i urvalet av metodernas lämplighet. Ambitionen har varit att försöka ta fram kriterier som kan spegla en så
välanpassad och bra metod som möjligt för Malmö stad och ge en så holistisk bedömning som möjligt med avseende på de aspekter som bedöms vara viktigt utifrån det empiriska underlaget som tagits fram. Kriterierna bygger på kontakten med Malmö stad, men även intervjustudien med svenska kommuner och litteraturstudien. Nedan redovisas kriterierna där det dessutom redogörs hur det empiriska underlaget har legat som grund för
framtagandet av de specifika kriterierna. Sedan kommer utvärderingsmetoderna att analyseras och bedömas.
Varje enskild utvärderingsmetoden kommer att bedömas utifrån tre nivåer för varje kriterium. Nivåerna är hög, medel och låg. Hög innebär att metoden stämmer väl överens med kriteriet medans låg anger att metoden inte stämmer överens med kriteriet. För att kunna räkna ut ett medelvärde för hur bra utvärderingsmetoderna stämmer överens med kriterierna så kommer nivån hög ge 3 poäng, medel 2 poäng och låg 1 poäng. Därefter kommer ett resultat användas i valet av vilka metoder som kommer användas för att ta fram två alternativa utvärderingsmetoder för Malmö stad
Nedan kommer dessa kriterier att redovisas och sedan kommer utvärderingsmetoderna att analyseras utifrån de framtagna kriterierna för att slutligen sammanställas i Tabell 3:
Beskriver hur de framtagna kriterierna stämmer överens med utvärderingsmetoderna.
− Användarvänlig
För att utvärderingsmetoden ska få genomslag så är det av vikt att den är
användarvänlig att implementera. Intervjuerna som gjordes för att följa upp arbetet med Tre steg för ett robustare Malmö och intervjustudierna som gjorts i
examensarbete med svenska kommuner har visat på att det finns ett lågt intresse i en del kommuner och förvaltningar. En användarvänlig utvärderingsmetod kan förhoppningsvis verka som ett incitament till att öka intresset att utvärdera.
Utvärderingsmetodernas bedömningsskala för att bedöma hur väl detta kriterium uppfylls är enligt följande:
Betyget hög ges när utvärderingsmetoden är tydligt förklarad. Det finns illustrativa inslag. Metodens steg har en stor tydlighet och bedöms kunna utföras utan att gå utanför metoden i större utsträckning för att kunna förstå och implementera den.
Betyget medel ges när det finns ett antal brister för utvärderingsmetodens tydlighet.
Det finns glest med illustrativa inslag. Tydligheten kan vara bättre och det krävs egenarbete för att kunna förstå metodens metodik och implementera den.
Betyget låg ges när utvärderingsmetoden är otydlig. Det finns väldigt få illustrativa och förklarande steg som gör att den är svår att implementera för användaren. Det krävs ett större egenarbete för att kunna förstå metoden och implementera den.
− Relevant
Litteraturstudien visade på att det inte finns några redan utarbetade
utvärderingsmetoder som är specifika för RSA. Detta har gjort att en aning bredare litteratursökning har gjorts för att hitta utvärderingsmetoder för riskanalyser i allmänhet eller närliggande områden. Ett resultat av detta är att det är viktigt att analysera dess relevans att implementeras i Malmö stads utvärderingsarbete.
Utvärderingsmetoden ska dessutom vara så anpassad som möjligt till Tre steg för ett robustare Malmö och utifrån de målsättningar som finns i Malmö stad.
Utvärderingsmetodernas bedömningsskala för att bedöma hur väl detta kriterium uppfylls är enligt följande:
Betyget hög ges om utvärderingsmetoden är välanpassad för Tre steg för ett robustare Malmö och att kan användas för att utvärdera risker och sårbarheter.
Betyget hög ges om utvärderingsmetoden är välanpassad för Tre steg för ett robustare Malmö och att kan användas för att utvärdera risker och sårbarheter.