Utvärderingsmetod - Övning Barbro Utvärderingsrapport

Övningen utvärderas genom en målbaserad utvärdering med fokus på:

 Planeringsprocessen inför övningen

 Övningens genomförande, format och upplägg

 Övningens övergripande mål

 Aktörernas delmål

Utvärderingen baseras på följande indata:

 Enkäter

o för deltagare i planering, genomförande och utvärdering o enkät/genomgång med övningsdeltagare vid övningsdagen o webbenkät för övningsdeltagare efter övningsdagen o observationsprotokoll

 Observationer

o av lokala utvärderare under övningsdagen o av utvärderingsledaren under övningsdagen

 Dokumentation

o utvärderingsprotokoll från lokala utvärderare

o loggar, dagböcker och annan dokumentation från övade funktioner.

o loggar och annan dokumentation från motspelet o remissvar på utvärderingsrapport

o dokumentation från diskussioner vid utvärderingsseminarium

Utvärderingsledaren är ansvarig för den regionala utvärderingen och sammanställning av utvärderingsrapporten. Lokala utvärderare i respektive kommunen ansvarar för att fylla i utvärderingsprotokoll och utvärdera de lokala delmålen. LÖL har också följt upp

utvärderingarna och sammanställt resultatet.

Mer information om utvärderingen av övningen finns i utvärderingsbestämmelserna som skickats ut till övningsledningen och utvärderarna innan övningen.

14 4.5.1 Grund för bedömning

Texterna i utvärderingskapitlet är skrivna av övnings- och utvärderingsledarna på Länsstyrelsen och bygger på olika källor.

Utvärdering av övningens planering är baserat på minnesanteckningar och planeringsorganisationens synpunkter.

Utvärdering av övningens genomförande är baserat på enkäter, egna iakttagelser och planeringsorganisationens synpunkter.

Utvärdering av övningens utvärdering är baserat på statistik, egna iakttagelser och utvärderarnas synpunkter.

Utvärdering av övningens övergripande mål är baserat på observationer av lokala utvärderare, enkätsvar från övningsdeltagarna samt diskussioner och grupparbete vid utvärderingsseminariet.

5 Utvärdering 5.1 Planering

Planering av en simuleringsövning med motspel är mycket tidskrävande. Planeringen inleddes åtta månader innan övningen. Samtliga planeringsmål uppfylldes, men med vissa förseningar enligt den tidsplan som satts upp. Planeringsmålen och tidplanen kunde ha kommunicerats ännu tydligare till berörda i övningsplaneringen. Bedömningen är att tidsramarna och kvalitén på delunderlag (övningsdokumentation) var tillräckliga, men större del av arbetet kunde ha genomförts i början på processen och vikten av deadlines borde ha lyfts. Det är viktigt att samtliga övade organisationer deltar med en lokal övningsledare så att alla intressen och önskemål tillvaratas.

Det var mycket bra att respektive aktör fastställde sitt eget syfte och mål med övningen för att underlätta både utveckling av scenario och utvärdering. Övningsförberedelserna var som sagt väldigt krävande, men också givande då det gav ökad kunskap om komplexiteten och

omfattningen om ett oljeutsläpp skulle ske. Det behöver ändå tas ställning om

förberdelsetiden står i paritet med resultatet av övningen. När det gäller övningars krav på resurser bör samtliga övade organisationer också överväga ha ersättare för personer i

planeringsorganisationer, så att en stor övning inte står och faller på en person. LÖL och LU är viktiga funktioner i samtliga skeden av en övning.

Planeringsgruppen följde i möjligaste mån MSB:s metod för övningsplanering.⁹ Metoden var ny för de flesta, vilket innebar mer arbete än beräknat. Nytt var till exempel att övningens moment skulle beskrivas innan inspel tas fram. Det fungerade inte till 100 procent och slutsatsen är att mycket förtydligades i momentbeskrivningarna och de hade varit bra att ha från början. Planeringen underlättades genom att majoriteten av övningsledarna gick MSB:s kurs ”Lokal övningsledare: Att förbereda och leda egen organisations deltagare i

samverkansövningar”. Det tydliggjorde behov av förberedelser och ansvarsförhållandena i planeringsorganisationen. Även MSB:s resursperson bör lyftas fram som ett bra stöd i planeringsprocessen. Resurspersonen behöver vara tydlig och ge konstruktiv kritik.

Det är positivt med en gemensam ram för övningsplanering. Samma metod kommer att användas i kommande regionala samverkansövningar (härnäst övning Gripen). Det vore därför bra att öka kunskapen om denna metod till flera i länet. Om varje organisation förstår den övergripande planeringsprocessen så är det enklare för dessa att vidta egna förberedande åtgärder för övningen. Det är även viktigt att öka förståelse för att övningsplanering är tidskrävande för både lokal övningsledare och utvärderare. Dessutom kan samtliga övade behöva vidta förberedelser, såsom utbildning och uppdatering av planer, innan en övning.

Övningsplanering ger således mervärde till utveckling den egna krisorganisationen.

5.1.1 Aktörernas förberedelser inför övningen

Det har varit upp till varje aktör att förbereda sig själv och sina övningsdeltagare för övningen. Inget behov av gemensamma utbildningar innan övningarna identifierades.

Däremot genomfördes förberedande utbildningar i Kungsbacka, Halmstads och Laholms

9 MSB, 2014. Övningsvägledning. https://www.msb.se/sv/Utbildning--ovning/Ovningsverksamheten/Verktyg--Stod/OVN-2/

16 kommuner. I Varbergs och Falkensbergs kommuner har det genomfört utbildningar i

oljeskadeskydd tidigare under 2012 och 2014. Det har varit uppskattat att få lärdomar genom gemensamma utbildningar internt.

Laholm

Ett informationsmöte om olja genomfördes den 21 november med samtliga övningsdeltagare i Laholms kommun. Syftet med mötet var att ge kunskap om vad en oljeolycka skulle innebära för Laholms kommun samt ge praktisk information om övningen. Informationen som delgavs handlade bland annat om Laholms krisledning, erfarenheter från Tjörn och Ystad och en oljeolyckas olika skeden.

Halmstad

Ett informationsmöte om olja genomfördes den 17 november med ca 40 övningsdeltagare i Halmstads kommun. Syftet var att få en gemensam grund inför övningen. Informationen som delgavs handlade bland annat om…

Kungsbacka

En förövning om olja genomfördes den 24 november med sex övningsdeltagare. Det som togs upp var bland annat generellt förlopp vid en oljeolycka, Kungsbackas oljeskyddsplan, övningsbestämmelser och målsättningar.

Samtliga övningsdeltagare förväntas ha fått övningsbestämmelser genom sin lokala

övningsledare. Ingen utvärdering har gjorts hur många som verkligen tagit del av dokumentet.

Däremot tillfrågades övningsdeltagarna om de fick tillräckligt med information från

övningsansvariga före övningen om genomförandet, varav 70 procent svarade Ja, 18 procent Delvis och 1 procent Nej. Övriga valde att motivera sina svar.

Bland svaren fanns både positiva och negativa synpunkter. Ett par tyckte att det var för mycket information och att övningsbestämmelserna var alldeles för omfattande och önskade mer konkret information. Informationen om vad de tre skedena innebar i tidsomställning borde ha varit mycket tydligare.

5.2 Genomförande

5.2.1 Deltagare

De aktörer som normalt sett skulle agera för att hantera ett utsläpp av olja till havs deltog i övningen. Övningen avgränsades till att endast beröra Hallands län. I kommande övningar kan grannkommuner, grannlän samt nationella myndigheter inkluderas som övade för att skapa en mer realistisk hantering av händelsen och förbättra länsöverskridande samverkan.

Oljejouren var tillgänglig på telefon och fick två samtal under övningen, från Länsstyrelsen som önskade information om vilka saneringsfirmor som kan ge stöd, och från räddningstjänsten i Halmstad som önskade information om oljejourens möjligheter att ge stöd. Båda samtalen var relevanta. Varbergs kommuner ringde också Oljejouren.

5.2.2 Övning

Övningsdeltagarna startade upp arbetet i respektive stab efter det första inspelet från LÖL.

Samtliga övade deltog på den inledande samverkanskonferensen på Lync. Det var första gången tekniken användes i denna omfattning i länet, vilket medförde viss fördröjning jämfört med telefonkonferens. Konferensen startade tyvärr upp innan Halmstads kommun och Region

17 Halland hunnit ansluta sig. Här nedan redovisas i första hand övningsdeltagarnas synpunkter på övningens genomförande.

Längd

Övningsdeltagarna fick frågan ”Vad anser du om övningens längd?” och 6 procent tyckte att den var för lång och 10 procent för kort. 69 procent tyckte att längden var lagom och övriga valde att motivera sina svar. De flesta hade inga synpunkter på längden, men däremot att det blev för många moment och händelser att öva på en gång. Det var svårt att genomföra övningen med två tidsperspektiv på så kort tid. En dag är lagom för att organisationerna ska kunna avsätta resurser till övningen. Därmed är det svårt att öva oljepåslag i realtid. För att förenkla kunde man fokuserat övningen till ett moment eller genomfört den som

seminarieövningen.

Tempo

Övningsdeltagarna fick frågan ”Hur tycker du att tempot på övningen har varit?” och 10 procent svarade Mycket bra, 40 procent Bra, 14 procent Acceptabelt och 17 procent Mindre bra. Missnöjet med tempot var störst jämfört med andra områden som det ställdes frågor om.

Bland motiveringarna fanns synpunkter som kopplade till bytet av tidsperioder under

övningen. Det upplevdes stressigt och rörigt vid bytet. Momenten borde ha varit längre så att staberna hunnit planera och vidta åtgärder. Efter bytet blev det otydligt vilka åtgärder som genomförts. Eftersom det är svårt att simulera en händelse som varar över flera dagar under en arbetsdag kunde man istället fokuserat på ett enskilt moment.

Flera på Halmstads kommun angav också att tempot var för lågt både i stab och i

upplysningscentral. Det låga tempot berodde bland annat på tillspetsade frågor saknades och att man inte fick information från Länsstyrelsen och inte hade mandat att ta direktkontakt med MSB och KBV.

Upplägg

Enligt 12 respektive 49 procent av övningsdeltagarna var upplägget Mycket bra eller Bra, medan 20 respektive 6 procent tyckte att upplägget var Acceptabelt eller Mindre bra. Övriga valde att motivera sitt svar. De flesta hade även här kritiska synpunkter på bytet av

tidsperioder och att hela övningen inte skedde i realtid. Den nya lägesbilden som gavs vid moment två borde ha innehållit information om de efterfrågade resurserna, vidtagna åtgärder och beslut så att övningsdeltagarna vetat vad som hänt under tiden man hoppade över.

Utsläpp av olja till havs är ett komplicerat scenario som är nytt för många i länet. Som tidigare framkommit kunde övningen hellre genomförts som seminarieövning. Föreläsning i kombination med workshop kan ge mer än en övning när man ska behandla ett utdraget saneringsskede. Övning av teknik kunde ha övats separat. Det finns efterfrågan på mindre och enklare övningar som inte kräver lika stor förberedelse och ger mer för den enskildes förmåga att utföra stabsarbete.

Övningens värde

Övningsdeltagarna fick frågan ”Hur bedömer du övningens värde för din organisations verksamhet/roll?” och 30 procent svarade Mycket stort, 36 procent Stort, 16 procent Godtagbart och 5 procent Ringa. Övriga har motiverat sina svar. Bland dessa varierar synpunkterna ungefär enligt samma fördelning. Det som gjorde att övningen blev värdefull var bland annat att få öva i sin roll i staben och använda WIS, att förbättringsområden belystes och förståelsen för organisationernas ansvar och roller ökade. En deltagare svarade att

18 genomgångarna innan övningen och egen inläsning var en bra förberedelse. Avslutningsvis är det viktigt med övningar där deltagarna har möjlighet att lösa uppgiften för att ge säkerhet att arbetet kommer att fungera i verkligheten. En bra övning ska också ge lärdomar för fortsatt arbete.

5.3 Utvärdering

5.3.1 Genomförande

Utvärderingen ska mäta hur övningens mål har uppnåtts och utvärderarna har ställt målen mot genomförandet och resultatet av övningen och har beaktat både de övades insatser och

övningens upplägg. Länsstyrelsen har fått stöd av MSB i utformning av utvärderingen och dess metod. Samma metod har används som för övning Malte 2013 men med vissa

förändringar i utformning av enkäter.

5.3.2 Lokala utvärderare (LU)

Lokala utvärderare har genomfört utvärderingen i kommunerna samt regionala resursgruppen.

Samtliga deltog på ett förberedande möte där de fick information om upplägg och utvärderingsprotokoll. LU utgick från samma utvärderingsprotokoll (med undantag av Falkenberg och Varberg), men utvärderade i första hand sin egen organisation. Synpunkter från LU har gett mer tyngd till den regionala utvärderingen.

5.3.3 Utvärderingsprotokollen

Utvärderingsprotokollen utformades av utvärderingsledaren med stöd av MSB och LU. Varje mål mättes med ett antal indikatorer, som i sin tur skulle bedömas huruvida indikatorn var uppnådd och vid vilken tidpunkt samt övriga kommentarer. LU fyllde i protokollen under och i viss mån efter övningen. Protokollet visade sig vara svårt att följa under övningen.

Indikatorerna borde ha varit mer konkreta. Det underlättar om varje organisation har egna mål och indikatorer, vilket gjordes i Varberg och Falkenbergs. Ett antal gemensamma indikatorer behövs dock alltid för att kunna utvärdera den regionala samverkan.

5.3.4 Enkäter

Målgruppen för webbenkäten var samtliga övningsdeltagare, totalt ca 145 personer, men det är oklart exakt hur många som fått enkäten då den skickades ut delvis via kontaktpersoner.

Länsstyrelsen har fått in 132 påbörjade svar och 86 avslutade. Svarsfrekvensen är 59 procent.

Enkäten hade tyvärr en bugg så flervalsalternativ fungerade inte, dvs. man kunde inte välja både bedömningsnivå och fritextsvar. Ungefär 15 procent valde att motivera sina svar.

Enkätsvaren var mycket värdefulla för utvärderingen av övningens genomförande och gav en indikation på hur målen uppfylldes.

5.3.5 Rapportens remiss

Rapportens remiss har skickats till samtliga deltagande organisationer i övningen (totalt 14 organisationer inklusive länsstyrelsen och MSB). Halmstads kommun har svarat genom stadskontoret och räddningstjänsten och Räddningstjänsten Väst har svarat på remissen.

Synpunkter har framkommit framförallt på utvärdering av planering och gemenförande samt åtgärdsförslag. Dessa har inkluderats i möjligaste mån i utvärderingsrapporten.

5.4 Övningens övergripande mål

I detta avsnitt presenteras en bedömning av övningens tre övergripande mål och tio underliggande mål och dess indikatorer.

A. Aktörerna har en god förmåga att hantera ett allvarligt oljeutsläpp enligt uppsatta rutiner och regelverk.

1. Aktörerna förstår sitt ansvar utifrån gällande regelverk.

 Tar del av material (beslutsunderlag) som finns tillgängligt för staben och beskriver organisationens ansvar.

 Bedömer om organisationen är berörd av händelsen och vilket ansvar den har enligt regelverket.

Utifrån information som lämnas vid den regionala samverkanskonferensen inleder respektive stab sitt arbete. I kommunernas stabsarbete framgår vilket ansvar

kommunen (och de olika förvaltningarna) har. Länsstyrelsen bedömer att dess stab i denna händelse ansvarar för att ta fram kunskapsunderlag, bidra med expertstöd och svara på kommunernas frågor, använda miljöatlas för att prioritera områden samt fördela nationella förstärkningsresurser. Målet är uppfyllt.

2. Aktörerna tillämpar sina planer i sin hantering av händelsen.

 Krisledningsplan eller motsvarande finns tillgänglig i staben och följs av stabens funktioner.

 Kriskommunikationsplan eller motsvarande finns tillgänglig i staben och följs av stabens funktioner.

 Oljeskyddsplanen finns tillgänglig i staben och följs av stabens funktioner.

Vid ett utsläpp av olja till havs bör krisledningsplan, kriskommunikationsplan och oljeskyddsplan användas som stöd i hanteringen. Stabsarbetet genomfördes funktionsindelat enligt plan i samtliga organisationer. Användning av

kriskommunikationsplan varierar, men samtliga staber har någon/några som arbetar med kommunikation. När det gäller oljeskyddsplaner så användes de i samtliga organisationer. Det noterades dock behov av att uppdatera oljeskyddsplanerna i olika utsträckning. Målet är uppfyllt.

3. Aktörerna utformar och följer gemensamt framtagna rutiner utifrån vad händelsen kräver.

• Bedömer hur länge händelsen förväntas pågå och dess möjliga konsekvenser på samhället och egen organisation.

• Bedömer egen uthållighet och förmedlar eventuellt behov av personella resurser från andra aktörer.

• Fastställer en övergripande samverkansstruktur (t.ex. mötesfrekvens, omfattning av samverkan, ansvar och roller).

• Deltar enligt överenskommen samverkansstruktur.

Då övningen varade endast sex timmar upplevdes det vara svårt att hinna genomföra någon utförlig analys av konsekvenser av oljepåslaget. Aktörerna påbörjade dock både analys av konsekvenser och planering för att ha tillräckligt med personella och materiella resurser. Laholms kommun skulle behövt stöd från Hylte, men hann inte begära dessa i övningen. Varbergs kommun begärde resurser enligt avtal med Entropi. När det gäller fördelning av resurser för räddningstjänst beslutades det på den första samverkanskonferensen att resursbeställning ska ske via HILL. Det skulle

20 ha behövs ytterligare samverkan om hur dessa rutiner mellan länsstyrelsen och HILL

ska fungera.

I och med de samverkanskonferenser som genomfördes fanns det en övergripande struktur för samverkan. Övrig samverkan genomfördes i WIS, genom enskilda telefonsamtal och genom RAKEL. Halmstads kommun upplever att strukturen för samverkan inte var tillräcklig då information från Länsstyrelsen inte nådde staberna på BAS. Målet är delvis uppfyllt.

Sammanfattning för mål A

På frågan ”Hur tycker du att följande mål har uppnåtts?” svarade 12 procent av deltagarna Mycket bra, 38 procent Bra, 32 procent Acceptabelt och 2 procent Mindre bra. Övriga valde att motivera sina svar. Vissa kunde inte bedöma måluppfyllelse då de inte var insatt i eller använde sig av uppsatta rutiner och regelverk eller då vissa organisationer endast testade den tekniska utrustningen.

Det finns en blandad uppfattning om hur organisationernas staber fungerade från mycket bra till bristfälligt. Det som kan förbättras är till exempel information mellan förvaltningarna, information och direktiv från stabschef samt att alla förvaltningar som är berörd av händelsen deltar. Flera tar upp att de resurser, den kunskap och kompentens som finns tillgängliga idag inte är tillräckliga för att klara ett skarpt läge.

Framförallt materialbristen nämns som ett problem.

Övningsdeltagarna fick också frågan ”Använde du den digitala miljöatlasen under övningen? Motivera varför eller varför inte du använde den.” 21 av 75 svarade att de använt den digitala miljöatlasen under övningen. Huvudorsaken var att få kartor på de prioriterade områdena och hur dessa bör skyddas för att använda det som underlag i prioritering av resurser. Miljöatlasen användes även av någon för att se vilken information andra aktörer har tillgång till. De som använde den uppgav att det fanns ovana i att använda verktyget.

Orsakerna till att deltagarna inte använde miljöatlasen var bland annat att uppgiften inte ingick i ens roll och att andra i staben använde den och informerade vid behov, det saknades kännedom om att den fanns eller hur den fungerade samt att det inte fanns tid. Det saknas information i miljöatlasen för Laholms kommun. I Halmstads, Varbergs och Falkenbergs kommuner finns insatskort som gav tillräcklig information om prioritering av kuststräckor. Detta kan ha påverkat användningen.

Den samlade bedömningen är att mål A endast är delvis uppfyllt. De övade

organisationer hade förståelse för sitt ansvar och använde sina planer. Aktörerna kan dock bli bättre på att utforma mer detaljerade rutiner för samverkan utifrån vad händelsen kräver.

B. Aktörerna har en god förmåga att i samverkan på regional nivå samordna hanteringen ett allvarligt oljeutsläpp

4. Aktörerna tar del av andras avsikter och insatser och beaktar det i sin egen hantering av händelsen.

• Förmedlar och tar del av lägesbild i samverkanskonferenser.

• Följer regelbundet andra aktörers rapporteringar i WIS.

• Rapporterar vid sin interna stabsgenomgång om andra aktörers åtgärder

21 Det finns tidigare erfarenhet i länet av att förmedla och ta del av lägesbild genom

samverkanskonferenser och detta fungerade också under övningen. Nya tekniska system användes och försvårade spridning av lägesbild något. Mer om detta under mål C. Det behövs dock ökad kontakt mellan samverkanskonferenserna för att uppdatera lägesbild och lösa frågeställningar. Många saknade en samlad regional lägesbild.

WIS är ett viktigt verktyg för att förmedla lägesbild i länet. Samtliga aktörer uppdaterade sin lägesbild i WIS och samtliga, utom Kungsbacka, hade en utsedd funktion att följa händelseutvecklingen i WIS. I till exempel Varbergs stab satte man löpande upp utdrag från WIS på väggen. I länsstyrelsens stab finns behov av att utveckla att flera berörda i staben får del av det som förmedlas i WIS.

Samtliga aktörer hade också interna stabsgenomgångar efter

samverkanskonferenserna där man bland annat rapporterade om andra aktörers åtgärder. Dock är det oklart om informationen om andra aktörers åtgärder påverkade de beslut som fattades. Kungsbacka anger att det inte påverkade. Målet är delvis uppfyllt.

5. Aktörerna tar fram en gemensam inriktning och agerar efter denna i sin egen hantering av händelsen.

• Beslutar gemensamt om inriktning för att begränsa utsläppets konsekvenser.

• Vidtar åtgärder enligt gemensam inriktning och lägesbild.

En regional inriktning presenterades på den första samverkanskonferensen. Flera kommuner beslutade också om en inriktning för sin kommun. Både Laholm och

In document Övning Barbro Utvärderingsrapport (Page 13-0)