Utvärdering av Ledning och Samverkan

Utvärdering av Ledning och Samverkan

- Med koppling forskning-praktik

Martin Holmberg

Nicoletta Baroutsi, Eva Jensen

Christian Uhr, Henrik Tehler, Tove Frykmer

Björn Johansson, Peter Berggren, Jiri Trnka

Genomförande av studien

• Teoretiska studier

• Litteraturstudie

• Metodutveckling

• Praktiska studier

• Egna utvärderingar

• Deltagande i utvärderingar som utförs av andra

• Detta arbete finns presenterat separat

• Idag presenteras analys av dessa erfarenheter

iklädda i en dräkt av ”att tänka på när du ska

utvärdera ledning och samverkan”

Varför utvärdera ledning och samverkan?

• Syftet är höja kvaliteten på ledning och

samverkan med avseende på olika faktorer

• Lära från inträffade händelser

• Utveckla personalens förmågor

• Följa rutiner bättre

• Testa om rutiner fungerar

• Utveckla nya metoder

• Testa nya typer av problem

• …

• Syftet med utvärderingen påverkar metodvalet

Vad är det vi vill/inte vill utvärdera?

• Förmågan att åstadkomma inriktning och samordning

• Utfallet av en insats kan, men behöver inte vara kopplat till kvaliteten på ledning och samverkan (dock bör detta förbättra oddsen för bra

utkomst)

• Underskott på resurser gör att misslyckande kan ske trots bra ledning

• Slumpen kan göra att dålig samverkan inte påverkar utfallet

• Vi vill alltså utvärdera ledning och samverkan

utan att fokusera på utfallet av händelsen

Metodval

• Jämförelse mellan metodval i olika dimensioner:

• Utvärdering under eller efter genomförande

• Självbedömning, expertbedömning eller ”objektiva”

mått

• Bedöma processer eller förmågor

• Observationer eller intervjuer

Metoders styrkor och svagheter

• Under genomförande

• Möjlighet att samla in data som annars inte dokumenteras

• Kan vara svårt att förstå vad som är relevant, och därmed att samla inte rätt data

• Efter genomförande

• Icke störande

• Möjligt att samla in data från aktörer som var stressade under händelsen

• Risk att narrativ upprättas som alla förhåller sig till

• Begränsad möjlighet att samla in ny data annat än från minnesbilder

Metoders styrkor och svagheter

• Självbedömning

• Tvingar fram egenreflektion och kan därmed promota lärande

• Eventuellt rädsla för att bli ”avslöjad”

• Expertbedömning

• Kommer från erfarenhet eller doktriner

• Kan titta på de mest relevanta faktorerna

• Riskerar att låsa på dessa faktorer

• Kan vara svårt att använda i nya situationer

• ”Objektiva” mått

• Baserade på teorier eller modeller

• Mäter ett begränsat antal faktorer, inte helhet

Metoders styrkor och svagheter

• Bedöma processer

• Enkelt att bedöma om t.ex. checklista följs

• Svårare att bedöma om process är möjlig att generalisera

• Svårt att avgöra om processen verkligen ger avsedd effekt

• Bedöma förmågor och egenskaper

• Kan vara svårt att avgöra vilka relevanta förmågor och egenskaper som ska bedömas

• Fungerar ofta bra att generalisera till nya situationer

Metoders styrkor och svagheter

• Intervjuer

• Ger möjlighet att inkludera ”tysta” faktorer

• Kan vara störande under övning/verklig händelse

• Observationer (på plats eller via dokument)

• Kräver tillgång till dokument, whiteboards, möten/mötesanteckningar

• Kräver förtroendekapital för att få tillgång till plats och data

• Icke-invasivt

Andra viktiga faktorer att beakta

• Är metoden testad för flera olika organisationer och i flera olika typer av händelser?

• Finns det i metoden en skala som gör att man efter mätning kan avgöra vad som är bra och vad som är dåligt?

• Är metoden lämplig både för övning och för verkliga händelser?

• Vad kräver metoden för kompetens hos

utvärderaren?

Slutsatser

• Låt inte utvärdering gå i gamla hjulspår!

• Välj metod medvetet!

• Tips finns i projektets rapporter