Förbättringsförslag till de identifierade problemen

Planerar inte för effektutvärdering av projekt i samband med utformning av projektplan.

Teorin anser att det bör planeras inför en utvärdering i samband med att en projektplanering utformas (Edström et al. 2008). Med detta som grund föreslås därför att fallorganisationen planerar inför effektutvärderingen samtidigt som projektplanen utformas för de projekt som avses effektutvärderas. I effektutvärderingsplanen bör det

5 ANALYS

anges vem som genomför effektutvärderingen, när och hur denna ska gå till samt hur denna ska finansieras.

Mätningar i ett effektutvärderingsarbete sker efter avslutat projekt.

Kopplat till föregående förbättringsförslag är ett förbättringsförslag till detta problem, baserat på vad (Länsstyrelsen 2015) anser, att resurser i form av pengar och tid tilldelas projekt som avses effektutvärderas i samband med att projekten planeras. Vidare bör personen som leder projektet även vara samma person som genomför effektutvärderingen, det vill säga projektledaren (Tonnquist 2018).

Målen är formulerade innan projektstart och kan ha för stort avstånd till det specifika projektet.

Ett förslag till detta problem är att projektledaren är med och formulerar målen för projektet eller att tid för en mer specifik målformulering inkluderas i den avsatta projekttiden. På så sätt finns utrymme att, utifrån de inplanerade aktiviteterna, formulera målen på en nivå som är kopplade till och är mätbara på den direkta målgruppen. Fallorganisationen arbetar inte med någon särskild metodik för målframtagning.

Ett förbättringsförslag till problemet att ingen särskild metodik för målframtagning finns idag är att ta fram en målframtagningsmetodik att använda sig av för framtida projekt där en effektutvärdering planeras göras. Detta för att arbetet med målframtagning ska vara mer homogent och för att undvika om-arbete. Ett exempel kan då vara att införa verksamhetslogik, som är en metod för utformandet av mål (Skolverket 2017; Ekonomistyrningsverket 2016)

5.3

Mål

SMARTa mål är något teorin ansar viktigt i arbetet kring effektutvärdering, detta eftersom SMARTa mål i sin tydlighet hjälper till för avgörandet om målen uppfyllts eller inte när en mätning av effekten väl görs (Edström et al. 2008; Länsstyrelsen 2015; Västra Götalandsregionen 2017a). Inom Region Jönköpings län går det att se att de åtminstone på ett allmänt plan, inte arbetar med SMARTa mål, även om det i individuella projekt på egna initiativ används. Då effektutvärdering inte varit en del av arbetet med projekt i Region Jönköpings län är det möjligt att SMARTa mål inte varit så viktiga för projekten tidigare. Om man i framtiden däremot skulle vilja göra effektutvärderingar så skulle nog användandet av SMARTa mål vara att föredra, då mål som inte använt sig av SMART- principerna lätt kan bli diffusa och svåra att avgöra om de blivit uppfyllda, och ifall uppfyllnadsgraden är tillräckligt hög för att kunna uttala sig om projektet varit lyckat eller inte.

5 ANALYS

Analyseras målet som är satt för projektet Integration och kompetensförsörjning i Jönköpings län så är det ett projektmål vilket gör projektet svårt att effektutvärdera. Ur ett SMARTa mål perspektiv går det att säga i slutet av projektet ifall målet är uppnått eller inte. Målet är specifikt i den mån att det är en analys av kompetensförsörjningen som ska göras och att den ska innehålla arbetsgivares behov på kort, medel och lång sikt. Ur SMARTa mål principerna är det kanske främst tidsbundheten som saknas i när detta ska uppnås, men även frågor kring vad en framgångsrik analys är för något går att ställa sig. Att målet är accepterat och rimligt är ett antagande som görs av examensarbetesförfattarna eftersom målet indirekt har godkänts i samband med att projektansökan godkändes. Idag finns en generell bestämmelse inom fallorganisationen kring att det idag ska finnas övergripande mål, projektmål och delmål. Ser man på fallprojektet så går det att identifiera ett övergripande mål genom projektbeskrivningen samt ett projektmål, men det saknar idag delmål som beskriver vad projektet ska leda till på olika lång sikt. Jämförs detta med vad Bengtson et al. (2012) anger, att man genom effektmätning jämför utfallet av ett projekt och att effekter mäts på olika nivå och ur olika tidsperspektiv, så verkar inte dessa effektmål finnas för fallprojektet. Däremot kan tolkningen göras att dessa delmål som det finns en generell bestämmelse kring kan ses som det som Bengtson et al. (2012) beskriver som effektmål, som mäts på olika nivå och ur olika tidsperspektiv.

Indikatorer är enligt Länsstyrelsen (2015) något som i effektutvärderingar bör användas och kopplas till effektmålen. I dagens läge är indikatorer något som används inom organisationen. Men det verkar i stor grad användas gentemot projektmålen med fokus på antal snarare än de indikatorer fokuserade mot effekter som är viktigt i effektuppföljningssyften. Detta är även något som kan ses i projektet Integration och kompetensförsörjning i Jönköpings län där den ena indikatorn är kopplad till projektets mål, vilket är ett projektmål som syftar till ett färdigställande av en aktivitet. Den andra indikatorn följer även den främst aktiviteter som görs i samband med projektet och inte effekter som enligt teorin är viktigt för framtida effektutvärderingar.

Mätandet av kundpåverkan via beteende och att sen sätta mål på detta var något som enligt Bengtson et al. (2012) kan användas för att få en bra bild om projekts effektutfall på kort sikt, och genom antaganden om orsakssamband mellan de kortsiktiga och långsiktiga effekterna så kan även beteendemålen ge information om projektets totala framgång (Länsstyrelsen 2015; Shenhar & Boston 2007; Ekonomistyrningsverket 2016; Skolverket 2017). I dagsläget används beteendemål för projekt där beteendeförändring är en stor del av projektets själva syfte. Beteendemål används enligt denna underökning dock inte för projekt där beteendeförändring inte är vad projektet handlar om.

Att beteendemålsättningar i projekt redan är något som i vissa fall används är positivt då det av Bengtson et al. (2012) beskrivs som ett bra sätt att mäta projekts

5 ANALYS

inverkan. I kombination med verksamhetslogiken som beskrivs av Skolverket (2017) och Ekonomistyrningsverket (2016) gällande hur orsakssamband mellan långsiktiga och kortsiktiga effekter finns en god grund i organisationen att stå på för utökat användande av beteendemål vid effektutvärderingar.

5.3.1

Förbättringsförslag till de identifierade problemen

SMARTa mål används bara i viss mån.

Fallorganisationen arbetar inte med SMARTa mål på ett enhetligt sätt och i de fallen där SMARTa mål har använts så är det på eget initiativ. Flera källor anger att SMARTa mål är viktiga vid effektutvärderingar eftersom de i sin tydlighet hjälper till att avgöra om målen uppfyllts eller inte vid mätning av effekten (Edström et al. 2008; Länsstyrelsen 2015; Västra Götalandsregionen 2017a). Ett förbättringsförslag till det presenterade problemet är därför att införa en standard för användandet av SMARTa mål för projekt där en effektutvärdering förväntas göras.

Svårigheter kring att omvandla vissa typer av mål till SMART-principerna. Att formulera SMARTa mål kräver kunskap i hur de ska formuleras. Någon typ av utbildning eller arbetsinstruktion kring SMARTa mål är därför ett förbättringsförslag som föreslås.

Andra egna metodiker kan vara föredragna framför SMARTa mål. (Olika uppfattning om vad som är bra mål)

För projekt där senare en effektutvärdering förväntas göras blir det svårt att veta ifall ett projekt varit framgångsrikt eller inte om det inte finns något specifikt värde som ska uppnås vid en specifik typ av mätning om inte SMARTa mål finns. Förbättringsförslaget blir därför att informera varför SMARTa mål behövs vid projekt som senare ska effektutvärderas. Delmål i form av effektmål på olika lång sikt används inte alltid för projekt inom fallorganisationen.

Enligt Bengtson et al. (2012) ska effekter mätas på olika nivå och ur olika tidsperspektiv för att kunna jämföra utfallet av ett projekt. Därför är det ett problem att effektmål på olika lång sikt inte alltid används för projekten inom fallorganisationen. Förbättringsförslaget är därav att införa en standard för användandet av effektmål på olika lång sikt för projekt där en effektutvärdering förväntas göras.

Indikatorer används inte för effektmål i full utsträckning.

För att kunna utvärdera effekter behövs indikatorer kopplade till effektmål som ska utvärderas (Länsstyrelsen 2015). Förbättringsförslaget för detta problem är att för projekt som ska effektutvärderas införa en standard som säger att effektindikatorer ska finnas och de ska vara kopplade till projektets effektmål.

5 ANALYS

Beteendemål används inte för projekt där projekten inte handlar om beteendeförändring.

Att mäta beteende är enligt teorin ett sätt att mäta påverkan på kunden vilket är en del av att förstå ett projekts framgång på kort sikt Bengtson et al. 2012; Shenhar & Boston 2007. Genom att inkludera beteendemål på alla projekt, det vill säga även på de projekt där huvudsyftet inte är att ändra beteende, kan en bedömning av den kortsiktiga effekten göras. Förbättringsförslaget blir således att även inkludera beteendemål som effektmål på kort sikt i projekt som inte har som huvudsyfte att förändra beteenden.

5.4

Mätmetoder

Persson et al. (2016) anser att enkäter och intervjuer bör användas tillsammans för att få en bra förståelse för om en förändring i beteende skett eller inte. Detta är något som liknar fallorganisationens syn på mätmetoder vid mätning av beteende. Användandet av enbart enkäter för att mäta beteende är något som observerats göras i upphittade exempel från verkligheten i den teoretiska referensramen (Zorowka & Weichbold 2003; Zorowka & Weichbold 2007; Folmer et al. 2007; Leishman et al. 2013). Fördelar med att bara använda enkäter och inte intervjuer också, kan vara som nulägesbeskrivningen anger, att intervjuer är resurskrävande. Intervjuer kan kräva mycket tid dels i form av tiden intervjun pågår, men även förberedelserna inför intervjuerna och efterarbetet kring dessa. Ska många och långa intervjuer hållas kommer det kosta tid och resurser. Nackdelen med att bara använda sig av enkäter är att information om projektet riskeras att missas (Persson et al. 2016). Enkäter är en kvantitativ datainsamlingsmetod för att ge statistisk information om en eller flera grupper människor (Persson et al. 2016). Enligt Persson et al. (2016) kan intervjuer användas för att få en förståelse för vilka förändringar som skett och varför de ägt rum. Därför är det rimligt att även inkludera intervjuer som datainsamlingsmetod för effektutvärderingen. Ytterligare ett till hinder som tas upp om enkäter som datainsamlingsmetod i helhet är att om frågorna som ställs står på otydligt eller motsägelsefullt sätt så riskerar man att svaren man får är felaktiga mot hur situationen egentligen ser ut. Om analysen sedan bygger på den datan kan slutsatserna av enkätundersökningen bli felaktig.

Problemet med att få ett representativt urval som representerar situationen för hela populationen är också ett relevant problem att adressera. Enligt Persson et al. (2016) ska urvalet vara stort och slumpmässigt för kvantitativa studier, men hur stort och hur lätt det är att få urvalet i praktiken att bli slumpmässigt adresseras inte vidare i den teoretiska referensramen till detta examensarbete. Även frågor kring hur man vet att kvalitativa effektutvärdering och ifall den utvärdering som gjorts med de metoderna verkligen kan säga något om helheten eller bara det specifika fallet är också en svår frågeställning värd att fundera på inför en effektutvärdering.

5 ANALYS

5.4.1

Förbättringsförslag till de identifierade problemen

Mätmetoder i form av enkäter och intervjuer används inte som standard för effektutvärderingar av enskilda projekt.

Enligt Persson et al. (2016) är enkäter och intervjuer lämpliga metoder att mäta förändring (referensmätning och effektmätning). Dessa metoder bör om möjligt användas i kombination där enkäter används för att ta reda på vad som hänt och intervjuer för att ta reda på varför. I nuläget är dessa metoder inget som enligt standard används för syftet effektutvärdering av enskilda projekt. Detta, eftersom effektutvärdering av enskilda projekt tidigare inte fullbordats för avslutade projekt. Förbättringsförslaget är således att användandet av mätmetoder i form av enkäter och intervjuer införs som en standard inom fallorganisationen för effektutvärderingar.

Inom organisationen finns emellertid erfarenheter av dessa mätmetoder, ett problem kring dessa mätmetoder presenteras i rubriken nedan.

Enkäter kan ge ofullständig eller felaktig bild av beteendeförändring beroende på felfaktorer.

För att undvika detta problem så föreslås att enkätstudier kompletteras med djupdykande intervjuer vid större och mer omfattande effektutvärderingar. Enligt Persson et al. (2016) rekommenderas att både enkäter och intervjuer används tillsammans för en

effektutvärdering för att få en förståelse för vad som skett samt varför den eventuella förändringen skett.