Projektplanen

Att planera in utvärderingen i form av tid i projektplanen är något som anses av intervjupersonen vara positivt. En plan där tid planeras för effektutvärderingen anses då kunna hjälpa både vid projektansökan till vissa fonder och för den egna planeringen kring

6 TEST

hur tidsplaneringen av effektutvärderingen ska hinnas med.

6.2.2

Utvärderingsplan

Planering för en effektutvärdering av ett projekt redan i samband med att projektplanen skapas är något som av intervjupersonen anses vara både vara möjligt och fördelaktigt. En fördel som föreslås är att brister kan upptäckas tidigt. Att skapa en utvärderingsplan kan också hjälpa till med att knyta ihop projektmålen och aktiviteterna i projektet med mätbara effekter som projektet ska uppnå. Intervjupersonen menar dock att viss flexibilitet till justeringar i effektutvärderingsplanen bör finnas beroende på hur projektet sedan utvecklas.

Avsättning av resurser, personal och tid till att genomföra effektutvärderingar är inte heller något som av intervjupersonen beskrivs som ett problem, utan det är redan idag var någonting som finansierare efterfrågar. Gällande vem som ska genomföra effektutvärderingen anser intervjupersonen att det kan göras både inom organisationen och externt. En fördel med att effektutvärdera internt föreslås vara att det möjligtvis kan vara ett billigare alternativ jämfört med externa utvärderingar. En annan fördel föreslås vara att lärdomar och djupare förståelse för projektets effekter som kan uppkomma i själva arbetet, hos individerna som genomfört utvärderingen, kan hamna inom den egna organisationen. Intervjupersonen menar dock att personen som ska genomföra utvärderingen kanske inte borde vara just projektledaren som i detta exempel, utan kanske någon som ska jobba mer specifikt med analyser och effektutvärderingar. Vem som ska utvärdera anses enligt intervjupersonen också vara en fråga om objektivitet, då det kan finnas problem gällande detta om personen som är tänkt att utvärdera är för nära kopplad till projektet.

Ur litteraturen Tonnquist (2018) berättas det om att projektledare borde vara med i effektutvärderingen då detta kan vara starten till ett nytt projekt, men diskussionen hurvida det också kan finnas problem gällande objektivitet är inget som i denna litteratur nämns. Diskussionen om objektivitet är något som enligt examensarbetesförfattarna är intressant och bör tänkas på vid utvärderingen också. Problem som enligt examensarbetesförfattarna kan tänkas uppkomma om projektet utvärderas av personer för nära kopplade till projektet kan exempelvis vara att utvärderaren inte är tillräckligt kritisk till hurvida effekterna av projektet uppkommit som planerat, vilket i sin tur kan leda till att effekterna av projektet verkar vara högre än de i verkligheten är.

Gällande när en referensmätning vid en före- och efterstudie bör genomföras anses det av intervjupersonen att en referensmätning bör genomföras innan projektet påbörjas eller finns, som en del av förstudien till projektet. Intervjupersonen menar att en förstudie tar reda på svar kring problemen som ska lösas av projektet, och då behövs information kring om det misstänkta problemet faktiskt finns och för vem det finns i sådana fall.

6 TEST

6.2.3

Mål

Intervjupersonen anser att effektmålet på kort sikt och den tillhörande indikatorn som skapats i exemplet är formulerade på ett bra vis. Denna menar däremot att flera aspekter bör undersökas i en effektutvärdering så som att exempelvis undersöka vilka som deltog i projektet och hur detta påverkade resultatet. Detta, för att även få en förklaring till varför målet har uppnåtts eller inte uppnåtts. Att det inte enbart är viktigt att ta reda på vad som har hänt utan även varför förändringen skett är en återkommande synpunkt från intervjupersonen när det kommer till effektutvärdering.

Intervjupervjupersonen ifrågasätter däremot om effektmålet på kort sikt verkligen är ett beteendemål. Eftersom det är formulerat “ser möjligheterna att anställa” anses det vara närmare en attityd. Intervjupersonen menar att en attityd innebär att vilja ändra inställning och att beteende innebär att faktiskt ha gjort en ändring.

I litteraturen finns en blandad mening om vad ett beteendemål innebär, där Hyllenius et al. (2009) skiljer på begreppet beteende och attityd. I det här arbetet använder examensarbetesförfattarna däremot Bengtson et al.s (2012) definition av beteendemål som menar att målet kan innefatta både en inställning till en förändring och en faktisk förändring, det vill säga det som Hyllenius et al. (2009) menar är attityd och beteende. En utvärdering är enligt Carlström & Carlström Hagman (2012) en granskning av hur väl uppsatta mål överensstämmer med verkligheten och en förutsättning för att kunna göra ett utvärderingsarbete är då att ha en referenspunkt eller idealbild att utgå från uttryckt i mål. Att formulera mål enligt SMART-principen kan enligt vara ett omfattande arbete eftersom arbetet med att ta fram en siffra för nuläget, det vill säga referensmätningen, (för att på så sätt kunna sätta en siffra för målet) kan vara olika komplext beroende på hur enkelt eller svårt det är att samla in den data som målet kräver. I det framtagna exemplet var beteendemålet huvudfokus då effektutvärdering på kort sikt var det som önskades genomföras. Men enligt Västra Götalandsregionen (2017a) ska det för ett projekt anges vilka effekter som önskas nås, vilka delas i kort, medel och lång sikt. Det innebär att för att kunna formulera SMARTa mål för effekterna, oavsett om det finns en plan att utvärdera dessa eller inte, så behöver referensmätningar genomföras för dessa också. Detta är något som gör att SMARTa mål enligt examensarbetesförfattarna kan vara väldigt tidskrävande och innebär att en förstudie med framtagande av målens nuläge behöver göras för alla projekt där SMARTa mål ska användas. Detta förutsätter i sin tur även att projektets målgrupp är identifierad redan innan projektet är planerat, vilket också kan vara svårt då aktiviteterna för projektet inte ännu är formulerade eller bestämda i det skedet.

6 TEST

godtyckligt. Referensvärdet och eftervärdet kan med säkerhet identifieras för att bedöma om en skillnad uppstått, men om resultatet är bra eller dåligt anses vara en annan fråga. Det uppstår därav en fundering kring hur man värderar om man lyckats eller inte och om ett projekt varit dåligt enbart eftersom målet inte nåtts.

6.2.4

Mätmetoder

Vid granskning av mätmetoderna som används i exemplet anser intervjupersonen att det finns både för- och nackdelar med enkäten. Denna menar att fördelen är att den är kort, vilket är någonting som eventuellt kan leda till att fler svarar på enkäten och det blir mindre bortfall än vid längre enkäter. Nackdelen med att enbart ha en central fråga, som i exemplet är direkt kopplad till målet, är enligt intervjupersonen att det inte ger något djup till frågan på egen hand. Med det i åtanke anser denna att intervjuer efteråt är välbehövligt och djupet som efterfrågas besvaras med intervjuerna. Vidare anser intervjupersonen även att intervjuer kan hjälpa att hitta orsaksmekanismerna, det vill säga om exempelvis respondenternas inställning påverkats av någonting mer, externt utanför projektet. Intervjupersonen menar sammanfattningsvis att de två mätmetoderna enkät och intervju i kombination är rimliga metoder för effektutvärderingen. Persson et al. (2016) benämner också att kombinationen av både enkäter och intervjuer är fördelaktigt

för att få både en generell beskrivning och en djupare förståelse.

Någonting som hade kunnat göras annorlunda med intervjuerna ansågs av intervjupersonen vara att inte enbart intervjua den direkta målgruppen, utan även andra intressenter. I den framtagna rapporten (analysen) i fallprojektet finns nämligen rekommendationer till andra aktörer också, exempelvis arbetsförmedlingen, och inte enbart företag som anställer personal. Om andra intressenter intervjuats kan en mer nyanserad bild av verkligheten fås menar intervjupersonen. Detta förslag är någonting som görs i en utvärderingsrapport av Jangland & Gunningberg (2017) där en enkätundersökning genomförs på den direkta målgruppen eller kunden, i det här fallet patienter, och sedan kompletteras med intervjuer med anställda (Jangland & Gunningberg 2017). I den utvärderingen visar det sig att patienterna och sjukhuspersonalen har olika uppfattning om det som granskas.

6.2.5

Utvärderingsdesign

Gällande att bara göra intervjuer vid eftermätningen och inte även för referensmätningen som i det här exemplet finns inget tydligt ja eller nej från intervjupersonen om det är ett bra val att göra utan det anses vara något man får prova sig fram med. Att bara använda sig av intervjuer under eftermätningen är inget som det heller finns stöd för i teorin som tas del av i detta arbete, utan detta är något som examensarbetesförfattarna gjort för detta exempel då det för detta projekt kan ha varit svårt att ställa relevanta grävande frågor redan innan arbetet med projektet startat. Om intervjuer inkluderas som en del av

6 TEST

nulägesanalysen så hjälper det med att ytterligare få en djupare förståelse för problemet. Detta är någonting som enligt examensarbetesförfattarna både kan hjälpa till vid framtida eftermätning för att se vad som förändrats och för att bättre kunna utforma aktiviteter för att lösa dessa problem.

Vid val av utvärderingsdesign uppkom funderingar av examensarbetesförfattarna huruvida exemplet skulle innefatta en tvärsnittsstudie eller en före- och efterstudie. En tydlig nackdel som sågs av examensarbetesförfattarna med tvärsnittsstudien var gällande vilka som skulle vara referensgruppen. En rapport vilket projektet skulle åstadkomma i detta fallprojekt skulle i teorin enligt examensarbetesförfattarna kunna ha spridits till alla eller de flesta företag i länet, vilket i det läget skulle kunna försvåra planering inför urvalet av referensgrupp för tvärnittstudien. Detta kan bli ett problem då referensgruppen kan bli liten och vara överrepresenterad av företag som inte nödvändigtvis är intresserade av projektet. Detta kan leda till att gruppen inte blir så slumpmässig, vilket går emot Persson et al. (2016) som menar att urvalet både ska vara stort och slumpmässigt. Ett alternativ är då enligt examensarbetesförfattarna möjligtvis att mäta på företag utanför länet. Problemet blir då att veta om företag utanför länet är en bra referensgrupp med samma förutsättningar som Jönköpings län inom dessa frågor då grupperna enligt Carlström & Carlström Hagman (2012) ska vara så lika som möjligt vid tvärsnittsstudier.

6.2.6

Presentation

Mätningarna och hur de presenterades anses av intervjupersonen vara realistiska att genomföra för verkliga projekt. Enkäten i exemplet är inte komplicerat enligt intervjupersonen och verktyg för både utskick och sammanställningar av enkäter via rapporter med tillhörande diagram finns redan tillgängligt inom organisationen.

7 DISKUSSION

7

Diskussion

I följande kapitel presenteras en diskussion om arbetets syfte, frågeställningar samt metod och därefter diskuteras arbetets bidrag samt framtida arbete.

7.1

Hur

man

kommer

närmare

kunderna

genom

kundfokuserad effektutvärdering

Syftet som tidigare i rapporten presenteras i kapitel 1 Introduktion är enligt följande: Syftet med arbetet är att analysera hur fallorganisationen kan arbeta med kundfokuserad effektutvärdering och därefter utveckla en guide gällande detta för projekt inom fallorganisationen.

Detta för att analysera och föreslå hur offentliga sektorer kan komma närmare sina kunder, det vill säga invånare, och därigenom skapa nytta för dem.

Analys av kundfokuserad effektutvärdering genomfördes genom en litteraturstudie där andra handböcker samt utvärderingsrapporter studerades, men även annan litteratur om olika definitioner som SMARTa mål och utvärdering studerades också. Vid denna litteraturstudie uppstod främst två svårigheter. Den första handlade om att det var svårt att identifiera källor med just kundfokuserad effektutvärdering i litteraturen. Därför behövde begreppen delas upp för att sedan koppla samman informationen genom att dra egna paralleller, vilket diskuteras vidare under RQ1 i 7.3 Sammanfattning och slutsatser. Den andra svårigheten har också med identifiering i litteraturen att göra och handlade om att olika källor pratar om och använder begreppet effektutvärdering på olika sätt. I början av arbetet användes inte just detta begrepp, utan då användes uppföljning istället för att beskriva det som skulle studeras. Men efter en tid insågs att begreppet används och kan tolkas på fler sätt och därför beslutades att begreppet effektutvärdering skulle användas istället och definitionen för detta beskrivs i kapitel 2 Teoretisk referensram. Denna svårighet uppstod även vid intervjuerna och diskuteras mer längre ner under kapitlet 7.2 Metod.

Syftet anger kundfokuserad effektutvärdering som ett begrepp för att komma närmare kunderna, det vill säga invånarna. Utifrån litteraturstudien framkommer det att detta kan göras genom att mäta beteendeförändringen hos den direkta målgruppen för projektet. Shenhar & Boston (2007) och Shenhar et al. (2001) anger att det finns olika dimensioner för att mäta projektframgång och att dessa dimensioner mäts vid olika tidpunkter efter projektavslut. Vidare mäts dessa framgångsdimensioner genom olika mätningar där exempelvis framgångsdimensionen Nöjdhet hos anställda mäter på de anställda som

7 DISKUSSION

varit delaktiga i projektet. Detta innebär att dimensionen Påverkan på kund enligt Shenhar & Boston (2007) och Shenhar et al. (2001) enbart mäts månader efter projektavslut, och då enbart på kunden eller målgruppen. I exemplet för verksamhetslogik däremot presenterar Ekonomistyrningsverktet (2007) effektmål på olika lång sikt och att alla dessa mäter på målgruppen. I detta exempel ska målgruppen på kort sikt uppmärksamma ämnet i fråga, på medellång sikt ska de ändra sin attityd och på lång sikt ska målgruppens agerande ha förändrats. Enligt Ekonomistyrningsverktet (2007) mäts alltså påverkan på kunden, det vill säga målgruppen, inte enbart kort tid efter projektavslut så som Shenhar & Boston (2007) och Shenhar et al. (2001) föreslår. Utan enligt Ekonomistyrningsverktet (2007) mäts denna dimension på olika sätt under en längre tid. Ett problem med att sätta mål på detta vis för att mäta framgången i ett projekt är att enligt Ekonomistyrningsverket (2016) så påverkar utomstående faktorer effekter som nås på medellång och lång sikt, vilket gör det svårare att koppla dessa effekter till projektet i fråga. Detta är rimligt eftersom ju längre tid som går från att ett projekt har avslutats desto mer troligt är det att utomstående faktorer är med och påverkar effekten. Detta gör det därav troligtvis svårare att jämföra utfallet av ett projekt med vad som hade hänt utan projektet, vilket Bengtson et al. (2012) menar är vad effektutvärdering handlar om. Vidare anger Länsstyrelsen (2015) att

mätningen av effekten av ett enskilt projekt görs genom att mäta kortsiktigt, vilket då också pekar på att effekten ska mätas kort tid efter projektavslut. Med detta sagt behöver detta inte innebära att det nödvändigtvis är dåligt att mäta effekten hos målgruppen även på medellång och lång sikt som i Ekonomistyrningsverktets (2007) exempel. Det innebär enbart att det kan vara svårare att avgöra om dessa effekter uppstått till följd av ett enskilt projekt. För att ta reda på detta kan det därför exempelvis vara nödvändigt att genomföra fler intervjuer för att få en djupare förståelse hos en större del av målgruppen. Däremot kan detta innebära ett väldigt resurskrävande arbete om en djupare förståelse hos en större del av målgruppen ska fås. Med det sagt är denna osäkerhet, att veta ifall effekten skett till följd av ett projekt eller någonting annat, någonting som troligtvis alltid mer eller mindre kommer finnas. Detta eftersom Carlström & Carlström Hagman (2012) anger att för att undvika påverkan av ovidkommande variabler ska miljön där förändringen sker vara så kontrollerad som möjligt, exempelvis i laboratoriemiljö. Detta är ytterst svårt att uppnå när förändringen i fråga inte kan ske i en så kallad laboratoriemiljö.

Eftersom organisationen inte som standard arbetat med effektutvärderingar innan så finns det flera saker de kan ta med sig ifrån denna rapport. En central del som funnits i litteraturen är vikten av att planera för en effektutvärdering (Edström et al. 2008). I denna del av arbetet bestäms saker som vilka mätningar som ska göras, vilka indikatorer som krävs samt hur resurser och arbetskraft för effektutvärderingen ska planeras (Edström et al. 2008; Länsstyrelsen 2015). Svårigheter med att planera för en utvärdering som identifierats är till exempel kring formulerandet av SMARTa mål, där även en referensmätning behöver göras i samband med skapandet av målet för att kunna sätta realistiska effektmål.

7 DISKUSSION

För att veta vad som behöver mätas behövs alltså mål på detta, och för att veta vilka mål som ska sättas behövs referensvärden för att sätta realistiska mål. Det går att gå runt detta genom att göra momentet stegvis, men det kan ändå vara krångligt. Om referensmätningen ska göras innan projektet startat som en del av en förstudie kan emellertid detta problem vara mer överväldigande då målet och det som ska mätas för effektutvärderingen till stor del måste bestämmas redan innan projektet börjat formuleras till en ansökan. Användandet av SMARTa mål är även detta för övrigt en annan central del som för effektutvärderingar beskrivs av litteraturen som viktigt (Edström et al. 2008; Länsstyrelsen 2015; Västra Götalandsregionen 2017a). SMARTa mål ger en tydlighet till ifall målen som satts har uppnåtts eller ej när resultatet av effektmätningarna färdigställts (Bergman & Klefsjö 2016).

Användandet av beteendemål vid effektutvärderingar är även detta något som organisationen kan ta med sig av arbetet. Mätande av beteendet hos kunden (målgruppen), kopplas i detta arbete till en av mätningarna som är kunden använder produkten tillhörande framgångsdimensionen påverkan på kund beskriven av Shenhar & Boston (2007), som också benämner att påverkan på kund mäts en kort tid efter avslutat projekt (i tidsperspektivet månader).

Vad som kan mätas behöver alltså enligt Shenhar & Boston (2007) inte bara vara mätningen kunden använder produkten för att mäta hur framgångsrika projekt är. Bara för kundorienterade mätningar finns det flera dimensioner att bedöma, till exempel genom att mäta kundtillfredsställelse eller ta reda på resultat av projektet löser kundernas problem (Shenhar & Boston 2007). Inte heller framgångsdimensionen påverkan på kund är den enda framgångsdimensionen som går att mäta för att bedöma hur framgångsrikt resultatet av ett projekt blivit (Shenhar & Boston 2007). Shenhar & Boston (2007) anger att även framgångsdimensionerna nöjdhet hos anställda, ekonomisk framgång och förberedelse inför framtiden är dimensioner som är del av ett projekts framgång. Det finns alltså många olika mätningar att välja mellan, vilket hade kunnat vara alternativa utvärderingsmått för organisationen att använda sig av, men att mäta kundens dimensioner via beteende är som lämplig väg att gå då beteenden även enligt Länsstyrelsen (2015) och Bengtson et al. (2012) går att använda sig av vid effektmätningar. Enligt Länsstyrelsen (2015) går beteende att använda för att mäta effekter på kort sikt. Att mäta effekter på kort sikt genom beteende blir sedan en del av effektkedjan beskriven av Skolverket (2017) och Ekonomistyrningsverket (2016) där effektmål bryts ner på olika tidsperspektiv och där de kortsiktiga effektmålen kopplas samman med de långsiktiga effektmålen via effektmål på medellång sikt.

En del som enligt Bengtson et al. (2012) är lämplig för effektutvärderingar men som funnit svårigheter i praktiken är användandet av tvärsnittsstudier. Praktiska problem som exempelvis dök upp gällande tvärsnittsstudier var gällande SMARTa målformuleringar.

7 DISKUSSION

I testet (6 Test) gjordes först ett försök att genomföra effektutvärderingen genom en tvärsnittsstudie, men problemet som då uppkom var avsaknaden av referensvärden vid formuleringen av de SMARTa målen. Detta gjorde formuleringen av målen svårare då det inte fanns något värde att utgå ifrån för att kunna bedöma vad som en rimlig förbättring är. Enligt Länsstyrelsen (2015) är utgångsvärden för indikatorer något som också behövs i utvärderingsplanen, vilket talar i samma riktning om att tvärsnittsstudier skapar problem i planeringssteget på grund av avsaknaden av referensvärden vid planeringen av projektet. Det kan alltså även enligt Länsstyrelsen (2015) finnas svårigheter att planera inför effektutvärderingar utan referensvärden att utgå ifrån. Tvärsnittsstudier kan därför även komma att behöva kompletteras med före-mätningar (som är en referensmätning vid en före- och efterstudie) för att på ett bra sätt kunna planera projekten, alternativt att målen eventuellt formuleras och uttryckas på sätt som inte kräver ett referensvärde.

7.2

Metod

Metodprocessen som i detta arbete användes gick i grunden ut på att först genomföra en litteraturstudie, sedan en nulägesanalys för att därefter analysera de båda, bygga ett exempel utifrån resultatet och slutligen genom en diskussion komma fram till slutsatser.