Den framtagna guiden var till största del baserad på litteraturstudien. Fallorganisationen inkluderades genom intervjuer och dokument för att få en förståelse för hur de förhåller sig till det som teorin föreslår för guiden. Vidare framkom det från intervjuerna ingen information som ledde till att guiden enligt examensarbetesförfattarna behövde avvika från det som teorin föreslår. Det fanns exempelvis en delad mening huruvida SMARTa mål är någonting som bör inkluderas eller införas som en standard och är nödvändigt för fallorganisationens arbete i projekten. Trots den delade åsikten valdes SMARTa mål att inkluderas i guiden eftersom litteraturen på flera ställen anger att detta är någonting nödvändigt för en effektutvärdering. Ett annat exempel är att det i nulägesbeskrivningen framkom att det fanns visst tvivel mot utvärderingsdesignen tvärsnittsstudie. Trots detta inkluderades tvärsnittsstudien som ett möjligt alternativ i guiden då exempel från verkligheten föreslår detta. Emellertid innebär det i sin tur att en egen bedömning görs vid framtida effektutvärderingsarbeten och att utvärderare då har möjligheten att välja den andra utvärderingsdesignen om det så önskas eller anses som lämpligast. Att båda
7 DISKUSSION
utvärderingsdesignerna presenteras som möjliga alternativ hindrar alltså inte från att bara använda sig av den ena designen i alla framtida effektutvärderingsarbeten om det bedöms vara mest lämpligt i de fallen. Om guiden hade formats efter fallorganisationens åsikter, genom att exempelvis inte inkludera användandet av SMARTa mål i guiden, så hade risk för spekulation i guiden uppstått. Detta skulle i sin tur leda till en mindre trovärdig guide just på grund av att den då skulle vara baserad på spekulativa åsikter som inte har sin grund i beprövad erfarenhet av just effektutvärdering av projekt inom fallorganisationen. För att så gått det går uppfylla den del av syftet som innebär att guiden ska vara anpassad efter projekt inom fallorganisationen gjordes två saker. Det första var att identifiera problem i fallorganisationen gentemot den litteraturbaserade guiden och därefter framföra förbättringsförslag gällande det som saknas. På så sätt fick fallorganisationen ett stöd till vad som saknas och bör genomföras för att kunna uppfylla guiden. Det andra var att ett utvärderingsexempel togs fram som var baserat på ett verkligt projekt inom fallorganisationen och detta exempel kontrollerades därefter av fallorganisationen för att granska hur realistiskt detta fiktiva exempel var och hur möjligt det hade varit att genomföra i verkligheten. Om det hade funnits något i guiden som inte alls hade fungerat ihop med fallorganisationen så hade eventuellt detta moment kunnat avlägsnas. Men detta problem uppstod inte i det här fallet och inget större ställningstagande behövde tas för att avlägsna någon del av guiden.
Studiens generaliserbarhet inom organisationen kan bedömas vara god då respondenter från fler än en avdelning och från fler än en arbetsroll intervjuades. Baserat på likheter och skillnader mellan svaren som framkom kunde en övergripande bedömning göras av hur organisationen som helhet ser ut. Det finns emellertid olikheter i hur organisationen arbetar och det är troligt att det i avdelningar som exempelvis intervjuer inte gjorts finns ytterligare arbetssätt som inte framkommit i de intervjuer som är gjorda i detta arbete. Men bedömningen är ändå att studien övergripande är generaliserbar gällande punkterna som tas upp i guiden. Generaliserbarheten utanför organisationen är däremot inget som detta arbete undersökt. Endast Regional utveckling hos Region Jönköpings län har undersökts vilket gör att applicerbarheten inom andra organisationer inom offentlig sektor inte går att veta. Regional utveckling är dock någonting som inte bara Region Jönköpings län arbetar med, och även om detta inte undersökts är det möjligt att denna studie kan appliceras för fler regioner.
RQ1 - Hur beskrivs effektutvärderingsarbete som helhet och med fokus på kund inom offentlig verksamhet i teorin?
RQ1 besvarades i kapitel 2 Teoretisk referensram. För att kunna besvara frågeställningen behövde teorin för begreppen kundfokus och effektutvärdering sättas ihop som ett koncept då det uppstod svårigheter i att hitta teori om detta med exempelvis sökord som
7 DISKUSSION
kundfokuserad effektutvärdering. Detta kan bero på att det kan ses som en självklarhet att en effektutvärdering av ett projekt genomförs på målgruppen och att målgruppen då även självklart är kunden. Det som efterfrågades vid litteraturstudien var hur kunden inkluderas i en effektutvärdering, då kunden i detta arbete är medborgarna sett ur perspektivet en offentlig verksamhet som en region. I litteraturstudien hittades att projekt kan utvärderas genom olika framgångsdimensioner, exempelvis ekonomisk framgång eller nöjdhet hos anställda. Det innebär alltså att en effektutvärdering inte alltid behöver utgå från kunden, utan framgången i ett projekt kan mätas ur andra perspektiv också. En av de identifierade dimensionerna var påverkan på kund som mäts kort tid efter projektavslut. Det var med hjälp av denna teori som det valdes att gå vidare med att effektutvärdera på kort sikt och mer specifikt genom att mäta på beteendet. Vidare stöddes detta beslut av funnen teori som säger att för att kunna mäta effekten av ett enskilt projekt bör effekten på kort sikt mätas och då på den direkta målgruppen för projektet (Skolverket 2017; Ekonomistyrningsverket 2016; Länsstyrelsen 2015). Beslutet stöddes även av examensarbetets syfte som är inriktat mot effektutvärdering av enskilda projekt och inte fallorganisationens arbete som helhet. Vidare uppstod även en diskussion under arbetets gång kring vad som menas med begreppet kund och hur detta skiljer sig från begreppet målgrupp. Lindgren (2014) menar att målgruppen inom företag benämns som kunden och att de inom offentlig verksamhet benämns som medborgare. Utifrån denna teori kan alltså medborgarna, som är målgruppen i offentlig verksamhet, ses som kunderna också. Vidare är enligt Bergman & Klefsjö (2016) kunden den som organisationen vill skapa värde för. Men detta innebär att det inte bara är medborgarna som är kunderna eftersom andra aktörer som exempelvis privata företag och kommuner också kan gynnas av projekten som genomförs av fallorganisationen. Begreppet kund har i litteraturstudien och i resterande delar av rapporten varit den direkta målgruppen för projekten, vilket för projekten kan vara både enskilda personer eller medborgare, men även organisationer och företag.
Någonting som teorin lyfter från flera källor när det kommer till effektutvärdering är vikten av målformuleringen och att det för ett lyckat utvärderingsarbete behövs SMARTa mål för att på så sätt kunna mäta utvecklingen genom referensmätningar och effektmätningar (Edström et al. 2008; Länsstyrelsen 2015; Västra Götalandsregionen 2017a; Bengtson et al. 2012). Detta är någonting som gör arbetet med effektutvärdering väldigt framtungt eftersom SMARTa mål kräver egna mätningar i form av referensmätningar. I sin tur kräver referensmätningar att det är känt vilka som kommer att delta direkt i projektet och vara den direkta målgruppen för att kunna sätta referensvärden för effektmålen på kort sikt, det vill säga beteendemålen. Detta öppnar i sin tur upp för en diskussion om när själva referensmätningen bör ske. I guiden presenteras referensmätningen som en del av projektet och är inkluderat i projekttiden. Vid kontroll av exemplet framkom det däremot en åsikt om att referensmätningen bör ske innan projektet startar, som en del av en förstudie.
7 DISKUSSION
Detta är förståeligt då man först genom en sådan förstudie kan veta om den grupp som mätningarna sker på faktiskt upplever ett problem och att det faktiskt finns ett behov av att förändra.
RQ2 - Hur arbetar fallorganisationen med framtagning, målbeskrivning och utvärdering av projekt i dagsläget?
RQ2 besvarades i kapitel 4 Nulägesbeskrivning. Där framkommer att det finns en gemensam bild att de inom fallorganisationen vill ha en struktur för effektutvärdering av projekt. Det framkommer även att det för vissa projekt genomförs på eget initiativ av projektledare men att det fortfarande är i mycket tidigt stadie. Det har därav inte tidigare genomförts på ett fullständigt vis på ett avslutat projekt. Framtagning av projekt kan beskrivas som en iterativ process där ansökande och finansiär kontinuerligt för en dialog för att forma ett projektförslag som är i enlighet med den regionala utvecklingsstrategin och kan få finansiering. Detta kan vara en komplex process eftersom flera finansiärer kan vara med och påverka och ha egna krav på projektbeställaren. Vidare är inte personen som leder projektet alltid en projektledare från fallorganisationen, utan det kan vara någon annan trots att fallorganisationen är med och finansierar projektet. Med tanke på detta kan det därför vara enklast för fallorganisationen att börja med att effektutvärdera projekt som de själva är projektbeställare för och leder. På så sätt behöver möjligen fallorganisationen inte heller förhålla sig till andra aktörers inflytande och de kan styra det arbetet själva. Målbeskrivningen formuleras under tiden som projekten tas fram och det görs inte nödvändigtvis enligt SMART-principerna, vilket det inte heller finns någon policy för. Projektbeställare motiverar då att det finns ett behov av projektet genom någon form av behovsanalys. Utifrån nulägesbeskrivningen görs tolkningen att denna behovsanalys inte är någon referensmätning i den meningen att den mäter ett nuläge för ett formulerat mål. Att målbeskrivningen formuleras under tiden som projekten tas fram innebär alltså att projektledaren som senare ska leda projektet inte nödvändigtvis är med i denna process. En nackdel med detta är att det då kan vara svårt för projektledaren att sätta sig in i målen och försöka formulera om dessa till SMARTa mål ifall projektet skulle vara av intresse att effektutvärderas. Det skulle därför vara fördelaktigt om projektledaren också är inkluderad redan under projektframtagningen och för att formulera mål som kan effektutvärderas.
I dagsläget utvärderar fallorganisationen projekt i samband med projektavslut i den meningen att de undersöker om de inplanerade aktiviteterna har genomförts eller ej. Det skrivs även lägesrapporter där genomförda aktiviteter dokumenteras. Vid undersökning om det genomförs någon utvärdering framstod det då till en början vid granskning av dokument som att de inom fallorganisationen gör detta. I dessa dokument identifierades att svar på frågorna “Har projektets mål uppnåtts? Beskriv hur, eller om inte, beskriv varför?”
7 DISKUSSION
ska besvaras i slutrapporten för ett projekt som finansieras med regionala utvecklingsmedel enligt Region Jönlöpings län (2021). Men detta specificerar inte vilket mål som det syftas på. Med tanke på att denna fråga ska besvaras i samband med projektavslut drogs slutsatsen att det mest troligtvis inte handlar om effektmål, utan snarare om projektmål. Detta bekräftades senare genom att det från intervjuerna framkom att fallorganisationen inte arbetar med effektutvärdering av projekt enligt en standard.
RQ3 - Hur kan effektutvärdering av projekt inom fallorganisationen genomföras med kundfokuserad datainsamling som huvudfokus?
RQ3 besvarades i kapitel 5 Analys samt kapitel 6 Test. I analysen presenterades guiden samt vilka problem som identifierats hos fallorganisationen i relation till guiden. Förbättringsförslagen som också presenterades i analysen var till stor del att införa de moment som saknas inom fallorganisationen enligt guiden. På så sätt är förbättringsförslagen i kombination med guiden ett sätt för fallorganisationen att komma närmare effektutvärdering av enskilda projekt och det ger även svar på frågeställningen om hur effektutvärdering av projekt inom fallorganisationen kan genomföras med kundfokuserad datainsamling som huvudfokus. Testet var ett komplement till detta för att undersöka hur realiserbart ett effektutvärderingsarbete är om fallorganisationen följer denna guide.
En svårighet mellan teori och verklighet att effektutvärdering av projekt i teorin presenteras i steg som sker i kronologisk ordning och därför kan tänkas vara någonting väldigt simpelt och en självklarhet. Men i verkligheten, som inom en offentlig verksamhet, verkar det inte lika enkelt eftersom flera aktörer kan vara inblandade och beslut från olika håll behöver göras. Ett exempel på detta som även tidigare diskuterats (i kapitel 6 Test och kapitel 7.1 Hur man kommer närmare kunderna genom kundfokuserad effektutvärdering) är frågan om när en referensmätning bör genomföras för att formulera SMARTa mål. Enligt guiden genomförs först en projektplan samt en utvärderingsplan innan projektet påbörjas. Därefter är ett första steg att genomföra en referensmätning om utvärderingsdesignen som valts är före- och efterstudie. Problemet som uppstår då är att målen i projektplanen då inte kan formuleras enligt SMART-principen fullständigt eftersom en referensmätning inte genomförts ännu, och detta eftersom projektet inte ännu påbörjats.
Vid kontroll av exemplet framkom det då en åsikt om att referensmätningen bör ske innan projektet, som en del av en förstudie. Om en förstudie då ska krävas för alla projekt kan det leda till att organisationer känner sig mindre motiverade till att ens ansöka om projektmedel om förstudien innebär ett omfattande arbete. Detta eftersom en projektansökan kan vara tidskrävande och att behöva genomföra två projektansökningar, det vill säga en till förstudien och en till projektet efteråt, ökar förmodligen inte motivationen utan snarare riskerar att minska motivationen hos projektbeställare.
7 DISKUSSION