Bengtson et al. (2012) anger att en viktig del för ett utvärderingsarbete är att genomföra en referensmätning för att kunna göra en bedömning av utfallet. Vidare anger Bengtson et al. (2012) att detta kan ske antingen med en nollmätning i en före- och efterstudie eller med en kontrollgrupp i en tvärsnittsstudie. Vid granskning av hur fallorganisationen förhåller sig till en nulägesanalys i den meningen att det innebär en del av antingen en före- och efterstudie eller en tvärsnittsstudie anses det inte ske på ett homogent och strukturerat sätt för alla projekt inom Regional utveckling på fallföretaget.
Det innebär att den så kallade nulägesanalysen i vissa fall inte genomförs alls och i andra fall genomförs på olika sätt och inte nödvändigtvis med syftet att mätas för att göra en samlad bedömning av det hela projektet. I ett fall genomförs exempelvis en referensmätning som en del av en före- och efterstudie för de olika aktiviteterna som ingår i projektet och denna granskning av de ingående aktiviteterna i projektet ska på så sätt ge en bild av hela projektets utveckling. En nackdel med detta kan vara att ingen helhetsbild av det hela projektets utveckling fås, utan enbart de ingående
5 ANALYS
aktiviteterna granskas som därefter ska “pussla ihop” en helhetsbild. I samma exempel har en referensmätning för hela projektet enbart genomförts i syfte att genomföra en behovsanalys för att undersöka vilket behov som finns hos målgruppen. I ett annat fall anges att ingen referensmätning genomförts av fallorganisationen (projektledaren) alls och att detta inte heller angetts som någon del av projektet. I ett annat exempel anges att en referensmätning genomförts av fallorganisationens projektledare då de utformade målen varit på för hög nivå i förhållande till vad projektets aktiviteter bedöms kan åstadkomma. I det fallet genomförs en referensmätning i form av en nulägesmätning med syftet att genomföra en benchmarking för att därefter kunna formulera effektmål på en rimlig nivå. Vid undersökning av hur projekten tas fram så framkommer det att projektledaren, i de fallen denna är från fallföretaget, kommer in i bilden först efter att ett projekt med en problemformulering blivit satta. Vid projektstart är alltså målen redan formulerade. Detta blir ett problem i de fallen då projektledaren har en ambition att undersöka utfallet av projekten eftersom målen då kan vara satta på en alldeles för hög nivå med ett för stort avstånd från det faktiska projektet. Arbetet med målformuleringen har då gjorts om på nytt för att skapa mål som är möjliga att mäta och är satta på en relevant nivå för projektet och dess aktiviteter och målgrupp. Detta har genomförts i samband med projektstart, vilket till följd av omformulering av mål fördröjer det faktiska projektets aktiviteter och tar upp tid från den inplanerade projekttiden.
Det finns en blandad mening huruvida en referensmätning faktiskt genomförs eller ej i samband med projektstart och vad en sådan referensmätning innebär. Utifrån de olika åsikterna dras slutsatser att det inte finns någon gemensam struktur eller tillvägagångssätt för någon referensmätning för projekten som innebär antingen en del av en före- och efterstudie eller en tvärsnittsstudie. Detta är förvisso inte konstigt då fallorganisationen enligt tidigare analys inte heller tidigare har arbetat med effektutvärdering av enskilda avslutade projekt.
Bengtson et al. (2012) presenterar de två utvärderingsdesignerna före- och efterstudie samt tvärsnittsstudie som två möjliga alternativ för en effektutvärdering. I nulägesbeskrivningen framkommer att fallorganisationen accepterar båda utvärderingsdesignerna, men att de kan vara bättre eller sämre för olika projekt. Exempelvis kan en tvärsnittsstudie passa bättre i de fall då urvalet för målgruppen, det vill säga projektdeltagarna, inte är bestämda ännu vid projektstart, utan träder fram under projekttiden. En tvärsnittsstudie kan även vara lämplig i de fall då en effektutvärdering efterfrågas eller är önskvärd efter att projektets aktiviteter redan är påbörjade. När det kommer till att mäta förändring hos en grupp människor, som exempelvis beteendeförändring, anses en före- och efterstudie mer lämplig eftersom tiden är en påverkande faktor för att en individuell förändring ska kunna ske. Detta är någonting som även har identifierats i teorikapitlet som berättar att flera identifierade effektutvärderingsrapporter med syftet att mäta beteendeförändring har
5 ANALYS
använt utvärderingsdesignen före- och efterstudie (Zorowka & Weichbold 2003; Zorowka & Weichbold 2007; Folmer et al. 2007; Leishman et al. 2013).
5.5.1
Förbättringsförslag till de identifierade problemen
Ingen gemensam regel finns för att genomföra en referensmätning som en del av en före- och efterstudie eller en tvärsnittsstudie.
Ett förbättringsförslag till detta identifierade problem är att införa en standard för projekt som ska effektutvärderas att genomföra en referensmätning som en del av en före- och efterstudie eller en tvärsnittsstudie. Detta för att kunna undersöka om en förändring har uppstått. Vid ett effektutvärderingsarbete rekommenderas alltså inte att enbart en mätning på enbart målgruppen en tid efter avslutat projekt genomförs då en jämförelse inte anses kunna genomföras då. Användandet av en för- och efterstudie eller tvärsnittsstudie i ett effektutvärderingsarbete är något som teorin förselår (Bengtson et al. 2012; (Zorowka & Weichbold 2003; Zorowka & Weichbold 2007; Folmer et al. 2007; Leishman et al. 2013). Problem med före- och efterstudie: vet inte alltid på förhand vilket urvalet för målgruppen är och vilka som kommer direkt delta i projektet.
I de fallen då detta problem uppstår föreslås att en tvärsnittsstudie används istället för att på så sätt bedöma effekten av ett projekt.