Nedan presenteras en sammanfattad guide för effektutvärdering av projekt inom fallorganisationen som sammanställs främst utifrån litteraturstudien, men även nulägesanalysen. Guiden presenteras genom de tre huvudstegen projektplan, utvärderingsplan samt presentation.
Projektplan Projektplanen innehåller information om: 1. Vad som ska göras: beskrivning av projektet och syftet.
2. Vem som ska genomföra: huvudansvarig för projektet och deltagare. 3. När det ska genomföras: tidsplan.
4. Resursbehov: finansiering i projektet.
I projektplanen görs en sammanställning av vilka mål som ska uppnås samt hur de ska uppnås med vilka aktiviteter som ska ingå i projektet för att nå målen. Vilka resurser som krävs för att kunna genomföra aktiviteterna diskuteras också. Det är även viktigt att målgruppen, utvärderingsbara mål och välvalda indikatorer presenteras tydligt för att senare kunna visa på resultat och effekter.
Projektplanen formuleras innan projektstart och formuleras tillsammans med projektledaren som även ska effektutvärdera projektet. I projektplanen formuleras mål på olika nivå: ett övergripande mål, delmål med olika tidsperspektiv samt projektmål. Delmålen är effektmålen och dessa är formulerade enligt SMART-principen. Effektmålen som formuleras är på kort, medel, och lång sikt, där effektmålet på kort sikt är formulerat som ett beteendemål. Beteendemålet innebär ett mål för hur den direkta målgruppen för projektet ska vilja ändra sin inställning, eller faktiskt ändrar sin inställning till följd av projektet, vilket är det huvudsakliga målet som mäts i denna guide för att undersöka utfallet av ett enskilt projekt. Ett exempel på detta presenteras nedan ihop med tillhörande indikator.
• Beteendemål: Andelen företag som ser möjligheterna att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering har ökat med 50%, till XX% företag, år 2021 i jämförelse med YY% företag år 2019
• Indikator: Andelen företag som ser möjligheterna att anställa nyanlända och EU- medborgare.
Effektmålen som formuleras enligt SMART-principen formuleras på ett preliminärt vis i projektplanen med XX för referens-värdet samt YY för målvärdet som exemplet ovan
5 ANALYS
visar. De SMARTa målen formuleras preliminärt då referensvärdet tas fram i samband med referensmätningen för målet, som sker under projekttiden och har en avsatt tid för detta i tidplanen.
I tidplanen för projektet inkluderas även tid för effektutvärderingen. Det innebär att tidplanen innehåller ett start- och slutdatum för projektet men även ett start- och slutdatum för arbetet med effektutvärderingen som sker en tid efter projektets avslut. Detta arbete innefattar huvudsakligen effektmätningen samt sammanställning av resultatet från hela effektutvärderingsarbetet där resultatet från referensmätningen och effektmätningen jämförs och en bedömning av måluppfyllelsen görs.
När det kommer till finansieringen i projektet inkluderar denna även finansieringen för effektutvärderingsarbetet som krävs, vilket i huvudsak är finansiering av personal (utvärderade) för den tiden som effektutvärderingen tar, utöver den tid som är inplanerad
under projekttiden.
Utvärderingsplan En effektutvärdering av ett projekt är en granskning för hur väl uppsatta effektmål överensstämmer med verkligheten. Man bör planera inför effektutvärderingar genom att bestämma vad, vem, när och hur mätningar av effekter ska se ut.
Det som ska mätas för fallorganisationen är i första hand kortsiktiga beteendeindikatorer. Vilka beteendeindikatorer som ska användas bestäms redan under utvärderingsplanen. Indikatorerna ska vara SMARTa, kopplade till de kortsiktiga effektmålen och deras utgångsvärde behöver fastställas vid utvärderingsplanen.
Vem som ska genomföra effektutvärderingen är även något som ska bestämmas i utvärderingsplanen. För projekt som drivs utav fallorganisationen själva rekommenderas att projektledaren åtminstone är delaktig i effektutvärderingen, då effektutvärderingen kan ge värdefull information för att kunna starta ett nytt projekt till följd av det gamla. När mätningar till effektutvärderingen ska genomföras beror på vilken utvärderingsdesign som vill användas. Två lämpliga utvärderingsdesigner att använda sig av är tvärsnittsstudie eller före- och efterstudie. Tvärsnittsstudier genomförs genom att mätningar görs dels på ett urval som tagit del av projektet eller aktiviteter, och dels på ett urval av en kontrollgrupp som inte tagit del av projektet eller aktiviteter från projektet. För mätningar av kortsiktiga beteendeförändringar genomförs mätningarna inom tre till tolv månader efter avslutat projekt parallellt med varandra.
Före- och efterstudier genomförs genom att mäta beteende på samma urval från målgruppen både före och efter projektet genomförs. Effektmätningen sker förslagsvis
5 ANALYS
inom tre och tolv månader efter avslutat projekt.
Förändringen i beteende mellan effektmätningen och referensmätningen i de två olika utvärderingsdesignerna är sedan det som mäts för att bedöma om en förändring skett hos målgruppen.
Hur mätningarna genomförs bestäms även det i utvärderingsplanen. För att mäta beteende rekommenderas att de två datainsamlingsmetoderna enkäter och intervjuer används. Enkäter används för att ge mätbara kvantitativa data som går att koppla till beteendemålen och beteendeindikatorerna. Beteendefrågor kan besvaras med ja eller nej svar, men mer vanligt är att de besvaras i en frekvensskala med antingen subjektiva svar (exempelvis mycket ofta, ganska ofta, ganska sällan och mycket sällan) eller objektiva svar (exempelvis aldrig, 1-2 gånger, 3-4 gånger, 5 eller fler gånger).
Exempel på beteendefrågor som kan ställas är:
Inom de senaste sex månaderna har jag använt öronproppar med svarsalternativen aldrig, ibland, ofta.
Ungefär hur många timmar i veckan lyssnar du på musik? med svarsalternativen mindre än 2, 2-5, 6-8, 9-12, mer än 12.
För att få en djupare förståelse kring beteende inom en målgrupp rekommenderas även intervjuer användas som komplement till enkätundersökningarna. Intervjuerna kan användas för att veta vad för något, hur, och varför ett beteende förändrats eller inte förändrats.
Presentation När referens- och effektmätningarna är genomförda är det även viktigt att resultatet av dessa går att ses övergripande. Resultatet från enkäter bör därför presenteras i form av till exempel tabeller eller grafiskt i diagram. Resultat från intervjuer skrivs förslagsvis i flytande text eller på det sättet som utvärderaren finner är mest lämpligt. En utvärderingsrapport skrivs även förslagsvis för att ta kunna sprida resultatet om utvärderingen.
6 TEST
6
Test
I följande kapitel presenteras ett test som genomförs bestående av ett effektutvärderingsexempel som presenteras i det första avsnittet och en kontroll av effektutvärderingsexemplet genom analys och diskussion.
6.1
Effektutvärderingsexempel
Nedan presenteras ett exempel på ett fiktivt effektutvärderingsarbete av det verkliga projektet Integration och kompetensförsörjning i Jönköpings län, även kallat fallprojektet. Nedanstående information och data är därmed till stor del fiktiv och genererad av examensarbetesförfattarna för detta effektutvärderingsexempel i syfte att kunna testa och visualisera stegen i ett effektutvärderingsarbete. Däremot har temat och vissa delar av testet sin grund i det verkliga fallprojektet.
Projektet Integration och kompetensförsörjning i Jönköpings län är ett verkligt projekt genomfört av Region Jönköpings län och presenteras även i tidigare avsnitt i rapporten, 4.3 Fallprojekt. Projekt är avslutat och det har inte genomförts någon effektutvärdering av detta av fallorganisationen. Syftet med detta framtagna exempel är att förstå hur ett effektutvärderingsarbete kan gå till för ett sådant projekt inom fallorganisationen. Exemplet är framtaget utifrån den guide som tidigare presenteras i avsnitt 5.7 Guide. Syftet med detta exempel är även att vidare undersöka den framtagna guiden för att förstå hur realiserbar den är för fallorganisationen. Denna diskussion presenteras också senare i avsnitt 6.2 Analys och diskussion av exempel och är en kombination av både analys av information från feedback av fallorganisationen (som tillhandahölls genom en intervju) och diskussion innehållande teori och examensarbetesförfattarnas egna tankar. Ingen verklig effektutvärdering har därav gjorts på fallprojektet i detta test, utan endast ett exempel på hur ett effektutvärderingsarbete skulle kunna gå till har utformats med tillagd fiktiv data. Detta, för att testa den framtagna guiden och för att kunna visualisera exemplet på ett tillfredsställande sätt.
6.1.1
Projektplan
Följande projektplan sammanställs med hjälp av den verkliga projektplanen för fallprojektet, se appendix A3. Projektplanen är delvis fiktiv där beskrivning, syfte och deltagare i projektet är verkliga.
Vad Beskrivning och syfte:
6 TEST
kompetensförsörjning och handlar om att ta reda på det verkliga kompetensbehovet i länet på kort, medel och lång sikt. Det finns idag svårigheter att förstå vilka behov som finns i näringslivet vilket gör att samarbetet behöver utvecklas. Samarbetet behöver utvecklas för att närmare anpassa utbildningar till att passa behov som näringslivet har och för att utveckla integrationen. En kartläggning av hinder som näringslivet ser gällande anställning av nyanlända och EU-medborgare önskas göras och relationen med näringslivet önskas förbättras för att skapa en mer gemensam bild över vilka som finns i Jönköpings län.
Syftet med projektet är att stärka integrationsperspektivet i det regionala kompetensutvecklingsarbetet.
Målet med projektet presenteras i ett eget avsnitt längre fram. Vem Huvudansvarig och deltagare:
Huvudansvarig för projektet är Region Jönköpings län.
Projektledaren är en anställd projektledare på Region Jönköpings län.
Deltagare i projektet, det vill säga målgruppen, är utbildningsaktörer, näringslivet och myndigheter.
När tidplan:
Tiden för arbetet med effektutvärderingen planeras in ihop med tidplanen för projektet. Referensmätningarna sker som ett första steg, innan projektets andra aktiviteter påbörjas. Arbetet med referensmätningarna föreslås pågå i tre månader och under denna tid delas enkäter ut till målgruppen och datan bearbetas. Effektmätningarna planeras in och inkluderas i tidplanen för projektet sker sex månader projektets avslut. Arbetet med effektmätningarna föreslås pågå i sex månader och under denna tid delas enkäter ut, data bearbetas och analyseras och en slutlig sammanställning av effektutvärderingen genomförs. Resursbehov finansiering:
Finansieringen för projektet inkluderar inte enbart kostnader för exempelvis resor, köp av tjänst och övriga kostnader som för kopiatorer och mobil. Finansieringen för projektet inkluderar även kostnader för effektutvärderingen. Denna inkluderas i det här fallet förslagsvis genom personalkostnaden. Detta, eftersom personalkostnaden för projektet enbart är för en projektledare som är sysselsatt till 100% under projekttiden och det är samma projektledare som ska genomföra effektutvärderingen också. Det innebär alltså att personalkostnaden för en projektledare ska innefatta hela projekttiden men även
6 TEST
de ytterligare sex månaderna då projektledaren arbetar med effektutvärderingen efter projektavslut.
6.1.2
Utvärderingsplan
Följande utvärderingsplan som presenteras är baserad på guiden i detta arbete. Detta exempel är endast en del utav detta fiktiva effektuvärderingsarbet för att visuallisera och testa att ta fram en möjlig utvärderingsplan, då inget effektutverderingsarbete har planerats inför till fallprojektet tidigare av fallorganisationen. Denna utvärderingsplan är ingen plan som är tänkt att utföras utan den finns bara här som ett exempel.
Vad Vilka mätningar som ska genomföras:
Mätningar av beteendeförändringen görs på målgruppen näringsliv. Indikatorn som ska mätas är Andelen företag som ser möjligheterna att anställa nyanlända och EU-medborgare. Indikatorn presenteras även under avsnitt 6.1.3 Mål ihop med tillhörande effektmål på kort sikt, i det här fallet beteendemål.
Vem Vem som ska genomföra mätningarna:
Personen som ska genomföra effektutvärderingen är projektledaren som leder projektet Integration och kompetensförsörjning i Jönköpings län.
När När mätningarna ska genomföras:
Utvärderingsdesignen som väljs för effektutvärderingen är en före- och efterstudie med en referensmätning som genomförs på målgruppen i samband med projektstart samt en effektmätning som genomförs på målgruppen som tagit del av projektet efter projektets avslut.
Genomförandet av referensmätningen sker under de tre första månaderna av projektet. Under den tiden ska enkäterna konstrueras, respondenter att svara på enkäterna ska hittas, enkäterna ska delas ut till de identifierade respondenterna och dessa ska få en månad på sig att svara på enkäten. Sedan ska svaren sammanställas.
Effektmätningen ska ske sex månader efter avslutat projekt och sedan pågå under sex ytterligare kommande månader. Under denna tid ska enkäter delas ut och respondenterna ska få en månad på sig att svara på enkäten. Under denna tid ska även intervjuer konstrueras och genomföras. Informationen från både intervjuerna och enkäterna ska också under denna tid sammanställas till ett presenterbart resultat av beteendeförändringen. Hur Hur mätningarna ska genomföras:
6 TEST
Mätningarna som kommer användas är intervjuer och enkäter. Enkäter först för att samla data till indikatorn för projektets effekter på kort sikt. För effektmätningen efter avslutat projekt sker även intervjuer efter enkätundersökningen för att förstå varför en eventuell beteendeförändring skett eller inte. Enkätundersökningen som görs kommer genomföras på de företag där den sammanställda analysen planeras spridas. Nedan, i figur 6.1, presenteras vilka frågor som kommer ställas i enkätundersökningarna, det vill säga vid referens- och effektmätningen:
Figur 6.1: Frågor som ska ställas i enkätundersökningen för effektutvärderingsarbetet. Fråga 1 ställs inte i referensmätningen.
Samma enkät kommer delas ut vid referens- och effektmätningen med undantag av fråga 1 som inte inkluderas i referensmätningen då rapporten inte ännu är skapad vid det stadiet. Intervjuerna kommer ske på ett mindre urval av respondenter ur målgruppen. Intervjuerna kommer förslagsvis vara semistrukturerade och exempel på frågor som kan ställas är de fölande:
• Har företaget tagit del av rapporten Kompetens och integration? Hur, Varför, Varför inte?
6 TEST
• Har företagets syn på möjligheterna att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering ökat till följd rapporten Kompetens och integration? Hur, Varför, Varför inte?
• Planerar företaget att till följd av projektet anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering till följd rapporten Kompetens och integration? Varför, Varför inte?
• Har företaget till följd av projektet anställt nyanlända och EU-medborgare för att fylla utebliven rekrytering till följd rapporten Kompetens och integration? Varför, Varför inte?
• Till hur stor utsträckning har rapporten Kompetens och integration hjälpt företaget med företagets kompetensförsörjning?
6.1.3
Mål
Nedan presenteras målen för detta exempelprojekt omgjort för att passa den fiktiva effektutvärderingen. I detta fiktiva effektutvärderingsexempel har beteendemålen varit i huvudfokus och är därmed de enda målen med ifylld data i form av specifika referensdata. Referensdata är hämtad från en exemplifierad enkätundersökning med fiktiva svar som följer den och presenteras i nästkommande avsnitt. Det övergripande målet och projektmålet är verkliga men de tre effektmålen som också presenteras nedan är fiktiva.
Övergripande mål: Ta tillvara på all kompetens i länet för att säkerställa en väl fungerande kompetensförsörjning i länet.
Projektmål: En regional kompetensförsörjningsanalys som visar arbetsgivarens behov på kort, medel och lång sikt och hinder att anställa nyanlända och EU-medborgare ska sammanställas till projektavslutet 2021-03-31.
Indikator: Analys som visar på kompetensbehovet i näringslivet och hinder för arbetsgivare att anställa nyanlända och EU-medborgare.
Långsiktiga effektmål: Företagens rekryteringsbehov vad gäller utebliven rekrytering på XX personer år 2019 i Jönköpings län är år 2025 är minskat med 10% till YY personer. Indikator: Företagens rekryteringsbehov vad gäller utebliven rekrytering i antal personer Med utebliven rekrytering menas rekrytering som inte fullbordats på grund av att företagen inte anser att de funnit rätt kompetens för tjänsten.
Effektmål på medellång sikt: Andelen företag som har anställt nyanlända och EU- medborgare för att fylla utebliven rekrytering har ökat med 50%, till ZZ företag, år 2023 i jämförelse med ÅÅ företag år 2019.
6 TEST
Indikator: Andelen företag som har anställt nyanlända och EU-medborgare för att fylla utebliven rekrytering.
Effektmål på kort sikt (beteendemål): Andelen företag som ser möjligheterna att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering har ökat med 50%, till 45% företag, år 2021 i jämförelse med 30% företag år 2019.
Indikator: Andelen företag som ser möjligheterna att anställa nyanlända och EU- medborgare.
De presenterade målen ovan är formulerade enligt SMART-principerna. Alla mål är formulerade på ett specifikt sätt då de är avgränsade till företag i Jönköpings län bland annat. Alla mål är mätbara och det går att göra en bedömning om målet är uppfyllt eller ej. De är accepterade och bedöms vara rimliga. De är även tidsbestämda då de anger när respektive mål ska vara uppfyllt.
6.1.4
Presentation
I följande avsnitt presenteras ett resultat av det fiktiva effektutvärderingsarbetet. Data som används för enkätstudien och presentationsdelen är här helt fiktiva och genereras utav examensarbetesförfattarna för att kunna testa och visualisera hur en insamling och en presentation av data skulle kunna se ut för ett effektutvärderingsarbete. Detta då inget effektutvärderingsarbete har genomförts till fallprojektet tidigare av fallorganisationen. Inget enkätformulär gällande referensmätning eller effektmätning skickas alltså ut för att göra detta test, utan svaren från dessa två mätningar är helt fiktiva.
Nedan, i figur 6.2 presenteras hur många som tagit del av rapporten “Kompetens och integration” vid effektmätningens tidpunkt. Figuren visar att 70% av alla enkäter som delats ut har tagit del av rapporten.
6 TEST
Figur 6.2: Sammanställning av hur många som tagit del av rapporten.
Nedan, i figur 6.3, presenteras en sammanställning av resultatet av den mest centrala frågan (fråga två) Företaget ser möjligheterna att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering från enkätundersökningen. Figuren visar svaren på frågan både vid referensmätningen och vid effektmätningen.
Figur 6.3: Svar på frågan Företaget ser möjligheterna att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering från både referensmätningen och effektmätningen.
Nedan, i figur 6.4, presenteras andelen företag som ser möjligheterna att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering före och efter projektet. Figuren visar alltså en sammanställning av samma fråga som föregående figur, figur 6.3. Svaren av grad fyra och fem på skalan för frågan har sammanklustrats då de svaren bedöms som att respondenten i någon mån ser möjligheten att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering före och efter projektet. Figuren visar att 30 % av företagen
6 TEST
ser möjligheten att anställa nyanlända och EU-medborgare vid referensmätningen och 67 % vid effektmätningen.
Figur 6.4: Visar andelen företag som ser möjligheterna att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering
Effektmålet på kort sikt för projektet är det följande: Andelen företag som ser möjligheterna att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering har ökat med 50%, till 46% företag, år 2021 i jämförelse med 30% företag år 2019.
Utifrån figur 6.4 ovan dras i detta fiktiva effektutvärderingsexempel slutsatsen att projektets effektmål på kort sikt (beteendemål) har uppnåtts då andelen företag som ser möjligheterna att anställa nyanlända och EU-medborgare för att fylla utebliven rekrytering har ökat med mer än 50%.
En mer djupgående analys till varför denna effekt uppnåtts förklaras med hjälp av intervjuerna. Detta är inte någonting som presenteras i det här exemplet då det bedöms vara svårt att sammanställa en fiktiv men ändå realistisk förklaring till varför och det bedöms inte vara nödvändigt för exemplets syfte.