Villkor för finansiering

För att få finansiering av Region Jönköpings län finns det även flera villkor som projektet ska förhålla sig till. Ett centralt villkor är att det ska vara i enlighet med den regionala utvecklingsstrategin. Ett annat villkor är att projektet ska ge en effekt över hela det geografiska området Jönköpings län. Det är därför fördelaktigt om det omfattar hela regionen eller flera kommuner men det betyder till exempel samtidigt inte att enskilda kommuner inte kan söka och få stöd. Ett annat villkor är att det ska finnas en tydlig plan som sträcker sig över hela projektperioden för hur uppföljning, utvärdering och lärande ska gå till.

Vilken roll som regionen har i det bekräftade projektet varierar från projekt till projekt. Representanter från regionen kan exempelvis ha rollen som finansiär, projektledare, projektägare, eller styrgruppsmedlem.

I samband med utbetalning sker en projektuppföljning i form av lägesrapport och slutrapport som redovisas till regionen. I lägesrapporten ska man koppla de kostnader som ingår i ansökan om utbetalning till projektets genomförda aktiviteter. Direkt eller kort efter ett avslutat projekt sker, i samband med ansökan om slutbetalning, en uppföljning i form av en slutrapport där diverse frågor gällande hela projektets genomförande ska besvaras. I slutraporten besvaras frågor om bland annat projektets syfte, mål och budget. Region Jönköpings län jobbar i nuläget inte med någon strukturerad resultatuppföljning av avslutade projekt i form av mätning av effekter som är direkt kopplade till projekten.

4 RESULTAT - NULÄGESBESKRIVNING

Kontroll av utvecklingen i det geografiska området Jönköpings län görs med hjälp av indikatorer som är kopplade till målen i den regionala Utvecklingsstrategin. Informationen om nyckeltalen samlas in från olika källor som exempelvis Kolada, SCB och Tillväxtverket. Exempel på ett nyckeltal som är kopplat till målet att bekämpa klimatförändringarna är mängden utsläpp till luft i regionen av växthusgaser i ton CO2 ekv/inv.

4.2

Effektutvärdering

Nedan presenteras nuläget på Region Jönköpings län, i verksamhetsområdet Regional utveckling, vad gäller effektutvärderingens olika moment.

4.2.1

Projektplan

Inför ett projekt finns en utformad projektplan som sammanställs av projektägaren (det vill säga beställaren) som kan vara antingen en utomstående organisation eller den egna fallorganisationen. Gemensamt för en projektplan är att den innehåller information om vad som ska göras med utformade aktiviteter och mål samt en tidsplan för när aktiviteterna ska genomföras. Vidare innehåller projektplanen även information om hur projektet och dess aktiviteter ska finansieras samt vem som ska genomföra aktiviteterna.

Projektplanen för fallprojektet “integration och kompetensförsörjning inom Jönköpings län” presenteras i appendix A3.1 med bland annat bakgrundsinformation om projektet, syfte och mål, en tidplan och information om ekonomin för projektet.

4.2.2

Utvärderingsplan

Fallorganisationen har i nuläget inte genomfört någon effektutvärdering där enskilda projekt utvärderas en tid efter projektavslut, det vill säga att effekter (långsiktiga mål) mäts en tid efter avslutat projekt. Utvärdering sker enbart under projekttiden och i samband med projektavslut där en kontroll av de genomförda aktiviteterna och finansieringen i projektet genomförs. Kontrollen av de genomförda aktiviteterna innebär ofta att det kontrolleras om de inplanerade aktiviteterna har genomförts. I vissa fall däremot har kontrollen inneburit att effekterna av aktiviteterna i projekten har mätts.

Det finns en ambition att effektutvärdera de enskilda projekten och fallorganisationen har en positiv inställning till detta. Det är av intresse att ta reda på om projekten bidrar till en skillnad i samhället samt om utfallet och påverkan på målgruppen hade varit densamma utan projektet, om projektet inte hade ägt rum alls. Vidare anses även att fördelen med att effektutvärdera är att man på så sätt kan göra en bedömning för vilka framtida projekt som bör genomföras samt om skattepengarna har använts på ett bra sätt som gynnar många. Särskilt för de egna projekten, där fallorganisationen är projektbeställare, lyfts en

4 RESULTAT - NULÄGESBESKRIVNING

vilja att ta fram en strategi för hur dessa ska effektutvärderas då de egna projekten styrs av fallorganisationen själva och därmed anses vara enklare att styra. En stor fördel med att effektutvärdera projekt är alltså att det är ett verktyg för fallorganisationen att göra rätt saker på rätt sätt, vilket i sin tur skapar attraktivitet i länet och gör att människor vill leva där.

Det finns olika svårigheter med att effektutvärdera enskilda projekt. En svårighet är att fallorganisationen i sin helhet arbetar mot övergripande, breda mål mot den regionala utvecklingsstrategin. När man vill ta reda på ifall de enskilda projekten gör någon verklig skillnad anses det då vara svårt att isolera effekten till ett enskilt projekt i förhållande till andra parametrar som kan påverka eller vara inblandade. En svårighet är alltså att målen sätts på en för hög nivå på för lång sikt som inte är kopplade till projekten, att glappet mellan det man vill uppnå och hur man ska uppnå detta är för stort, vilket i sin tur gör det svårt att bedöma effekten av det enskilda projektet.

Vidare uttrycks andra svårigheter som är kopplade till att en del av arbetet med effektutvärdering tar plats efter avslutat projekt. En av dessa är att finansieringen för ett projekt i nuläget på fallorganisationen gäller fram till projektavslutet och att den därför inte inkluderar några delar efter att projektet har avslutats, det vill säga efter att de inplanerade aktiviteterna har genomförts. En annan svårighet som är kopplad till detta är att kompetensen i projekten är väldigt bundna till personerna som driver projekten vilket gör att denna kompetens försvinner från organisationen efter projektavslut om denna varit en person utanför den egna organisationen.

4.2.3

Mål

Inom organisationen ser arbetet lite olika ut kring hur och vad man använder sig av för mål. I dagsläget används ingen specifik metodik för målframtagningsprocessen, men en metodik för målframtagningsprocessen är något överlag som organisationen skulle uppskatta då det skulle skapa struktur. Ett problem som kan uppstå vid användandet av entydiga metodologier kan dock bli vid samarbete med flera andra finansiärer som även de kan ha egna metodologier. I de lägena riskerar det att bli krockar i hur målen ska vara formulerade med utökad kanske till och med övermäktig administration för att formulera målen sådant så att alla finansiärer är nöjda med dem.

För målformulering gäller det generellt att ett projekt ska ha ett övergripande mål, ett projektmål samt delmål. Det övergripande målet ska helst vara formulerat i en enda mening och ska fungera som inspiration och vägledning i projektarbetet och behöver inte gå att mäta. Projektmålet ska också helst formuleras i en enda mening. Det ska visa vilket syfte eller vilken huvudriktning projektet har och ska beskriva vad projektet levererar när det avslutas. Projektmålet ska till skillnad från det övergripande målet vara mätbart.

4 RESULTAT - NULÄGESBESKRIVNING

Ett projekt kan ha flera delmål där aktiviteterna som görs ska leda till att delmålen nås. Delmålen ska även vara mätbara, men kan ha olika tidsperspektiv för när de ska nås. Vid ett stort antal delmål kan det vara rimligt att dela upp projektet i delprojekt.

För principerna SMARTa mål finns idag ingen gemensam policy där SMARTa mål ska användas. SMARTa mål används för vissa enskilda projekt men då främst på egna initiativ. Det finns flera fördelar med SMARTa mål som belyses av organisationen. Mätbarheten och tydligheten hos SMARTa mål ses som en tydlig fördel. Utvärderingsbarheten av projekt vars målbeskrivning är av SMART-principer ses också som en fördel med SMARTa mål. Även om SMARTa mål har sina fördelar så kan det finnas svårigheter med att använda dem. Svårigheter med SMARTa mål kan vara omvandlandet av kvalitativa mål till mål som är SMARTa och mätbara. Vid eventuell implementering av SMARTa mål som standard anses det i vissa fall vara onödigt att påtvinga projektens mål att skrivas på detta sätt. Projektbeställarna kan anses redan ha en väl fungerande metodologi för målsättningen till de enskilda projekten. Och då behöver dessa inte alltid formuleras om av fallorganisationen. Detta handlar alltså om de fall då projektbeställarna är externa aktörer och inte då projektbeställaren är intern, det vill säga fallorganisationen.

Indikatorer är något som används inom Region Jönköpings län. Men arbetet kring dem och vad de innehåller för informationen kan variera. Ofta är de främst kopplade till aktiviteter och projektmål, men kanske inte fullt ut så mycket effektmål, även om detta är något som till viss del görs också. Organisationen är positivt ställda till indikatorer och de ses som mycket viktiga om man vill mäta och kunna uttala sig om effekterna av ett projekt. Något som lyfts som kanske skulle vara ännu mer uppskattat är ifall indikatorerna och de långsiktiga effektmålen som görs inte bara görs för att användas för ett individuellt projekt, utan att de görs för att kunna kopplas ihop flera projekt.

Gällande nedbrytning av mål i dagsläget så bryts inte långsiktiga effektmål ner till kortsiktiga effektmål på alla de enskilda projekten även om det görs på vissa projekt. Beteendemål eller mål som går ut på att ändra beteenden hos en målgrupp är något som idag används inom organisationen till viss del. I projekt där projektet går ut på att ändra beteenden kan beteendemål idag användas. För projekt som inte handlar om beteendeförändring verkar beteendemål inte sättas. Begreppet attitydförändring är en annan förändring hos personer som verkar vara mer känt inom organisationen.

Gällande hinder för att använda sig av beteendemål så ses överlag inga större hinder för att använda sig av dessa. Om man t.ex. har projekt som handlar om beteendeförändring får man använda sig av beteendemål.

4 RESULTAT - NULÄGESBESKRIVNING

För att få en inblick i hur målen ser ut i verkligheten granskas här mål och indikatorer från fallprojektet från Region Jönköpings län där ett mål kan utläsas, se appendix A3. Målet är som följer:

• “En regional kompetensförsörjningsanalys som visar arbetsgivarens behov på kort, medel och lång sikt och hinder att anställa nyanlända och EU-medborgare är gjord.” I samma projekt används följande två indikatorer för att följa projektet:

• “1st analys som visar på kompetensbehovet i näringslivet och hinder för arbetsgivare att anställa nyanlända och EU-medborgare.”

• “Insatser och aktiviteter är skapade utifrån analysen som visar på kompetensbehovet i näringslivet och hinder för arbetsgivare att anställa nyanlända och EU-medborgare.” En annan svårighet som uttrycks när det kommer till effektmätning och målformulering är hur fallorganisationen kan veta att ett mål som sätts är på en tillräckligt bra nivå i förhållande till utgångsläget. Är exempelvis en fördubbling av utgångsläget ett bra, för lågt, eller för högt mål även om utgångsläget är lågt?

4.2.4

Mätmetoder

Mätmetoden enkäter är något som är väl känt inom organisationen och som har använts för datainsamling. Vid datainsamling av beteenden med hjälp av enkäter ses både problem med att mäta den faktiska beteendeförändringen generellt och användandet av enkäter för att mäta förändringen. Vid mätning av beteenden behöver man fundera på om det som mäts är en ihållande förändring eller något som efter en kort tid kan återgå till gamla beteenden. Hur frågorna ställs kan också ha stor vikt och det är viktigt att frågorna inte misstolkas så att respondenterna då svarar felaktigt. Enkäter ses som användbara i det här avseendet men mätmetoden behöver kompletteras med någon annan metod för att få en bättre förståelse för eventuella beteendeförändringar som skett.

Även intervjuer är en välkänd datainsamlingsmetod inom organisationen. Användandet av intervjuer för mätning av beteende är något som ses som ett lämpligt verktyg att använda i samband med utvärdering av beteendeförändringar. En nackdel som lyfts med av intervjuer är dock att de kan vara tidskrävande. Men en blandning mellan enkäter och intervjuer är det som ses som bäst.

En annan svårighet som upplevs när det kommer till effektutvärdering och mätningarna är urvalet som ska ingå i en mätning för att effektutvärdera. Urvalet som görs för mätgruppen bör enligt fallorganisationen vara representativt och tillförlitligt men det upplevs vara svårt att kunna säkerställa dessa parametrar.

4 RESULTAT - NULÄGESBESKRIVNING

4.2.5

Utvärderingsdesign

En referensmätning innan projektstart genomförs inte för alla projekt. Projekten bygger på en problemformulering som har sin grund i någon form av information men den behöver inte nödvändigtvis ha sin grund i en egen genomförd mätning. Ofta utgår man från den offentliga statistiken och använder den som en referens. En sådan samlad statistik är alltså objektiv och kan exempelvis vara antalet nyföretagare bland olika grupper som kön, ålder eller utbildning.

En referensmätning som är direkt kopplad till det enskilda projektet genomförs alltså inte alltid och ett problem till varför det inte genomförs är eftersom målgruppen eller projektdeltagarna inte alltid är kända eller identifierade vid projektstart. Dessa kan träda fram under projektets gång, vilket gör att en fullständig referensmätning i samband med projektstart inte kan genomföras med alla projektdeltagare. Det anses i vissa fall vara svårt att på förhand veta vilka som kommer ingå i projektgruppen och vara målgruppen för projektet.

Vidare har referensmätningar av olika slag i samband med projektstart genomförts för vissa projekt. I vissa fall har en behovsanalys genomförts i samband med projektstart för att ta reda på vilka insatser som krävs och därefter har så kallade nollmätningar genomförts för de olika aktiviteterna. Om en aktivitet för ett projekt exempelvis är att gå på en föreläsning kan en nollmätning innebära att mäta kunskapsnivån hos deltagarna innan föreläsningen. I andra fall presenteras exempel där projektledaren genomför en egen nulägesanalys på grund av otydligt formulerade mål. I det fallet innebär nulägesanalysen en omvärldsbevakning med benchmarking och en framåtspaning för att därefter kunna formulera effektmål.

I projekt som har en målgrupp med ett urval som direkt deltar i projekt kan det vara enklare att mäta på den direkta gruppen eftersom de är på individnivå. Men i projekt där det däremot inte finns direkt identifierbara personer som deltar i projektet, utan det är en övergripande grupp, anses det vara svårare att genomföra en mätning innan och efter projektet på exakt samma personer. En annan svårighet i att mäta efter avslutat projekt är att få kontakt med samma personer som vid projektstart då målgruppens deltagare inte alltid förblir under hela projektet och efter avslut, vilket försvårar kontakten med samma personer när mätningarna ska genomföras en tid senare.

Gällande tvärsnittsstudier där effektmätningen görs på en grupp som deltagit i projektet, medans referensmätningen genomförs på en grupp som inte deltagit i projektet, så finns olika syn på hur bra denna metod är. Användandet av tvärsnittsstudier sågs överlag som en användbar metod, men att det kan bero på vad det var man vill mäta. Det uppkommer även kritik gällande dess tillförlitlighet och att det är svårt att veta ifall skillnader mellan

4 RESULTAT - NULÄGESBESKRIVNING

grupperna verkligen beror på en effekt utav ett projekt, eller ifall det är andra faktorer som spelar in. Ett förslag som uppkommer är att man kan kombinera tvärsnittsstudier med före- och efterstudie för att öka tillförlitligheten av datan.

Vilken metod som anses vara lämpligare för fallorganisationen beror på projektet, och olika metoder kan vara lämpliga för olika projekt. Däremot anses att urvalsgruppen i en före- och efterstudie kan vara mer angelägna att delta i mätningarna efter avslutat projekt då de är mer investerade i projektet än personer som inte varit delaktiga alls som behöver delta i en mätning vid en så kallad tvärsnittsstudie.

Ett exempel där en före- och efterstudie anses vara mer lämplig är i projekt som syftar till att göra en förändring hos målgruppen. Det kan exempelvis handla om beteendeförändring som bör mätas före och efter ett projekt då det handlar om en personlig, individuell, utveckling där tiden är en faktor för att en förändring ska kunna ske.

Ett exempel där en tvärsnittsstudie anses vara mer lämplig är i projekt där en mätning av företeelser mellan olika grupper ska genomföras. Det kan exempelvis vara en mätning om hur många som källsorterar där en jämförelse mellan projektdeltagare och icke-deltagare görs för att undersöka om projektet hade någon effekt på de som deltagit.

Någonting annat som också anses vara en svårighet med effektutvärdering, oavsett val av design, som fallorganisationen bör ta ställning till är hur omfattande utvärderingen ska vara då det är någonting som kräver både tid och resurser. Fallorganisationen bör då ta ställning till ifall de själva ska genomföra effektutvärderingarna eller ifall de ska ta in en extern utvärderare.

4.2.6

Presentation

Inom fallorganisationen finns befintlig kompetens och erfarenhet vad gäller sammanställning av en större mängd data som presenteras grafiskt. Det anses vara någonting viktigt när det kommer till att presentera och förklara ett resultat och det upplevs inte som någon svårighet att genomföra. Däremot har denna kompetens inte alltid utnyttjats i samband med projektledning inom fallorganisationen. Detta bland annat eftersom utvärderingar under projektets gång, i samband med avslut eller en tid efter avslut inte genomförts ännu. Men det har som sagt gjorts för vissa projekt under projektets gång.

Vidare har programmet esmaker utnyttjats för att sammanställa resultat från en enkätundersökning inom ett annat arbete inom fallorganisationen, utanför Regional utveckling. En intervjustudie har också genomförts där flertalet intervjuer sammanställts i cirkeldiagram genom att klustra ihop svar som gavs under de strukturerade intervjuerna,

4 RESULTAT - NULÄGESBESKRIVNING

vilket anses vara ett mycket tidskrävande arbete.

4.3

Fallprojekt

Det här examensarbetet fokuserar särskilt på ett projekt som genomförs av Region Jönköpings län under området Regional utveckling. Detta är ett avslutat och heter Integration och kompetensförsörjning inom Jönköpings län. Projektet tillhör sektionen utbildning och kompetensförsörjning. Ett urklipp av projektplanen tillhörande projektet finns att tillgå i appendix A3. Det finns två inriktningar, men i detta arbete är det endast det som benämns som inriktning två i appendix A3 som detta arbete syftar till vid tal om projektet Integration och kompetensförsörjning inom Jönköpings län.

Syftet med projektet är att stärka perspektivet integration inom kompetensförningsarbetet inom Region Jönköpings län. Målet med projektet är “En regional kompetensförsörjningsanalys som visar arbetsgivarens behov på kort medel och lång sikt och hinder att anställa nyanlända och EU-medborgare är gjord”, se appendix A3. I rapporten för ansökan om projektmedel efterfrågas målbeskrivning på följande vis:

“4.3 Projektets mål (högst 4000 tecken). Vilka resultat ska projektet uppnå? Ange konkreta och mätbara aktivitets och resultatmål. Beskriv de långsiktiga effektmålen”.

Målen har då besvarats på följande vis:

“Mål för inriktning 1: För att ta tillvara på all kompetens i länet för att på lång sikt säkerställa en väl fungerande kompetensförsörjning behöver vi utveckla det regionala analysarbetet inom kompetensförsörjningsbehovet. Projektet ska resultera i att en analys av arbetsgivarnas kompetensbehov på kort, medel och lång sikt i länet är genomförd och analysen ska stärka integrationsperspektivet i det regionala kompetensförsörjningsarbetet, ett fokus är på företagens upplevda hinder att anställa nyanlända och EU-medborgare.”

Projektet riktar sig till målgrupperna utbildningsaktörer, näringsliv och myndigheter. Projektet består av en projektledare som genomfört analysen och en ekonom som tar hand om den ekonomiska aspekten för hela projektet. Det finns även en styrgrupp med representanter både internt från Region Jönköping och externt från andra relevanta aktörer.

Resultatet av arbetet har utmynnat i en rapport vid namn Kompetens och integration som beskriver och visar de svårigheter och möjligheter som finns hos olika aktörer gällande kompetensförsörjning och integration. Underlaget för rapporten samlades in genom

4 RESULTAT - NULÄGESBESKRIVNING

intervjuer av (ett flertal) 37 företag inom olika branscher inom regionen där de intervjuade framför deras erfarenheter av ämnet kompetensförsörjning och integration i deras