Effektutvärdering av projekt inom offentligt verksamhet : En guideutveckling för effektutvärdering av projekt inom Regional utveckling hos Region Jönköpings län

(1)

Linköpings Universitet SE-581 83 Linköping, Sverige 013-28 10 00, www.liu.se

EFFEKTUTVÄRDERING AV PROJEKT INOM

OFFENTLIGT VERKSAMHET

En guideutveckling för effektutvärdering av projekt inom

Regional utveckling hos Region Jönköpings län

(Evaluating project outcomes within the public sector - Development of a guide for evaluating project outcomes within Regional utveckling at Region Jönköpings län)

Gabriella Chamoun och John Klahr

Handledare: Jason Martin Examinator: Peter Cronemyr

Masteruppsats 30hp, Industriell Ekonomi Kvalitets- och verksamhetsutveckling

Institutionen för ekonomisk och industriell utveckling (IEI)

LIU-IEI-TEK-A–21/04130–SE

Vår 2021

(2)

(3)

Förord

Under det här examensarbetet har vi fått gå in ett steg djupare i området kvalitet- och verksamhetsutveckling genom att undersöka hur en verksamhet vidare kan utvecklas. Detta har varit en mycket lärorik upplevelse som vi kan dra nytta av till framtida arbeten. Vi vill rikta ett stort tack till Peter Friberg som gett oss möjligheten att genomföra examensarbetet med Region Jönköpings län. Vi vill även tacka alla andra personer från organisationen som tagit sig tid att svara på mejl och vara med på intervjuer.

Vi vill också rikta ett stort tack till vår akademiska handledare Jason Martin som uppmuntrat, stöttat och guidat oss genom hela examensarbetet genom bland annat idébollning och korrekturläsning med feedback.

Vidare tackar vi även våra opponenter Felicia Andersson och Erik Berglund samt vår examinator Peter Cronemyr, som möjliggjort vår examination, för deras hjälpsamma feedback som förbättrat vår rapport.

Slutligen vill vi även tacka familj, vänner samt alla från Linköpings Universitet som vi stött på under vår studietid. Utan er hade vi inte varit där vi är idag med en Civilingenjörsexamen inom maskinteknik.

Linköpings Universitet, Maj 2021 Gabriella Chamoun och John Klahr

(4)

Abstract

A project can be defined as conducting some sort of work with a predetermined purpose and goal. But in order to know if a project is successful, an evaluation of project effects, henceforth named only evaluation, is required. Projects are continuously carried out at Region Jönköpings län, henceforth organization, with the common purpose to amongst other things improve the geographic region and attract inhabitants. A problem that arises is in the difficulty of knowing what the effect of a project actually is, which can lead to an uncertainty in deciding which future projects should be conducted and if their effects contribute to the regional development strategy. The purpose of this master thesis is therefore to analyze how the organization can work with customer focused evaluation and thereafter develop a guide for projects within the organization regarding this topic. The intention of the purpose is to analyze and understand how a public sector can come closer to its customers, i.e. inhabitants, and thereby be beneficial to them.

The master thesis was initiated with a literature review in order to understand the meaning of customer focused evaluation and how this is used in practice by others within a public sector. An evaluation of the present situation of the organization was thereafter done, mainly through interviews, in order to know how the organization relates to the different aspects or topics that the literature review states are important for an evaluation. From this, a guide based on the literature was compiled along with identified problems and improvement suggestions. Furthermore a test of this guide was performed with the purpose to suggest how an evaluation of a project within the organization can be carried out and to understand how applicable the guide is for the organization.

The evaluation in this report is made customer focused by connecting the measuring of behavior in the target group of a project with customer focused evaluation. This connection between the two concepts is used in the guide. The guide that is developed contains three main aspects: project plan, evaluation plan, and presentation. When evaluating the present situation at the organization it emerges that the organization has never done any evaluation work on their projects before. Therefore, the most fundamental problem that is identified is that no evaluation plan is formulated when the project plan is being developed. Another central problem, that is identified within the project plan, is regarding the goals that are formulated. SMART goals are according to the literature very important when it comes to conducting an evaluation work, but it is brought to light that the organization does not work with this according to a standard. Another problem that is discussed regarding both the project plan and the evaluation plan is the difficulty of determining when the pre-measuring should be carried out. Finally, no direct objection is emerged regarding the presentation.

(5)

Sammanfattning

Projekt innebär att genomföra ett arbete med ett förbestämt syfte och mål. För att kunna veta huruvida ett projekt är lyckat bör en utvärdering genomföras. Inom Region Jönköpings län genomförs projekt med syftet att bland annat förbättras och attrahera invånare. Ett problem som uppstår är att veta vad effekten av de genomförda projekten är, vilket i sin tur leder till osäkerheter i vilka framtida projekt som bör genomföras och om deras effekter i slutändan bidrar till den regionala utvecklingsstrategin. Syftet med arbetet är därav att analysera hur fallorganisationen kan arbeta med kundfokuserad effektutvärdering och därefter utveckla en guide gällande detta för projekt inom fallorganisationen. Detta för att analysera och föreslå hur offentliga sektorer kan komma närmare sina kunder, det vill säga invånare, och därigenom skapa nytta för dem.

Arbetet påbörjas med en litteraturstudie för att förstå innebörden av kundfokuserad effektutvärdering och hur detta används i praktiken av andra organisationer inom offentlig verksamhet. Därefter genomförs en nulägesanalys, främst genom intervjuer, för undersöka hur fallföretaget förhåller sig till de punkter som litteraturen anger är viktiga för ett effektutvärderingsarbete. Utifrån detta sammanställs därefter en guide, baserad på litteraturen, ihop med identifierade problem samt förbättringsförslag. Vidare genomförs ett test av den framtagna guiden med syftet att dels föreslå hur ett effektutvärderingsarbete kan ske på ett projekt inom fallorganisationen och dels för att förstå hur realiserbar guiden är för fallorganisationen.

I detta arbete görs en tolkning av kundfokuserad effektutvärdering genom att i litteraturstudien göra en koppling mellan mätning av beteende hos målgruppen och kundfokuserad effektutvärdering, vilket även används i den framtagna guiden. Guiden som formas innehåller tre huvudpunkter: projektplan, utvärderingsplan samt presentation. Utifrån nulägesanalysen framkommer det att fallorganisationen inte tidigare arbetat med effektutvärdering av enskilda projekt. Därför är det mest grundläggande identifierade problemet avsaknaden av att i samband med projektplanen även planera inför ett effektutvärderingsarbete. Ett annat centralt problem som är identifierat inom projektplanen är gällande målsättningen. SMARTa mål är enligt litteraturen mycket viktigt för ett effektutvärderingsarbete men det framkommer att fallorganisationen inte enligt standard arbetar med detta. Ett annat problem som diskuteras kopplat till både projektplan och utvärderingsplan är svårigheten i att avgöra när före-mätningen i en effektutvärdering bäst lämpligen bör ske. Slutligen framkommer inga direkta invändningar gällande presentation av data.

(6)

INNEHÅLL

Innehåll

1 Introduktion 1 1.1 Syfte . . . 2 1.2 Frågeställningar . . . 2 1.3 Fallorganisation . . . 2 1.4 Avgränsningar . . . 3 2 Teoretisk referensram 4 2.1 Utvärdering . . . 4

2.1.1 Utvärdering och uppföljning . . . 4

2.2 Projekt . . . 5

2.3 Kund . . . 5

2.4 Mål . . . 5

2.4.1 Projektmål och effektmål . . . 6

2.4.2 SMARTa mål . . . 6

2.4.3 Indikatorer . . . 6

2.5 Kvalitativ och kvantitativ datainsamling . . . 6

2.5.1 Kvantitativ datainsamling . . . 6 2.5.2 Kvalitativ datainsamling . . . 7 2.5.3 Val av metod . . . 7 2.6 Effektmätning . . . 8 2.6.1 Effektkedjan . . . 8 2.6.2 Framgångsdimensioner . . . 9 2.6.3 Mäta beteende . . . 10 2.7 Tolkning av data . . . 11 2.8 Exempel från verkligheten . . . 11 2.8.1 Planera för projektet . . . 12 2.8.1.1 Planera för utvärdering . . . 13

2.8.2 Effektmål, SMARTa mål och indikatorer . . . 13

2.8.3 Mätmetoder . . . 14 2.8.4 Utvärderingsdesign . . . 14 2.8.5 Presentation av data . . . 15 3 Metod 17 3.1 Metodprocess . . . 17 3.1.1 Litteraturstudie . . . 17 3.1.2 Nulägesanalys . . . 18 3.1.2.1 Intervju . . . 18 3.1.2.2 Sammanställning av data . . . 19 3.1.3 Analys . . . 19 3.1.4 Test . . . 20

3.2 Validitet och Tillförlitlighet . . . 20

3.2.1 Validitet inom kvalitativ forskning . . . 21

3.2.2 Tillförlitlighet inom kvalitativa forskning . . . 21

3.2.3 Triangulering . . . 21

3.2.4 Respondentvalidering . . . 22

(7)

INNEHÅLL 3.4 Källkritik . . . 23 3.5 Etik . . . 24 4 Resultat - Nulägesbeskrivning 25 4.1 Övergripande om projektframtagning . . . 25 4.1.1 Framtagning av projekt . . . 25 4.1.2 Finansiering av projekt . . . 26

4.1.3 Vem som kan ansöka om projektmedel . . . 26

4.1.4 Villkor för finansiering . . . 26 4.2 Effektutvärdering . . . 27 4.2.1 Projektplan . . . 27 4.2.2 Utvärderingsplan . . . 27 4.2.3 Mål . . . 28 4.2.4 Mätmetoder . . . 30 4.2.5 Utvärderingsdesign . . . 31 4.2.6 Presentation . . . 32 4.3 Fallprojekt . . . 33 5 Analys 35 5.1 Projektplan . . . 35 5.2 Utvärderingsplan . . . 35

5.2.1 Förbättringsförslag till de identifierade problemen . . . 37

5.3 Mål . . . 38

5.4 Mätmetoder . . . 41

5.5 Utvärderingsdesign . . . 42

5.6 Presentation . . . 44

5.6.1 Problem och förbättringsförslag . . . 45

5.7 Guide . . . 46 6 Test 49 6.1 Effektutvärderingsexempel . . . 49 6.1.1 Projektplan . . . 49 6.1.2 Utvärderingsplan . . . 51 6.1.3 Mål . . . 53 6.1.4 Presentation . . . 54

6.2 Analys och diskussion av exempel . . . 56

6.2.1 Projektplanen . . . 56 6.2.2 Utvärderingsplan . . . 57 6.2.3 Mål . . . 58 6.2.4 Mätmetoder . . . 59 6.2.5 Utvärderingsdesign . . . 59 6.2.6 Presentation . . . 60 7 Diskussion 61 7.1 Hur man kommer närmare kunderna genom kundfokuserad effektutvärdering 61 7.2 Metod . . . 64

(8)

INNEHÅLL

7.3 Sammanfattning och slutsatser . . . 65

7.4 Studiens bidrag . . . 70 7.5 Framtida Arbete . . . 70 Referenser 72 Appendix 75 A1 Intervju . . . 75 A2 Kontroll . . . 79 A3 Fallprojekt . . . 80 A4 Verksamhetslogik, exempel . . . 86

(9)

FIGURER

Figurer

2.1 Kedja för projekt från resurser till effekter på lång sikt, anpassad efter Ekonomistyrningsverket (2016) . . . 8 2.2 Anger i vilka dimensioner ett projekts framgång kan mätas samt hur lång

tid efter avslutat projekt de mäts, anpassad efter Shenhar & Boston (2007) och Shenhar et al. (2001). . . 10 3.1 Examensarbetets metodprocess som innehar de fem huvudstegen

litteraturstudie, nulägesanalys, analys, test och diskussion med slutsatser 17 5.1 En sammanställning av de identifierade problemen samt förbättringsförslag

inom fallorganisationen vid effektutvärdering av projekt. . . 45 6.1 Frågor som ska ställas i enkätundersökningen för effektutvärderingsarbetet.

Fråga 1 ställs inte i referensmätningen. . . 52 6.2 Sammanställning av hur många som tagit del av rapporten. . . 55 6.3 Svar på frågan Företaget ser möjligheterna att anställa nyanlända och

EU-medborgare för att fylla utebliven rekrytering från både referensmätningen och effektmätningen. . . 55 6.4 Visar andelen företag som ser möjligheterna att anställa nyanlända och

EU-medborgare för att fylla utebliven rekrytering . . . 56 A1.1 Frågorna som ställdes under intervjuerna som hölls för nulägesbeskrivningen. 75 A2.1 Frågorna som ställdes vid kontroll av exemplet, genom semi-strukturerad

intervju. . . 79 A3.1 Urklipp från dokument tillhörande projektet Integration och

kompetensutveckling där bland annat målbeskrivning tas upp . . . 80 A4.1 Ett exempel på verksamhetslogik för en Tv-kampanj med syftet att minska

(10)

TABELLER

Tabeller

2.1 Skillnader mellan en kvantitativ och kvalitativ studie (Persson et al. 2016; Statens beredning för medicinsk och social utvärdering 2017). . . 7 2.2 Källor till respektive rubrik i kommande kapitel. . . 12

(11)

1 INTRODUKTION

1 Introduktion

Utvärdering är något som intresserar många inom offentlig sektor. Detta, eftersom arbetet de gör finansieras med skattepengar och man vill kunna redovisa om arbetet verkligen uppnår den förväntade kvalitet och ger önskat resultat. Information om detta är inte bara en möjlighet för den offentliga sektorn att öka lärandet om utfallet av projekten som görs, utan det är även för att medborgarna ska få kunskap om vad som händer och görs i den offentliga sektorn och ifall de får valuta för sina skattepengar (Västra Götalandsregionen 2017b; Lindgren 2014). Främjandet av lärande och transparens är bland annat det som gör att utvärdering i det långa loppet har en “...avgörande betydelse för det demokratiska samhällets funktionsduglighet och människors förtroende för demokratin” (Lindgren 2014, s.14).

Enligt Lindgren (2014) beskrivs ofta utvärdering som ett fantastiskt styrmedel och instrument, men hur det i praktiken ska gå till och faktiskt går till samt vilken nytta den har förblir oklart menar författaren.

När utvärderingsarbete görs bör enligt Serrador & Turner (2015) även effekten på kunden mätas för att kunna bedöma huruvida ett projekt är lyckat. Detta genom att bland annat undersöka om projektet uppfyller kundernas behov och om projektet löser kundernas problem (Serrador & Turner 2015). Inom offentlig sektor kan dock vissa hinder för användandet av kundfokus finnas som skiljer sig mot den privata sektorn där kundfokus används mer (Ha & Lee 2010).

Inom privat sektor menar (Bergman & Klefsjö 2016) att verksamheter jobbar med kvalitetsfrågor för att förbättras och öka sin attraktivitet. Detta är viktigt eftersom det avgör kundens framtida agerande och huruvida kunden kommer återvända och rekommendera produkten eller tjänsten till andra. I den offentliga sektorn däremot behöver inte den som betalar för tjänsten vara den som erhåller värdet. Ett exempel på detta är skolverksamheten där staten är finansieraren och privatpersonen erhåller värdet. I detta arbete undersöks hur Region Jönköpings län arbetar med utvärdering inom Regional utveckling. De vet i nuläget inte vad effekten av genomförda projekt är och upplever en svårighet med att förvissa sig kring detta. Eftersom de inte med säkerhet vet om projekten de investerar i leder till önskade effekter uppstår osäkerheter i vilka framtida projekt som bör genomföras och om deras effekter i slutändan kommer bidra till den regionala utvecklingsstrategin med en mer attraktiv, hållbar och tillgänglig region.

(12)

1 INTRODUKTION

1.1 Syfte

Syftet med arbetet är att analysera hur fallorganisationen kan arbeta med kundfokuserad effektutvärdering och därefter utveckla en guide gällande detta för projekt inom fallorganisationen.

Detta för att analysera och föreslå hur offentliga sektorer kan komma närmare sina kunder, det vill säga invånare, och därigenom skapa nytta för dem.

1.2 Frågeställningar

Frågorna som besvaras för att uppfylla examensarbetets syfte är de följande:

RQ1 - Hur beskrivs effektutvärderingsarbete som helhet och med fokus på kund inom offentlig verksamhet i teorin?

RQ2 - Hur arbetar fallorganisationen med framtagning, målbeskrivning och utvärdering av projekt i dagsläget?

RQ3 - Hur kan effektutvärdering av projekt inom fallorganisationen genomföras med kundfokuserad datainsamling som huvudfokus?

RQ1 besvaras med hjälp av litteraturstudier. RQ2 besvaras genom påläsning av dokumenterad information och intervjuer med representanter från fallorganisationen som kompletterar den dokumenterade informationen. RQ3 besvaras genom an analys av resultatet från RQ1 och RQ2.

1.3 Fallorganisation

Regional utveckling finansieras med regionala utvecklingsmedel som kommer från tre huvudsakliga källor: Europeiska unionen, staten och regionerna själva. Syftet med finansieringen är att hjälpa regionerna i Sverige uppnå deras regionala utvecklingsstrategi för att på så sätt ta vara på hela landets utvecklingskraft och sysselsättningsmöjligheter. (Sveriges kommuner och regioner 2020; Regeringskansliet 2021)

Detta examensarbete fokuserar på fallorganinsationen Region Jönköpings läns arbete inom Regional utveckling. Organisationen är en av Sveriges 21 regioner och ansvarar för utöver huvudsyftet Regional utveckling och tillväxt även för huvudsyftet folkhälsa, sjukvård och tandvård (Sveriges kommuner och regioner 2021; (Region Jönköpings län 2020b)).

Region Jönköpings län har en vision för år 2035 att utvecklas till att bli en region som attraherar människor och får dem att vilja stanna kvar där. Visionen innefattar arbete för

(13)

1 INTRODUKTION

att skapa en hållbar, attraktiv, tillgänglig, smart, kompetent samt global region. (Region Jönköpings län 2020a)

“Den regionala utvecklingsstrategin ska leda till att Jönköpings län år 2035 är Sveriges mest hållbara, attraktiva och tillgängliga län där alla människor trivs, utvecklas och mår bra” (Region Jönköpings län 2020a, s.3). För att komma närmare visionen för år 2035 genomförs olika projekt som finansieras med regionala utvecklingsmedel som ska bidra till att uppfylla målen i den regionala utvecklingsstrategin (Region Jönköpings län 2020a). En utmaning som Region Jönköpings län upplever är att kunna göra en bedömning huruvida projekten som görs faktiskt har bidragit till att uppfylla målen och är intresserade av att undersöka möjliga tillvägagångssätt för att göra det.

1.4 Avgränsningar

På grund av den begränsade tidsramen görs avgränsningen i detta arbete att endast undersöka en region av Sveriges alla 21 existerande regioner. Detta arbete har Region Jönköpings län som huvudfokus vid undersökning av frågeställningarna samt är inriktat på verksamhetsområdet Regional utveckling. Vidare avgränsas examensarbetet till ett projekt inom organisationen. Detta projekt tillhör sektionen Utbildning och kompetensförsörjning. Slutligen avgränsas arbetet kring utvärdering till att främst fokusera på effektutvärdering av enskilda projekt.

(14)

2 TEORETISK REFERENSRAM

2 Teoretisk referensram

I följande kapitel presenteras den teoretiska referensramen för arbetet. Först presenteras definitioner och förklaringar till relevanta ämnen och därefter presenteras exempel från verkligheten.

2.1 Utvärdering

Enligt Carlström & Carlström Hagman (2012) är utvärdering en granskning av hur väl uppsatta mål överensstämmer med verkligheten. En förutsättning för att kunna göra ett utvärderingsarbete är då att ha en referenspunkt eller idealbild som man utgår från uttryckt i mål när jämförelsen ska göras (Carlström & Carlström Hagman 2012).

Vid utvärdering av ett projekt analyseras genomförda aktiviteter (Tonnquist 2018). Vid utvärdering av projektets resultat görs en bedömning av slutprodukten och man ifrågasätter om effekten blev som önskats (Carlström & Carlström Hagman 2012). Tonnquist (2018) anser också att resultatet av ett projekt lever vidare och att det får efterverkningar långt efter projektets avslut. Tonnquist (2018) menar då att projektägarens ansvar därför inte upphör vid projektavslutet, utan att denna borde se till att även effektmålen följs upp och redovisas för intressenterna. När det kommer till projektledaren så ansvarar denna enligt Tonnquist (2018) för projektavslutet och utvärderar då det resultat som uppnåtts under projekttiden som jämförs med projektmålet. Vidare anser även Tonnquist (2018) att projektledaren bör vara med vid effektutvärderingen av det projekt som tidigare letts i syfte att möjliggöra en start av ett eventuellt nytt projekt baserat på lärdomarna från effektutvärderingen. Detta även fast projektledaren inte ansvarar för att effektmålen nås, utan bara projektmålen (Tonnquist 2018).

Ett exempel är utvärdering av en utbildning där det undersöks hur eftertraktade på arbetsmarknaden studenterna är efter avslutad utbildning genom att fråga hur många som fått en anställning ett år senare, eller hur många som anser sig vara nöjda med sitt val av utbildning efter fem år (Carlström & Carlström Hagman 2012).

2.1.1 Utvärdering och uppföljning

Enligt Lindgren (2014) görs en uppföljning för att kontinuerligt granska hur någonting utvecklas medan utvärdering innebär att värdera någonting vid en bestämd tidpunkt. Tillväxtverket (2021) anser att uppföljning handlar om aktiviteterna i projektet medan utvärdering handlar om vad aktiviteterna leder till på både kort och lång sikt, det vill säga resultat och effekt.

(15)

kontrollera hur det går i ett projekt när det är pågående och utvärdering handlar om att kontrollera projektets utfall på både kort och lång sikt efter dess avslut.

2.2 Projekt

Projekt innebär att genomföra ett arbete på en utsatt tid. Det har ett förbestämt syfte och mållinje och även bestämda resurser. (Tonnquist 2018)

2.3 Kund

Inom litteraturen finns flera begrepp av kund men i detta arbete används Bergman & Klefsjös (2016) definition av kund som är “De vi som organisation vill skapa värde för kallar vi kunder” (Bergman & Klefsjö 2016, s. 28) eller med andra ord “de vår organisation vill skapa värde för” (Bergman & Klefsjö 2016, s. 28). Denna definition används för att undgå frågeställningar som ifall det som skapas är åt någon utanför eller innanför organisationen, eller ifall det är en produkt eller tjänst som tillhandagås.

Enligt kvalitetsdefinitionen använd av Bergman & Klefsjö (2016) “kvaliteten på en produkt är dess förmåga att tillfredsställa, och helst överträffa, kundernas behov och förväntningar” (Bergman & Klefsjö 2016, s. 23) så är kvalitet kopplat till kundernas uppfattningar. För att skapa kvalitet är det därför viktigt att kunna se kundens perspektiv (Bergman & Klefsjö 2016).

Enligt Lindgren (2014) benämns målgruppen inom företag som kunder medan de inom offentlig sektor benämns som invånare eller medborgare. Carlström & Carlström Hagman (2012) anger att målgruppen är de som är intresserade av resultatet, vilket inom exempelvis ett projekt att förbättra elevvården på en skola både kan vara elever, skolpersonal och föräldrar.

2.4 Mål

En definition av mål som Lundeflo & Sandsborgs (2005) rapport använder sig av är att ett mål är “en beskrivning av ett önskat framtida tillstånd” (Etzioni 2002, s.15).

Enlig Jacobsen & Thorsvik (2002) i Lundeflo & Sandsborg (2005) finns det flera anledningar till att använda sig av mål. Viktiga anledningar är enligt Jacobsen & Thorsvik (2002) i Lundeflo & Sandsborg (2005) att de kan agera som motivation för medarbetare, kan ha en motiverande effekt på personalen och kan generera styrning genom att ge riktlinjer för arbete. Vidare menar författaren också att mål kan vara en legitimerande faktor för utomstående aktörer och kan fungera som kriterier för utvärderingar.

(16)

2.4.1 Projektmål och effektmål

Projektmål anger vad ett projekt ska leverera vid en på förväg bestämd tidpunkt. Effektmål kan tolkas samma som syftet och anger vilken nytta projektet förväntas skapa och varför projektet ska genomföras. Skillnaden mellan syfte och effektmål är att syftet ofta inte är specifikt formulerat. Effektmålen ska precis som projektmålen vara mätbara och tidsatta, det vill säga SMARTa, utefter den effekt som önskas till följd av ett projekt. (Tonnquist 2018)

2.4.2 SMARTa mål

Det viktiga vid målsättningen är hur målen är formulerade eftersom otydliga mål är svåra att mäta och bedöma om de har uppfyllts. Mål som sätts behöver därför vara SMARTa – Specifikt, Mätbart, Accepterat, Rimligt och Tidsbestämt. (Bergman & Klefsjö 2016):

• Specifikt – det ska vara tydligt formulerat.

• Mätbart – det ska kunna svaras ja eller nej på frågan om målet är uppnått. • Accepterat – det ska vara förankrat med både projektdeltagare och användare. • Rimligt – det ska gå att uppnå med de resurser som finns att tillgå.

• Tidsbestämt – det ska uppnås inom en bestämd tidpunkt.

2.4.3 Indikatorer

Indikatorer är mätetal som direkt eller indirekt mäter förändringen till följd av ett projekt eller ett mål (Länsstyrelsen 2015). Med hjälp av dessa kan en bedömning av graden av måluppfyllelse göras (Skolverket 2017).

2.5 Kvalitativ och kvantitativ datainsamling

En datainsamling görs i syfte att samla information från antingen en population eller en process (Brook 2020). Dessa kan göras med både kvalitativa och kvantitativa metoder men de skiljer sig åt i hur de används (Carlström & Carlström Hagman 2012).

2.5.1 Kvantitativ datainsamling

Enligt Persson et al. (2016) ger en kvantitativ datainsamling numerisk data som statistiskt beskriver det som studeras. En beskrivning eller förklaring av hur det faktiskt är ges genom att exempelvis förklara hur många, eller hur mycket någonting är. (Persson et al. 2016)

Genom att genomföra datainsamlingen på ett urval kan slutsatser om hela populationen som urvalet tagits ifrån ges. En kvantitativ studie kan exempelvis göras för att ta reda på

(17)

hur ofta människor i en bestämd grupp äter godis. Urvalet bör vara stort och slumpmässigt. (Persson et al. 2016)

Persson et al. (2016) anger att en kvantitativ studie med metoderna enkäter, strukturerade intervjuer med stängda frågor och strukturerade observationer samlar data som på förhand kräver förberedda frågor och svarsalternativ.

Vidare anser Persson et al. (2016) att en kvantitativ frågeundersökning (med enkät eller intervjuformulär) där respondenter besvarar strukturerade frågor i många tillfällen är den lämpligaste metoden. Det kan exempelvis handla om tillfällen då kunskap om attityder och beteenden efterfrågas (Persson et al. 2016).

2.5.2 Kvalitativ datainsamling

Enligt Persson et al. (2016) är målet med en kvalitativ datainsamling att få en djupare förståelse i ämnet som studeras och möjligtvis upptäcka sådant som inte är uppenbart. Metoden appliceras på en liten urvalsgrupp och frågor om vad, hur och varför besvaras (Persson et al. 2016).

Persson et al. (2016) anger intervjuer, fokusgrupper, textanalyser och observation som metoder för en kvalitativ datainsamling.

Till skillnad från en kvantitativ studie där den statistiska analysen sker efter att själva datan har samlats in så kan enligt Statens beredning för medicinsk och social utvärdering (2017) analys av en kvalitativ studie ske samtidigt som själva datainsamlingen.

2.5.3 Val av metod

I tabell 2.1 nedan presenteras några skillnader mellan en kvalitativ och en kvantitativ studie.

Tabell 2.1: Skillnader mellan en kvantitativ och kvalitativ studie (Persson et al. 2016; Statens beredning för medicinsk och social utvärdering 2017).

Kvantitativ studie Kvalitativ studie Frågeställning Hur mycket? Hur många? Vad? Hur? Varför?

Data Siffror Ord

Analys Statistisk Icke-statistisk

Utfall Skillnader mellan grupper Förståelse

Datainsamlings- Enkät, strukturerade Intervjuer, fokusgrupper, metoder intervjuer, strukturerade textanalys, observation

(18)

Enligt Persson et al. (2016) bör om möjligt båda metoderna användas för att både få en generell beskrivning och djupare förståelse. Först undersöks hur det som studeras är genom en kvantitativ metod och därefter varför det är på det sättet genom an kvalitativ metod (Persson et al. 2016). Vidare anser Cresswell (2013) att en kvantitativ datainsamling där kvantifierbara data som är mätbara ska användas när man vill undersöka om en förändring skett och om ett projekt gett en effekt.

2.6 Effektmätning

2.6.1 Effektkedjan

För att få en översiktlig bild av ett projekt från resurser till effekter kan detta presenteras i en figur som visar en kedja, se figur 2.1 nedan. Denna benämns även verksamhetslogik.

Figur 2.1: Kedja för projekt från resurser till effekter på lång sikt, anpassad efter Ekonomistyrningsverket (2016)

Kedjan börjar i resurserna som krävs för att kunna genomföra aktiviteterna, exempelvis tid och kompetens (Skolverket 2017). Därefter kommer aktiviteterna i projektet, exempelvis att planera inför en utbildning. Nästa steg är prestationerna i ett projekt, exempelvis genomförda utbildningar. Skillnaden mellan aktivitet och prestationen i det här fallet är alltså att aktiviteten handlar om att planera inför någonting (exempelvis att utforma en annons) och prestationen är vad som faktiskt ska göras (exempelvis att annonsen sänds på TV). (Ekonomistyrningsverket 2016)

Därefter kommer enligt Ekonomistyrningsverket (2016) den så kallade effektkedjan som innehåller effekter på kort sikt, medellång sikt och lång sikt. Syftet med effektkedjan är att visa att effekter på olika lång sikt skiljer sig och därför påverkar både vad som ska mätas men även när detta ska mätas. Effekterna på kort sikt skapas genom prestationerna som tillämpas av den direkta målgruppen. Effekterna på medellång och lång sikt är de effekter som inte enbart kan uppnås av den direkta målgruppen, utan kan även uppnås hos indirekta målgrupper. (Ekonomistyrningsverket 2016). Vidare kan externa faktorer påverka effekterna över tid, vilket gör det svårt att avgöra om effekten som nås enbart är till följd av det genomförda projektet (Länsstyrelsen 2015; Bengtson et al. 2012).

(19)

Vid arbete med framtagning av en sådan kedja arbetar man med de effekter som önskas uppnås på lång sikt och därefter fortsätter man stegen bakåt i kedjan. Först undersöks alltså vilka effekter som önskas uppnås på lång och medellång sikt. Därefter formuleras effekter på kort sikt som krävs på individnivå för att uppnå effekterna på medellång och lång sikt. Sedan bestäms vilka aktiviteter och prestationer som krävs för att uppnå de kortsiktiga effekterna och slutligen bestäms vilka resurser som möjliggör genomförandet av aktiviteterna. (Skolverket 2017)

Ett exempel av en sådan verksamhetslogik med effektkedja anges i appendix A4. Detta exempel anger verksamhetslogik för en TV-kampanj med syftet att minska rökning (Ekonomistyrningsverktet 2007).

2.6.2 Framgångsdimensioner

Det finns flera dimensioner som kan användas för att mäta ett projekts framgång. På engelska benämns uttrycket för detta som project success dimensions. Shenhar & Boston (2007) anger dimensionerna effektivitet, nöjdhet hos anställda, påverkan på kund, ekonomisk framgång och förberedelse inför framtiden. Effektivitet och nöjdhet hos anställda är de mest kortsiktiga dimensionerna och kan enligt Shenhar & Boston (2007) mätas i samband med projektavslut och är enligt Shenhar et al. (2001) en mätning som sker i samband med, eller direkt efter avslutat projekt. Vidare är påverkan på kund en dimension som enligt Shenhar & Boston (2007) kan mätas månader efter avslutat projekt och av Shenhar et al. (2001) klassas som en mätning på kort sikt. Ekonomisk framgång och förberedelse inför framtiden kan enligt Shenhar & Boston (2007) mätas år efter avslutat projekt och klassas av Shenhar et al. (2001) som en mätning på lång sikt. Se en beskrivande figur 2.2 nedan.

(20)

Figur 2.2: Anger i vilka dimensioner ett projekts framgång kan mätas samt hur lång tid efter avslutat projekt de mäts, anpassad efter Shenhar & Boston (2007) och Shenhar et al. (2001).

Till varje framgångsdimension anger Shenhar & Boston (2007) ett antal mätningar som ska användas för att kunna göra en bedömning av framgångsdimensionen. De nämnda mätningarna tillhörande framgångsdimensionen påverkan på kund är de följande (översatt från engelska): Möter funktionell prestanda, möter tekniska specifikationer, uppfyller kundbehov, löser kundernas problem, kunden använder produkten och kundtillfredsställelse Shenhar & Boston (2007).

2.6.3 Mäta beteende

Mätningen kunden använder produkten kan kopplas till beteendet hos kunden. Enligt Länsstyrelsen (2015) kan mätning av effekt på ett enskilt projekt, och inte en hel verksamhet, göras genom att mäta mer kortsiktigt. En sådan kortsiktig effektmätning kan genomföras genom mätning av beteendeförändring (Länsstyrelsen 2015). Även Bengtson et al. (2012) anger att effekten av ett projekt kan mätas genom att utvärdera beteendeförändringen hos kunden. Vidare menar Länsstyrelsen (2015) att långsiktig effekt mäts på samhällsnivå, för flera samlade projekt under en lång tid.

(21)

2012). Enligt Persson et al. (2016) besvaras beteendefrågor med ja/nej svar men oftare med en frekvensskala som antingen är subjektiv (exempelvis mycket ofta, ganska ofta, ganska sällan och mycket sällan) eller objektiv (exempelvis aldrig, 1-2 gånger, 3-4 gånger, 5 eller fler gånger).

Enligt Bengtson et al. (2012) handlar ett beteendemål om hur målgruppen för ett projekt har påverkats av projektet och om detta lett en förändring av kunskap, vilja till förändring eller om det lett till en genomförd förändring. Vidare anser Hyllenius et al. (2009) att en persons inställning till något refererar till en attityd och att en persons faktiska handling refererar till ett beteende. I detta arbete används Bengtson et al.s (2012) tolkning av begreppet av beteende, vilket alltså innefattar Hyllenius et al.s (2009) båda tolkningar av attityd och beteende.

2.7 Tolkning av data

Vid steget av analys och tolkning av data som samlas in kan detta enligt Bengtson et al. (2012) göras på många sätt beroende på vilken data som samlas in, men de menar att

data ska presenteras på ett sådant sätt att resultatet kan ses övergripande.

Vid analys av data menar dock Bengtson et al. (2012) att denna kan tolkas fel. Huruvida en förändring är till följd av ett projekt eller inte kan vara svårt att veta. Författarna nämner även fler felkällor att ha i åtanke om som att det vid exempelvis intervjuer finns en risk att respondenter vill vara snälla mot intervjuaren och därför inte vill kritisera, vilket istället kan ge en felaktig bild hur det egentligen ser ut i organisationen. (Bengtson et al. 2012)

Enligt Bengtson et al. (2012) kan resultatet från en enkätundersökning kan presenteras med olika grafiska diagram. Några exempel på grafiska diagram är histogram, stapeldiagram och cirkeldiagram (Nationalencyklopedin 2021a; Nationalencyklopedin 2021b; Nationalencyklopedin 2021c). Ett stapeldiagram visar genom höjden på staplarna antalet observationer av något (Nationalencyklopedin 2021c). Ett histogram är ett grafisk diagram som illustrerar antalet observationer inom olika klasser (Nationalencyklopedin 2021a). Detta genom att visa rektangulära staplar vars höjder är proportionerliga mot antalet observationer inom vardera klass (Nationalencyklopedin 2021a). Ett cirkeldiagram är ett diagram som är uppbyggt av sektorer som illustrerar den relativa frekvensen av observationer (Nationalencyklopedin 2021b).

2.8 Exempel från verkligheten

Nedan presenteras en sammanställning gällande återkommande nämnda aspekter för utvärdering. Detta, för att få en uppfattning om hur utvärderingar bör genomföras. Tabell

(22)

2.2 presenterar en sammanställning av aspekterna samt respektive källor som berör dessa områden.

Tabell 2.2: Källor till respektive rubrik i kommande kapitel. Källor

Planera för projektet _{Västra Götalandsregionen 2017a}Länsstyrelsen 2015; Edström et al. 2008;

Smarta mål och indikatorer Edström et al. 2008; Länsstyrelsen2015; Västra Götalandsregionen 2017a; Bengtson et al. 2012

Mätmetoder

Hyllenius et al. 2009; Bengtson et al. 2012; Zorowka & Weichbold 2003; Zorowka & Weichbold 2007; Folmer et al. 2007; Leishman et al. 2013

Utvärderingsdesign

Bengtson et al. 2012; Västra Götalandsregionen 2017b; Zorowka & Weichbold 2003; Zorowka & Weichbold 2007; Folmer et al. 2007; Leishman et al. 2013

Presentation av data Jangland & Gunningberg 2017; OxfordReseach 2020; Zorowka & Weichbold 2003; Zorowka & Weichbold 2007

2.8.1 Planera för projektet

Ett återkommande tema i rapporterna som granskats är att planeringsfasen av projekt är viktig för ett lyckat utvärderingsarbete och att projektet bör planeras inför (Länsstyrelsen 2015; Edström et al. 2008; Västra Götalandsregionen 2017a). Delar som kan ingå i planeringsfasen som nämns i guiderna är enligt Länsstyrelsen (2015) de följande:

1. Vad som ska göras: beskrivning av projektet och syftet.

2. Vem som ska genomföra: huvudansvarig för projektet och deltagare. 3. När det ska genomföras: tidsplan.

4. Resursbehov: finansiering i projektet.

Enligt Västra Götalandsregionen (2017a) görs i den här fasen en sammanställning av vilka mål som ska uppnås och hur de ska uppnås. Man lyfter alltså frågor som handlar om vilka effekter man vill nå, vilka kortsiktiga resultat man förväntar sig och vilka aktiviteter som ska ingå i projektet för att nå resultatmålen. Vilka resurser som krävs för

(23)

att kunna genomföra aktiviteterna diskuteras också. Det är även viktigt att målgruppen, utvärderingsbara mål och välvalda indikatorer presenteras tydligt för att kunna visa på resultat och effekter. (Västra Götalandsregionen 2017a)

2.8.1.1 Planera för utvärdering

Vidare bör man även planera inför utvärderingen och bestämma vad, vem, när och hur mätningen ska gå till (Edström et al. 2008). I den här fasen bestäms alltså indikatorerna (för både kortsiktiga och långsiktiga mål) och mätmetoden, men även utgångsvärdet för indikatorerna krävs (Länsstyrelsen 2015). Vidare anger Länsstyrelsen (2015) att även tillräckliga resurser och tillräcklig arbetskraft bör avsättas för utvärderingen och att detta är en ledningsfråga som handlar om hur resurser tilldelas.

2.8.2 Effektmål, SMARTa mål och indikatorer

En offentlig verksamhet anger att effektmätning handlar om att jämföra utfallet av ett projekt med vad som hade hänt om projektet inte hade genomförts Bengtson et al. (2012). Effekten kan då mätas på olika nivå och ur olika perspektiv (Bengtson et al. 2012). Ett exempel för att bryta ner effektmål på lång sikt till mål på lägre nivå anges av Skolverket (2017) och Ekonomistyrningsverket (2016) i tidigare avsnitt 2.6.1.

Flera verksamheter inom offentlig sektor anser att målformulering enligt SMART-principerna är viktigt för att uppnå en lyckad utvärdering. Detta eftersom att i tidigt stadie formulera mål enligt SMART-principerna underlättar det framtida utvärderingsarbetet. (Edström et al. 2008; Länsstyrelsen 2015; Västra Götalandsregionen 2017a)

Vidare anger även en av dessa verksamheter, Länsstyrelsen (2015), att val av indikatorer för bedömning av måluppfyllelse, det vill säga effekter av projekt, är en mycket viktig del i ett utvärderingsarbete. Utvärderingen sker då genom att identifiera indikatorer för förändringen och att till exempel ställa frågor eller göra mätningar utifrån dem (Länsstyrelsen 2015).

För att utvärdera beteendeförändringen bör beteendemål formuleras för ett projekt. Detta kan förslagsvis göras med SMART-principerna. Ett beteendemål kan vara mätbart genom att exempelvis ange hur stor andel av målgruppen som ska ändra sitt beteende. Frågorna som ställs till kunden ska då ha beteendemålen som utgångspunkt. Man kan då exempelvis ställa frågor till målgruppen om projektet lett till en vilja att förändras eller om det lett till en faktisk förändring. Vidare ska indikatorer identifieras för att kunna avgöra om en förändring skett i relation till målet och frågorna som ställs ska då utgå från indikatorerna. En indikator kan exempelvis vara antal som planerar att göra en förändring och frågan kan vara planerar du att genomföra en förändring inom det här området inom två år? (Bengtson et al. 2012)

(24)

Nedan presenteras ett exempel med beteendemål och tillhörande indikator som Länsstyrelsen (2015) har sammanställt från en utvärdering gjord på ett projekt med syftet att “informera och inspirera invånarna till ett förbättrat beteende på klimatområdet” (Länsstyrelsen 2015, s. 52), där en tidning delats ut till hushåll.

• Beteendemål: 10% av de som läst tidningen ska ha vidtagit någon typ av förändring inspirerad av tidningen.

• Indikator: Har de som läst tidningen ändrat på något i sitt beteende, vidtagit åtgärd tack vare tidningen (en 5-gradig skala).

2.8.3 Mätmetoder

Handboken Max-Sumo av Hyllenius et al. (2009) anger att kvantitativa mätmetoder som exempelvis enkäter bör användas för att få statistiskt tillförlitliga resultat och att frågeformulär är en populär metod. Vidare antyder författaren att kvalitativa mätmetoder som exempelvis djupintervjuer bör användas för att få djupare förståelse för det som studeras (Hyllenius et al. 2009).

Handboken Utvärdera med effekt av Bengtson et al. (2012) föreslår i flera exempel att beteendeförändringar ska mätas med enkäter av olika slag. Flera utvärderingsrapporter har även identifierats där målgruppens beteende har mätts med hjälp av enkätundersökningar (Zorowka & Weichbold 2003; Zorowka & Weichbold 2007; Folmer et al. 2007; Leishman et al. 2013). Enkätundersökningarna innefattar mellan ungefär 150-300 samt 1000-2000 deltagare.

I en annan rapport där kundinvolvering i ett sjukhus mättes användes också enkäter som datainsamlingsmetod på patienterna, men denna kompletteras även med intervjuer av personal i verksamheten för att få en djupare förståelse i en annan infallsvinkel. Resultatet av enkätundersökningen säger att patienternas involvering inte ökat medan intervjuerna säger annorlunda om resultatet. Där tror personalen att patienternas involvering ökat. Däremot framkommer det från intervjuerna att de uppfattat en förändring i kulturen gällande accepteras av patientinvolvering, även om de även ser hinder för förändring och hållbarhet. (Jangland & Gunningberg 2017)

I rapporten Mat och utveckling av Oxford Reseach (2020) används strukturerade intervjuer som kvantitativ mätmetod. Även kvalitativa djupintervjuer används för att få en djupare förståelse för målgruppens upplevelse (Oxford Reseach 2020).

2.8.4 Utvärderingsdesign

Handboken Utvärdera med effekt av Bengtson et al. (2012) anger att en viktig del i ett utvärderingsarbete är att göra en referensmätning för att kunna göra en jämförelse

(25)

mellan utfallet av ett projekt och hur det hade sett ut utan projektet. Referensmätningen kan ske antingen med en nollmätning eller med en kontrollgrupp (Bengtson et al. 2012). Handboken av Västra Götalandsregionen (2017b) anger också att det är viktigt att mäta både det faktiska utfallet efter projekt och utfallet utan projekt.

En utvärdering med en nollmätning innebär att en mätning görs på samma urval från målgruppen före och efter projektet har genomförts, vilket också går att benämna som en före- och efterstudie. En utvärdering med en kontrollgrupp innebär att en mätning görs på ett urval från målgruppen som inte tagit del av projektet med ett urval som har det, vilket också går att benämna som en tvärsnittsstudie. (Bengtson et al. 2012)

Det är viktigt att personerna i grupperna vid en tvärsnittsstudie är så lika som möjligt, och att mätningarna görs samtidigt och under lika förhållanden. En nackdel att ha i åtanke är att det finns ovidkommande variabler som stör mätningens resultat eftersom man inte kan veta om förändringen som skett uppstått till följd av projektet eller någonting annat utomstående. För att undvika påverkan av ovidkommande variabler ska miljön där förändringen sker vara så kontrollerad som möjligt, exempelvis i laboratoriemiljö. (Carlström & Carlström Hagman 2012)

I flera utvärderingsrapporter med syftet att bland annat mäta beteendeförändringar har utvärderingar genomförts med nollmätningar och mätningar mellan tre till tolv månader efter projektavslut, det vill säga med en före- och efterstudie (Zorowka & Weichbold 2003; Zorowka & Weichbold 2007; Folmer et al. 2007; Leishman et al. 2013).

2.8.5 Presentation av data

Resultatet av utvärderingar kan presenteras på olika sätt. Två exempel visar att data från enkäter sammanställs och presenteras genom tabeller. Tabellerna i det ena exemplet av Jangland & Gunningberg (2017) visar data såsom medelvärden, standardavvikelse och urvalsmängd. Tabellerna i det andra exemplet av (Zorowka & Weichbold 2003) visar istället procentandelar av hur många som väljer de olika valalternativen.

I en annan artikel skriven av Zorowka & Weichbold (2007) används istället diverse typer av stapeldiagram som sammanställning av insamlad data. Grupperat stapeldiagram med före- och efterstaplar visar fördelningen i respondenternas svar. För att illustrera hur olika åldersgrupper svarar presenteras även en staplad fraktionsstapel av effektmätningen där varje åldersgrupp representeras av en stapel med fraktioner som motsvarar vad åldersgrupperna svarar i andelar. (Zorowka & Weichbold 2007)

Kvantitativ data från strukturerade intervjuer kan också presenteras i diagramtyp, vilket i rapporten av Oxford Reseach (2020) görs i form av cirkeldiagram. För presentation av

(26)

kvalitativa data från de intervjuer som hittas i exempel från verkligheten så presenteras dessa i flytande text eller som sammanfattade svar på frågorna som ställs i tur och ordning (Jangland & Gunningberg 2017; Oxford Reseach 2020).

För att sprida resultatet av utvärderingen berättar Västra Götalandsregionen (2017b) att rapporter och slutsatser behöver göras tillgängliga. Detta kan betyda att utvärderingsrapporter skrivs och publiceras, och att resultaten presenteras i seminarier för lärandesyften. (Västra Götalandsregionen 2017b)

(27)

3 METOD

3 Metod

Följande kapitel presenterar först examensarbetets metodprocess. Därefter presenteras hur arbetet har förhållit sig till validitet och tillförlitlighet, källkritik samt etik.

Fallstudier bidrar enligt Yin (2003) till att kunna bevara holistiska egenskaper i verkliga händelser som exempelvis processer inom organisationer. Forskningsmetoden är ett vanligt verktyg i bland annat sociologiska, politiska och ekonomiska sammanhang. Fallstudien är lämplig då frågor om hur och varför finns och när lite kontroll finns över en situation. Yin (2003) anger också att metoden även är särskilt användbar när det finns en vilja att förstå ett komplext fenomen. Detta arbete är följer en fallstudiedesign. Fallet är kundfokuserad effektutvärdering och fallorganisationen är Region Jönköpings län. Syftet ämnar att besvara hur kundfokuserad effektutvärdering kan appliceras på fallorganisationens verksamhet inom Regional utveckling.

3.1 Metodprocess

Nedan presenteras metodprocessen som examensarbetet följer. De huvudsakliga stegen är en litteraturstudie, nulägesanalys, analys, test samt diskussion med slutsatser. Stegen är utformade med syftet att besvara examensarbetets tre frågeställningar.

Dessa steg presenteras i en grafisk bild nedan, i figur 3.1, som sammanfattar metodprocessen för arbetet.

Figur 3.1: Examensarbetets metodprocess som innehar de fem huvudstegen litteraturstudie, nulägesanalys, analys, test och diskussion med slutsatser

3.1.1 Litteraturstudie

Arbetet påbörjas med en litteraturstudie som genomförs med syftet att besvara arbetets första frågeställning, RQ1: “Hur beskrivs effektutvärderingsarbete som helhet och med

(28)

3 METOD

fokus på kund inom offentlig verksamhet i teorin?” Detta steg delas upp i två delar: en datainsamling genom datainsamlingsmetoden litteraturstudie och en dataanalys.

Själva litteraturstudien för arbetet påbörjas i samband med att examensarbetet påbörjas. I tidigt stadie genomförs den för att få en översiktlig bild av vilken information som finns att tillgå när det kommer till utvärdering samt hur detta appliceras i offentlig sektor. Den primära litteraturstudien introducerar nyckelord som anses vara relevanta och som vidare undersöks genom en grundligare datainsamling och analys vid ett senare skede av examensarbetet.

Nyckelorden som identifieras är de följande: Utvärdering, effektmål, projektmål, projekt, målformulering, SMARTa mål, kundfokus, offentlig sektor, datainsamlingsmetoder. Vid den mer djupgående datainsamlingen används nyckelorden i kombination med varandra och de används främst i sökmotorn på webb-biblioteket hos Linköpings Universitet som ger tillgång till många databaser. Men även söktjänsten Google används.

Litteraturstudien resulterar i arbetets teoretiska referensram. Detta genom att informationen som hittas vid litteraturstudien analyseras och det som anses vara relevant dokumenteras därefter i rapporten.

3.1.2 Nulägesanalys

En nulägesanalys av fallorganisationen genomförs för att förstå utgångspunkten. Kartläggningen genomförs genom en datainsamling bestående av datainsamlingsmetoderna litteraturstudie och intervju följt av en dataanalys. Nulägesanalysens syfte är att besvara arbetets andra frågeställning, RQ2: “Hur arbetar fallorganisationen med framtagning, målbeskrivning och utvärdering av projekt i dagsläget?”

En litteraturstudie är en systematisk process för att kunna identifiera vilken information som finns om ett ämne och metoden används för att få en översikt kring informationen som efterfrågas (Carlström & Carlström Hagman 2012; Collis & Hussey 2014). Därav påbörjas nulägesanalysen av en genomgång av litteraturen som finns att tillgå genom fallorganisationens egen hemsida, interna dokument samt mejlkonversationer.

Därefter övergår arbetet i nulägesanalysen till intervjuer som ett komplement till den insamlad data från litteraturstudien.

3.1.2.1 Intervju

Intervjuer kan vara strukturerade, ostrukturerade eller semistrukturerade där den sistnämnda är en kombination av de två andra och är en vanlig struktur inom en kvalitativ

(29)

3 METOD

forskning (Collis & Hussey 2014; Merriam & Tisdell 2016). I detta arbete genomförs semistrukturerade intervjuer med frågor som är baserade på litteraturen för att få en bättre förståelse av insamlad data samt för att få en förståelse för hur fallorganisationen förhåller sig till det som litteraturen föreslår. Intervjuerna sker genom webb-samtal och ljudet spelas in för att i vissa fall transkriberas efteråt.

I detta arbete genomförs först två semistrukturerade intervjuer för att få en övergripande bild över hur organisationen fungerar. Dessa genomförs i tidigt stadie av litteraturstudien och är då baserade på den dokumentation som finns angående projektansökan på fallorganisationen. När litteraturstudien är färdigställd genomförs ytterligare intervjuer för att svara på RQ2. Frågorna som ställs i dessa senare intervjuer är presenterade i appendix A1. Dessa genomförs genom fem intervjuer där två av personerna tillhör en gemensam grupp inom fallorganisationen och de tre andra intervjupersonerna tillhör en annan gemensam grupp. Mer om urvalet presenteras under senare rubrik 3.3 Urval av respondenter.

3.1.2.2 Sammanställning av data

All insamlad data analyseras därefter och sammanställs. Data analyseras genom att svaren på frågorna som ställs under varje enskild intervju sammanfattas i text för att få en överblick av vad de olika respondenterna sagt. Svaren mellan de olika respondenterna jämförs sedan för att identifiera likheter och skillnader samt hur det ser ut i organisationen. Dessa skillnader och likheter sammanfattas sedan i nulägesanalysen. Även tankar som går utanför frågorna som ställs inkluderas i nulägesanalysen ifall informationen anses vara relevant för syftet eller frågeställningarna av detta arbete. Dataanalysen mynnar ut i ett resultat genom en sammanställd nulägesbeskrivning av hur fallorganisationen arbetar med framtagning, målbeskrivning och utvärdering av projekt och är helt fristående från kommentarer från examensarbetesförfattarnas egna åsikter.

3.1.3 Analys

De två föregående stegen resulterar i en teoretisk referensram och en nulägesbeskrivning. Nästa steg i den metodprocessen benämns Analys och har som syfte att besvara examensarbetets tredje frågeställning, RQ3: “Hur kan effektutvärdering av projekt inom fallorganisationen genomföras med kundfokuserad datainsamling som huvudfokus?”. Steget Analys bygger på de två föregående stegen och innebär en jämförelse mellan den teoretiska referensramen och nulägesbeskrivningen för att förstå hur fallorganisationen förhåller sig till det som litteraturen föreslår.

Efter analysen sammanställs en guide. Utifrån analysen identifieras problem inom fallorganisationen som presenteras samt förbättringsförslag till dessa problem. Problemen som identifieras är till största del avsaknaden inom fallorganisationen av de moment som

(30)

3 METOD

guiden föreslår. Förbättringsförslaget till dessa problem är då att införa de avsaknade momenten.

3.1.4 Test

Efter genomförd analys med identifierade problem samt förbättringsförslag genomförs ett test för att undersöka realiserbarheten av den framtagna guiden på fallorganisationen. Testet består av två delar som är framtagandet av ett exempel på hur en effektutvärdering av ett projekt inom fallorganisationen kan ske och en kontroll av exemplet.

Exemplet är ett fiktivt effektutvärderingsarbete på det verkliga projektet Integration och kompetensförsörjning i Jönköpings län som presenteras senare i rapporten. Det fiktiva effektutvärderingsarbetet är då baserat på den framtagna guiden.

När exemplet är framtaget så genomförs en kontroll av detta genom en semistrukturerad intervju där fallorganisationen ger feedback och besvarar frågor som presenteras i appendix A2. Intervjun är likt föregående intervjuer ett webb-samtal där ljudet spelas in.

Detta exempel bidrar också till att besvara RQ3 genom att det också anger hur fallorganisationen kan utföra effektutvärderingar med kundfokuserad datainsamling som huvudfokus.

Syftet med testet är att presentera för fallorganisationen hur ett effektutvärderingsarbete på ett av deras projekt skulle kunna gå till. Vidare är syftet med detta test även att undersöka de olika momenten i guiden applicerade på fallorganisationen för att förstå realiserbarheten av guiden.

3.2 Validitet och Tillförlitlighet

Inom vetenskaplig metodik brukar validitet, tillförlitlighet och återskapsbarhet vara viktiga kriterium för forskningen som görs. Tillförlitlighet handlar om det man undersöker går att upprepa och ändå ge liknande resultat eller ifall resultatet ifrån mätmetoden kan variera kraftigt vid olika mättillfällen. Återskapsbarhet handlar om möjligheten för andra att återskapa studien och återfå samma resultat. Validitet berör frågor om hur mycket slutsatser som går att dra utifrån den data som fåtts fram ur forskningen. Valididet kan delas upp flera kategorier såsom mätvärdesvaliditet, intern validitet, extern validitet, ekologisk validitet och inferentiell validitet. (Bryman 2015)

Inom kvalitativ forskning vilket detta examensarbete kretsar kring finns det dock motsättningar kring att använda ovanstående koncept, som främst riktar sig till kvantitativ forskning. Därför finns olika sätt att hantera detta. Ett av sätten är att göra ändringar för att det ska passa bättre in i den kvalitativa forskningen. (Bryman 2015)

(31)

3 METOD

3.2.1 Validitet inom kvalitativ forskning

Intern validitet handlar om huruvida det finns en överensstämmelse mellan observationerna som görs i studien och de teoretiska idéer och tankar man utvecklar (Bryman 2015). Extern validitet behandlar frågor som om det som undersöks är generaliserbart även utanför den begränsade miljön som undersökningen sker i (Bryman 2015). För att skapa generaliserbarhet har personer med olika roller och som jobbar på olika sektioner intervjuats för att få en så heltäckande bild av nuläget på fallorganisationen som möjligt till nulägesanalysen. Om arbetet är generaliserbarhet utanför denna organisation kontrolleras emellertid inte.

3.2.2 Tillförlitlighet inom kvalitativa forskning

Intern tillförlitlighet är relevant att diskutera när det finns fler än en observatör i studien, och handlar om att observatörerna ska hålla med varandra om vad de ser och hör (Bryman 2015). Detta är något som i detta arbete genomförs genom att observationerna i form av intervjuer och analyser som baseras på dessa observationer görs av båda examensförfattarna i samråd med varandra. För att det ska finnas en överensstämmelse i de teorier som utvecklas baserat på litteraturstudierna så diskuteras analyserna och resultatet av den delen av båda författarna tillsammans.

Extern tillförlitlighet berättar om hur replikerbar studien är. Inom kvalitativ forskning beskrivs extern validitet som en svårighet då den exakta sociala miljön som studien görs i inte kan återskapas. För detta arbete och denna metod planeras det ej för en återskapning av arbetet.

3.2.3 Triangulering

Ett annat koncept som är centralt i detta arbete för att stärka trovärdigheten är triangulering (Bryman 2015). Triangulering går ut på att använda mer än en metod eller mer än en datainsamlingskälla i arbetet. I detta arbete finns både en triangulering i form av metod, då både litteraturstudier och intervjuer används för att skapa effektutvärderingsguiden och för källor av information då personer med olika arbetsroller och på olika sektioner intervjuas gällande guiden.

Om flera metoder eller källor pekar på samma resultat kan detta stärka tillförlitligheten. I lägen där resultaten pekar mot olika håll görs vidare undersökning av resultatet. I händelse av att helt olika resultat framkommer ifrågasätts metoden av datainsamling. (Carlström & Carlström Hagman 2012)

(32)

3 METOD

3.2.4 Respondentvalidering

Konceptet respondentvalidering är något som examensarbetet även använder sig utav. Ett sätt att genomföra respondentvalidering är att återkoppla och skicka tillbaka delar av den gjorda studien (Bryman 2015). Detta är även något som delvis görs i denna studie för informationen gällande nulägesdatasamlingen för att säkerställa att det inte blivit några missuppfattningar. Respondentvalideringen utnyttjas emellertid endast för intervjuerna i det tidiga stadiet av arbetet då både fallorganisationen och ämnet utvärdering är mer obekant för examensarbetesförfattarna i det skedet.

3.3 Urval av respondenter

I detta arbete används en typ av generellt subjektivt urval som beskrivs av Bryman (2015) som ett insamlingssätt, där detta egentligen är övergripande flera andra insamlingsmetoder. Insamlingsmetoden kan se ut på olika sätt där insamlingarna kan ske sekventiellt eller på ett fast sätt. Urval genom att använda en sekventiell ingång är när urvalet byggs upp allt eftersom arbetet utvecklas. Fasta urval är när urvalet bestäms i början av forskningen utan att förändras mycket genom arbetet. Valet av kriterier för att välja urval är även något som Bryman (2015) delar upp i två varianter. Den ena varianten är att på förhand bestämma vilka kriterium som ska användas under forskningen, och den andra varianten är att kontinuerligt göra ändringar i urvalskriterierna allt eftersom forskningen utvecklas (det går även att göra en blandning av de två varianterna). Kriterium kan exempelvis vara enligt ett exempel som presenteras i Brymans (2015) bok att respondenterna både måste vara en högre chef och en förtidspensionär. Något som också benämns av Bryman (2015) är de olika nivåerna av urval som är kontext och deltagare.

I detta arbete väljs respondenter ut genom kriterierna att mer än en avdelning ska vara representerade och personerna som intervjuades ska ha lite olika roller. Det är särskilt två roller som för detta projekt är intressant och därför intervjuas minst 2 respondenter ur denna grupp. Anledningen till att fler än en person intervjuas är för att kunna skapa någon typ av generaliserbarhet genom organisationen. Anledningen till att fler inte intervjuas är främst en fråga om tillgänglig tid hos examensarbetesförfattarna. Urvalet och kriterierna för intervjuerna väljs ut innan arbetet med intervjuerna startar, men tillåts justeras även när arbetet med intervjuer startat. Urvalet och kriterium väljs dock inte ut i samband med starten av projekt som helhet utan utvecklas allteftersom projektet utvecklas och mer information fås om vad som är intressant att undersöka.

I den tidigare delen av projektet används även annan typ av insamlingssätt, vilket är genom snöbollsinsamling. Snöbollsinsamling är enligt Bryman (2015) ett insamlingssätt som går ut på att bygga på ett urval genom låta respondenter föreslå andra respondenter att delta i studien. Endast två intervjuer görs på detta sätt.

(33)

3 METOD

3.4 Källkritik

Vid användandet av litteratur används källkritik för att bedöma källornas trovärdighet. När källornas trovärdighet bedöms finns flera kriterier att ha i åtanke (Umeå Universitet 2021). Frågor som enligt Umeå Universitet (2021) är värda att fråga sig är:

• Vem är ansvarig för informationen? • Vad innehåller informationen?

• Vilken är målgruppen för materialet? • När skrevs materialet?

• Varför har författaren skrivit materialet?

Majoriteten av källorna som används är böcker, vetenskapliga artiklar eller rapporter. I bedömningen av dessa är relevans och innehållet den viktigaste punkten vid bedömningen då det är av vikt att innehållet går att applicera även på detta arbete.

Vid användandet av böcker eller artiklar som källor sätts i detta arbete ingen större vikt på vem som är ansvarig utgivare, utan arbetet lägger snarare vikt på att det finns en ansvarig utgivare. Vid användandet av andra källor används mer försiktighet gällande dessa frågor i arbetet.

När målgruppen för texterna analyseras läggs särskild vikt på att texterna är riktade mot studenter eller forskare då dessa grupper sannolikt förväntar sig en akademisk korrekthet och gör innehållet speciellt relevant för detta arbete. Även texter som är riktade till allmänhet används, men då är det främst i sammanhang som rör fallorganisationen. Vid användandet av rapporter läggs däremot större vikt på vem det är som publicerat och i vilket syfte. Rapporterna som används i detta arbete är främst utgivna eller kopplade till offentliga organisationer vars information är riktade till att hjälpa offentliga organisationer med framför allt utvärderingar och mätningar, vilket är relevant för detta arbete.

Åldern på litteraturen som används varierar, den mesta av litteraturen är ifrån de senaste tio åren vilket anses vara relativt nära nutid. De verk som är betydligt äldre än så men ändå är inkluderade i rapporten är med på grund av att de är refererade av annan nyare litteratur i arbetet, de innehåller definitioner av kända koncept eller att de än idag används som kurslitteratur på universitetet.

När avsikterna med källor granskas i det här arbetet, uppskattas det ifall motiven med källan är att informera, publicera forskning, sälja, påverka eller underhålla (Umeå Universitet 2021). För att få så pålitlig fakta som möjligt undviks källor med avsikter att sälja, påverka eller underhålla. Publicering av forskning eller källor som uppfattas bara informera är de som eftersträvas i detta arbete.

(34)

3 METOD

3.5 Etik

Bryman (2015) berättar att det är avgörande att veta om de etiska principerna inom social forskning och refererar senare till Diener & Crandall (1978) som delat upp de etiska principerna i 4 huvudgrupper (Bryman 2015, s.125):

• Hurvida det är skada mot deltagarna.

• Hurvida det är en brist på informerat samtycke. • Hurvida det är ett intrång mot integriteten. • Hurvida bedrägeri är inblandat.

Under kapitlet från Brymans bok (2015) som handlar om skada mot deltagarna som beskrivs flera olika typer av skada mot deltagarna, såsom fysisk skada, skada mot deltagaren utveckling, förlust av självkänsla, stress och att få deltagarna att begå klandervärdiga handlingar. Även om dessa definitioner inte är helt applicerbara på detta projekt kan det ändå vara viktigt att tänka på hur ett projekt negativt skulle kunna påverka deltagare. Att tänka på konfidentialitet benämns även av Bryman (2015) som en del i att inte skada respondenterna. I detta arbete görs detta genom att inte namnge respondenterna från intervjuer i rapporten. Inspelningar och transkriberingar som görs förvaras enligt LIU:s policy och raderas när projektet är avslutat. Vid användandet av interna dokument som bifogats har namn plockats bort.

För att få ett informerat samtycke informeras syftet med intervjun till respondenterna. När inspelningar görs tillfrågas respondenterna först om det går bra för dem.

Inga tydliga intrång i integritet görs i detta arbete eftersom intervjuerna inte i sin grund är personliga eller handlar om respondenters privatliv. Kommunikationen med respondenter och organisation görs så ärligt som möjligt för att inte lura någon.

(35)

4 RESULTAT - NULÄGESBESKRIVNING

4 Resultat - Nulägesbeskrivning

“Den regionala utvecklingsstrategin ska leda till att Jönköpings län år 2035 är Sveriges mest hållbara, attraktiva och tillgängliga län där alla människor trivs, utvecklas och mår bra” (Region Jönköpings län 2020a, s. 3). För att komma närmare visionen för år 2035 genomförs olika projekt som finansieras med regionala utvecklingsmedel som ska bidra till att uppfylla målen i den regionala utvecklingsstrategin (Region Jönköpings län 2020a). I följande kapitel presenteras nuläget i Region Jönköpings län vad gäller projekt inom Regional utveckling samt en beskrivning av fallprojektet som vidare studeras i detta arbete. Kapitlet har sammanställts med information från flera olika källor, fristående från kommentarer från examensarbetesförfattarnas egna åsikter. Källorna är Intervjuer, mejlkonversationer, interna dokument och information från de två webbplatserna Sveriges kommuner och regioner (2020) och Region Jönlöpings län (2021).

4.1 Övergripande om projektframtagning

Nedan presenteras bakgrundsinformation om projekt innehållande projektframtagningsprocessen, hur dessa projekt finansieras, vilken roll Region Jönköpings län har i projekten de finansierar, samt några av de villkor som finns för att få stöd.

4.1.1 Framtagning av projekt

Processen för framtagning av projekt sker oftast genom att en idé först utvecklas innan en officiell projektansökan sker. Idéer kan komma från olika håll, både internt inom regionen eller externt från aktörer utanför den egna organisationen. Interna idéer kan exempelvis uppstå under möten som någon från regionen närvarar vid och externa idéer kan exempelvis skickas som intresseanmälningar till projektstrategen på regionen. Regionen för sedan ofta en dialog med den sökande för att den sökande ska kunna stärka idén och formulera den till ett starkare regionalt utvecklingsprojekt som är så pass tydligt så att det kan utgöra politiskt underlag. Den officiella ansökan skickas sedan in via en ansökningsportal på Tillväxtverkets webbplats. När en ansökan har skickats in av den sökande påbörjas handläggningen. Fallorganisationen går då igenom kriterier som finns och kontrollerar hur väl frågorna i ansökan har besvarats samt att budgeten är i linje med aktiviteterna och insatserna som är inplanerade. Fallorganisationen gör en bedömning och tar fram underlag för politiskt beslut. Ansökan går sedan vidare till politiska beslutsfattare i nämnder som tar beslut om projektmedel ska beviljas eller ej. Inom Regional Utveckling finns det två nämnder som oftast beslutar: nämnden för arbetsmarknad, näringsliv och attraktivitet eller nämnden för trafik, infrastruktur och

(36)

4 RESULTAT - NULÄGESBESKRIVNING

miljö. Den regionala utvecklingsdirektören kan också ta sådana beslut om en mindre summa pengar.

4.1.2 Finansiering av projekt

Region Jönköpings län finansierar projekt till Regional utveckling med de två källorna RU-medel och 1:1 medel. RU-medel (regionala utvecklingsmedel) är regionala skattemedel som avsetts individuellt inom varje region och 1:1-medel är statliga medel som fördelas till alla regioner i olika kvantitet. Regional utveckling kan också finansieras med EU-medel. De fonder som ligger närmast till hands för Region Jönköpings läns arbete är Europeiska regionala utvecklingsfonden och Europeiska socialfonden.

4.1.3 Vem som kan ansöka om projektmedel

Kommuner, myndigheter, organisationer, universitet, högskolor, ideella föreningar och enskilda aktörer som företräder flera företag kan söka regionala utvecklingsmedel. Regionala utvecklingsmedel kan däremot inte sökas av individer eller enskilda företag.

4.1.4 Villkor för finansiering

För att få finansiering av Region Jönköpings län finns det även flera villkor som projektet ska förhålla sig till. Ett centralt villkor är att det ska vara i enlighet med den regionala utvecklingsstrategin. Ett annat villkor är att projektet ska ge en effekt över hela det geografiska området Jönköpings län. Det är därför fördelaktigt om det omfattar hela regionen eller flera kommuner men det betyder till exempel samtidigt inte att enskilda kommuner inte kan söka och få stöd. Ett annat villkor är att det ska finnas en tydlig plan som sträcker sig över hela projektperioden för hur uppföljning, utvärdering och lärande ska gå till.

Vilken roll som regionen har i det bekräftade projektet varierar från projekt till projekt. Representanter från regionen kan exempelvis ha rollen som finansiär, projektledare, projektägare, eller styrgruppsmedlem.

I samband med utbetalning sker en projektuppföljning i form av lägesrapport och slutrapport som redovisas till regionen. I lägesrapporten ska man koppla de kostnader som ingår i ansökan om utbetalning till projektets genomförda aktiviteter. Direkt eller kort efter ett avslutat projekt sker, i samband med ansökan om slutbetalning, en uppföljning i form av en slutrapport där diverse frågor gällande hela projektets genomförande ska besvaras. I slutraporten besvaras frågor om bland annat projektets syfte, mål och budget. Region Jönköpings län jobbar i nuläget inte med någon strukturerad resultatuppföljning av avslutade projekt i form av mätning av effekter som är direkt kopplade till projekten.