Detta arbetes bidrag till organisationen är framtagandet av information om hur framtida effektutvärderingar skulle kunna genomföras för projekt de själva driver. Idag använder sig organisationen inte som helhet utav effektutvärdering och det finns inte heller något framtaget arbetssätt kring detta. Detta examensarbete har kommit fram till en praktisk guide som kan hjälpa Region Jönköpings län och eventuellt andra regioner som är i samma situation, i deras framtida effektutvärderingsarbeten.
Undersökningarna kring effektutvärdering i detta arbete har haft ett kundfokus som fokus eftersom kunderna är de som ska gynnas utav effekterna. Detta examensarbete har bidragit med att undersöka hur kundfokus och effektutvärdering kan slås samman och användas för projekt inom offentlig sektor. Kopplingen som gjordes mellan effektutvärdering och kundfokus var genom att koppla framgångsdimensionen av projekt påverkan på kund med kortsiktiga beteendeförändringar i målgruppen projekten var riktade emot. Arbetet har även belyst komplexiteten kring appliceringen av teori i effektutvärdering. Att arbeta praktiskt med koncepten går inte helt att ses som en steg för steg metodik där först en sak görs och sedan den andra. Ofta går flera utav stegen i guiden samtidigt som varandra eller att de kan låsa varandra. Ett exempel är att referensmätningar kan vara bäst att göra innan projektet i en form av förstudie för att veta om projektet är något som överhuvudtaget bör genomföras. Problemet med att genomföra en referensmätning innan projektet startat är till exempel att målen till projektet ej ännu kanske skapats vilket gör att referensmätningen när de verkliga målen sätts inte är så användbar. Risken med att kräva en referensmätning innan påbörjat projekt kan även bli att förstudien blir tung och resurskrävande när det inte ens är säkert att projektet i slutändan får finansiering.
7.5
Framtida Arbete
Ett stort område med förbättringspotential som har identifierats men som även enligt teorin är ytterst nödvändigt för ett lyckat effektutvärderingsarbete är arbetet med SMARTa mål. Det råder även ett gemensamt intresse inom fallorganisationen att utforma en metodik för just målformuleringen. En gemensam metodik gör att organisationen kan arbeta på ett entydigt sätt och att om-arbete där mål formuleras på nytt vid projektstart kan undvikas. Ett framtida arbete skulle därför kunna vara att undersöka och ta fram en sådan metodik för målformuleringen.
Ett framtida arbete är att göra en undersökning av vad som är mer ekonomiskt lönsamt - att effektutvärdera på egen hand (in-house) eller att anlita en extern utvärderare att göra jobbet. Fördelen med att göra det in-house är att man kan ta tillvara på kompetensen som genomfört projektet i fråga, vilket kan underlätta arbetet och spara tid då denna redan är insatt i hela projektet och vad som har genomförts. Denna person är även insatt
7 DISKUSSION
i vilka personer eller verksamheter som har varit delaktiga i projektet, vilket underlättar kontakten med dessa. Vidare kan arbetet med effektutvärderingen komma att vara mer naturligt för en projektledare då effektutvärderingen är en del av det egna projektet också eftersom effektutvärderingsarbetet påbörjas i samband med projektstart. Om projektet har en större omfattning med många olika aktörer och aktiviteter inblandade kan det däremot vara mer fördelaktigt att anlita en extern utvärderare för att avlasta projektledaren. På så sätt kan effektutvärderingen och projektet pågå simultant utan att andra aktiviteter eller moment i projektet fördröjs. Ett alternativ skulle kunna vara att ha flera projektledare som leder ett projekt tillsammans och samarbetar med både aktiviteter och utvärdering. Att vidare undersöka hur målen ska sättas, inte enbart formuleras eller brytas ner är även detta något som kan vara ett framtida arbete. En fundering som uppstod under arbetet var hur man kan veta ifall ett mål som sätts är tillräckligt bra. Ett exempel kan vara att ett mål sätts som innebär en fördubbling i antalet i förhållande till hur det var innan projektstart. Men frågan som uppstår då är om en fördubbling är ett tillräckligt bra mål som fallorganisationen ska sikta mot, eller om de bör höja eller sänka det målet.
Tolkning och presentation av data är ett mycket stort fält där bland annat komplicerade statistiska modeller och grafer kan vara en del av detta som inte berörts i detta examensarbete. Att gå djupare inom detta kan därför vara intressant för ett framtida arbete. Statistik skulle exempelvis kunna användas för att bestämma storleken på urval för att de ska vara statistiskt tillämpningsbart. Statistik kan användas för att avgöra om en förändring verkligen skett eller ifall det bara ser olika ut mellan två urval på grund av slumpmässig variation. Statistik inom förbättringsarbete är en viktig grund för stora kvalitets och verksamhetsutvecklingsdiscipliner som Sex-sigma och Statistisk processtyrning (SPS). Dessa discipliner ansågs dock av examensarbetesförfattarna vara var och en för sig för stora för att gå in på i detta arbete, men hade eventuellt kunnat vara intressanta att se närmare på även för effektutvärderingar av projekt inom offentlig sektor. Statistisk processtyrning exempelvis skulle även kunna vara en möjlig ingång till att svara på frågan ifall en beteendeförändring utav ett projekt verkligen är ihållande eller inte, då förändring över tid är något som granskas inom denna disciplin.
REFERENSER
Referenser
Bengtson, P., Lönngren, M. & Friedrich, J. A. (2012), ‘Utvärdera med effekt handbok för energi- och klimatrådgivare samt energikonto’, Eskilstuna.
Bergman, B. & Klefsjö, B. (2016), Kvalitet, från behov till användning, Vol. 5, Studentlitteratur.
Brook, Q. (2020), Lean Six Sigma & Minitab: The complete toolbox guide for business improvement, Vol. 6, Opex Resources, London, England.
Bryman, A. (2015), Social Reseach Methods, Vol. 5, Oxford University Press, Oxford, England.
Carlström, I. & Carlström Hagman, L.-P. (2012), Metodik för utvecklingsarbete och utvärdering, Vol. 5, Studentlitteratur.
Collis, J. & Hussey, R. (2014), Business research: a prectical guide for undergraduate and postgraduate students, Vol. 4, Palgrave, London, England.
Cresswell, J. W. (2013), Research Design: Qualitative, Quantitative, and Mixed Methods Approaches, SAGE Publications, Thousand Oaks, California.
Diener, E. & Crandall, R. (1978), Ethics in Social and Behavioral Reseach, University of Chicago Press, Chicago, Illinois.
Edström, A., Svensson, C. & Olsson, J. (2008), ‘Att mäta för att veta - praktiska råd och tips om mätning och uppföljning i samband med utvecklings- och förbättringsarbete i hälso- och sjukvården’.
Ekonomistyrningsverket (2016), ‘Verksamhetslogik’.
Ekonomistyrningsverktet (2007), ‘Resultatindikatorer - en idéskrift’. Etzioni, A. (2002), Moderna organisationer, Vol. 2, Aldus, Stockholm.
Folmer, R., Griest, S. & Martin, W. (2007), ‘Effectiveness of “dangerous decibels,” a school- based hearing loss prevention program’, American Journal Of Audiology 16:2, 165–181. Ha, S. H. & Lee, M. J. (2010), ‘Customer service quality improvement in the public sector
throughthe internet’, Total Quality Management & Business Excellence 21(11), 1161– 1176.
Hyllenius, P., Rosqvist, L. S., Haustein, S., Welsch, J., Carreno, M. & Rye, T. (2009), ‘Mas sumo vägledning i planering, uppföljning och utvärdering av mobilitetsprojekt’. Jacobsen, D. I. & Thorsvik, J. (2002), Hur moderna organisationer fungerar, Vol. 2,
REFERENSER
Jangland, E. & Gunningberg, L. (2017), ‘Improving patient participacion in a challanging context: a 2-year evluation study of an implementation project’, Journal of nursing management 25(4), 266–275.
Leishman, N., Taljaard, D. & Eikelboom, R. (2013), ‘Personal listening devices and the prevention of noise induced hearing loss in children: The cheers for ears pilot program’, Noise and health 15:65, 261–268.
Lindgren, L. (2014), Nya Utvärderingsmonstret: Om kvalitetsmätning i den offentliga sektorn, Studentlitteratur, Lund.
Lundeflo, H. & Sandsborg, K. (2005), Utvärdering av måluppfyllelse för polisen och skl, Master’s thesis, Linköpings Universitet.
Länsstyrelsen (2015), ‘Verktyg för uppföljning och utvärdering av åtgärder och projekt’. Merriam, S. B. & Tisdell, E. J. (2016), Qualitative Research : A Guide to Design and
Implementation, Vol. 4, Jossey-Bass, San Fransixco, CA.
Nationalencyklopedin (2021a), ‘Histogram’. [Online] Tillgänglig: http://www-ne- se.e.bibl.liu.se/uppslagsverk/encyklopedi/lång/histogram (Hämtad: 2021-04-05). Nationalencyklopedin (2021b), ‘sektordiagram’. [Online] Tillgänglig: http://www-ne-
se.e.bibl.liu.se/uppslagsverk/encyklopedi/lång/sektordiagram (Hämtad: 2021-04-08). Nationalencyklopedin (2021c), ‘Stapeldiagram’. [Online] Tillgänglig: http://www-ne-
se.e.bibl.liu.se/uppslagsverk/encyklopedi/lång/stapeldiagram (Hämtad: 2021-04-05). Oxford Reseach (2020), ‘Utvärdering av satsningar inom hållbara offentliga måltider’. Persson, A., Fjelkegård, L., Hartwig, P. & Sundström, A. (2016), Frågor och svar om
frågekonstruktion i enkät- och intervjuundersökningar, Statistics Sweden, Stockholm. Regeringskansliet (2021), ‘Regional utveckling’. [Online] Tillgänglig:
https://www.regeringen.se/regeringens-politik/regional-utveckling/ (Hämtad: 16 Mars 2021).
Region Jönköpings län (2020a), ‘Jönköpings län - regional utvecklingsstrategi’.
Region Jönköpings län (2020b), ‘Om organisationen’. [Online] Tillgänglig: https://www.rjl.se/om-oss/om-organisationen/ (Hämtad: 16 Mars 2021).
Region Jönlöpings län (2021), ‘Regionala utvecklingsmedel’. [Online] Tillgänglig: https://utveckling.rjl.se/bidrag-och-finansiering/regionala-utvecklingsmedel/ (Hämtad: 27 Januari 2021).
Serrador, P. & Turner, J. R. (2015), ‘The relationship between project success and project efficiency’, Procedia - Social and Behaviour Sciences 119, 75–84.
REFERENSER
Shenhar, A. & Boston, M. (2007), Reinventing project management: the diamond approach to successful growth and innovation, Harvard Business School Press.
Shenhar, A. J., Dvir, D., Levy, O. & Maltz, A. C. (2001), ‘Project success: A multidimensional strategic concept’, Long Range Planning 34:6, 699–725.
Skolverket (2017), ‘Effektkedjan’.
Statens beredning för medicinsk och social utvärdering (2017), ‘Utvärdering av metoder i hälso- och sjukvården och insatser i socialtjänsten’.
Sveriges kommuner och regioner (2020), ‘Så finansieras regional utveckling’. [Online] Tillgänglig: https://skr.se/samhallsplaneringinfrastruktur/regional utveckling/regionaltutvecklingsansvar/safinansierasregionalutveckling.9791.html (Hämtad: 27 Januari 2021).
Sveriges kommuner och regioner (2021), ‘Fakta om
kommuner och regioner’. [Online] Tillgänglig:
https://skr.se/tjanster/kommunerochregioner/faktakommunerochregioner.432.html (Hämtad: 16 Mars 2021).
Tillväxtverket (2021), ‘Följ upp, utvärdera och arbeta med lärande’. [Online] Tillgänglig: https://tillvaxtverket.se/vara-tjanster/guider-och-vagledningar/handbok-for-eu- projekt/planera/krav-pa-projektet/folj-upp-utvardera-och-arbeta-med-larande.html (Hämtad: 1 April 2021).
Tonnquist, B. (2018), Projektledning Teori och praktisk tillämpning av projektmetodik och agila metoder, Vol. 7, Sanoma Utbildning, Stockholm.
Umeå Universitet (2021), ‘Källkritik’. [Online] Tillgänglig: https://www.umu.se/bibliotek/soka-skriva-studera/informationssokning-och-
kallkritik/kallkritik/ (Hämtad: 18 Mars 2021).
Västra Götalandsregionen (2017a), ‘Lärande uppföljning och utvärdering - en modell för regional utveckling’.
Västra Götalandsregionen (2017b), ‘Uppföljning och utvärdering av regional utveckling’. [Online] Tillgänglig: https://www.vgregion.se/regional-utveckling/statistik- publikationer/utvardering-regional-utveckling/ (Hämtad: 16 Mars 2021).
Yin, R. K. (2003), Case study research - Design and methods, Vol. 5, SAGE Publications. Zorowka, P. & Weichbold, V. (2003), ‘Effects of a hearing protection campaign on
the discotheque attendance habits of high-school students’, International Journal of Audiology 42:8, 489–493.
Zorowka, P. & Weichbold, V. (2007), ‘Can a hearing education campaign for adolescents change their music listening behavior?’, International Journal of Audiology 46:3, 128– 133.
Appendix
A1
Intervju
A2
Kontroll
Figur A2.1: Frågorna som ställdes vid kontroll av exemplet, genom semi-strukturerad intervju.
A3
Fallprojekt
Figur A3.1: Urklipp från dokument tillhörande projektet Integration och kompetensutveckling där bland annat målbeskrivning tas upp
A4
Verksamhetslogik, exempel
Figur A4.1: Ett exempel på verksamhetslogik för en Tv-kampanj med syftet att minska rökning (Ekonomistyrningsverktet 2007, s.35).