Denna utvärdering har haft ett brett uppdrag, och stor frihet i att välja insatser som ska utvärderas. Utvärderingen har dock begränsats av tillgången till de data som är nödvändiga för att göra effektutvärderingar. En utvärdering är beroende av kvaliteten i uppföljningen hos utförande aktörer. Eftersom det inte finns generella riktlinjer för hur uppföljningen ska se ut, begränsas de insatser som är möjliga att utvärdera av tillgången till data. För framtida
utvärderingar är det därför viktigt att regeringen utarbetar riktlinjer för uppföljning hos utförande aktörer.
En väl formulerad förändringsteori på insatsnivå och policylogik är också viktigt för meningsfulla effektutvärderingar. Detta avgör vilka effektmål som utvärderingen ska riktas mot. En väl formulerad förändringsteori bör också ge en uppfattning om vilka
effektstorlekar som kan förväntas av insatsen.
Vi bör även undersöka möjligheten att använda data som innebär en kortare eftersläpning än de data som användes i denna utvärdering. Den långa eftersläpningen innebär att utvärderingen avser insatser relativt långt bakåt i tiden. Insatsens utformning kan därför ha förändrats efter den tidpunkt vi studerar. I den mån uppföljningen av insatserna
kontinuerligt förbättras blir förutsättningarna för effektutvärderingar bättre, särskilt om det dessutom är möjligt att korta tiden mellan uppföljningstidpunkten och när
effektutvärderingen kan inledas.
Generella riktlinjer för uppföljning
På en aggregerad nivå bör följande information finnas för samtliga projekt som ingår i insatsen:
•
Insats- eller projektbeskrivningar, som även omfattar information om insatsens innehåll och omfattning.•
Administrativa kostnader, både på program- och projektnivå.•
Uppföljningsrutiner för insatserna bör leda till att det finns register över deltagarna i insatsen. Registret bör innehålla- Person- eller organisationsnummer för deltagare - Tidpunkt för deltagande
- Om insatsen omfattar flera olika projekt, bör information finnas om vilket av projekten en enskild deltagare deltagit i.
- Det bör finnas en uppgift om omfattningen på insatsen, till exempel stödbelopp, eller omfattning av stödet i antalet timmar.
- Om deltagare inte deltar i hela insatsen bör detta framgå.
Det är även viktigt att utvärderaren har ett tydligt mandat att få tillgång till de uppgifter som är nödvändiga för utvärdering. Det bör vara tydligt om och när deltagare har rätt att delta i en offentligt finansierad insats utan att uppge sin identitet. Det gäller även under vilka förutsättningar utförande aktör är skyldig att lämna uppgifter om vem som deltagit i en insats till en utvärderande aktör. Deltagare bör informeras om att för att få del av insatsen, förväntas de uppge sin identitet, och ställa upp för att svara på frågor om insatsen i samband med uppföljningar och utvärderingar.
Tydliga insatsmotiveringar och förändringsteorier
När uppdragen formuleras bör det finnas tydliga resonemang om hur insatsen motiverats.
Om det finns flera ambitioner, bör det finnas en inbördes rangordning och en tydlig indikation av vilka som är primära och sekundära mål. Detta kan man göra tydligt när uppdraget utformas: Insatsen syftar till kan tolkas som att det avser primära mål. Om däremot insatsen ska bidra till avses troligen sekundära, eller mer övergripande, mål.
För effektutvärderaren är det viktigt att veta på vilken nivå, insatsnivå eller policynivå, insatsen ska utvärderas. Då kan utvärderingsmetoden, utfallsmåtten och i förekommande fall insatsens utformning anpassas för den aktuella utvärderingen. Det kan handla om att utforma insatsen på ett sätt som gör randomiserade experiment möjliga. Ett annat sätt är att använda tydliga administrativa urvalskriterier, baserade på observerbara data. Denna typ av programdesign kan bättre fånga effekter av små insatser.
Det bör även finnas en förändringsteori som beskriver insatsen och kopplar utformningen av insatsen till de primära politiska målen. Det får gärna finnas hänvisningar till statistik eller forskning som pekar på de utgångspunkter man använt när insatsen utformades.
Förändringsteorin bör definiera förväntade effekter av insatsen på deltagarnivå. Exempel:
”den som har deltagit i programmet ska förbättra …” (resultatmål) och ”vi förväntar oss att det ska leda till X” (effektmål). Effektmålet bör även kunna kopplas till policymålet: ”om X ökar (eller minskar), tror vi att det påverkar policymålet, eftersom…”.
6 Referenser
Acs, Z. J., Audretsch, D. B., Braunerhjelm, P. och Carlson, B. (2005): Growth and Entrepreneurship: An Empirical Assessment., Discussion Papers on
Entrepreneurship, Growth and Public Policy 3205. Max Planck Institute of Economics, Jena.
Ahmad, S.A. och Latif, I.A. (2012): The Effectiveness of Public Advisory Services: What are the Important Factors? International Journal of Business and Management 7(23), s 19-30.
Audretsch, D. B., och Mahmood, T. (1995): New firm survival: new results using a hazard function. Review of Economics and Statistics 77(1), s 97-103.
Audretsch, D. B., Keilbach, M. C. och Lehmann, E.E. (2006): Entrepreneurship and economic growth. Oxford University Press.
Audretsch, D.B. (1991): New-firm survival and the technological regime. Review of Economics and Statistics 73(3), s 441-450.
Bennet, R.J. och Robson, P.J.A. (1999): The use of external business advice by SMEs in Britain, Entrepreneurship & Regional Development: An International Journal 11:2, s 155–180.
Blackwell, M., Iaucus, S., King, G. och Porro, G. (2009): cem: Coarsened Exact Matching in Stata, Stata Journal 9(4), s 524-546.
Chrisman, J.J., McMullan, W.E., Kirk Ring, J. och Holt, D.T. (2012): Counseling assistance, entrepreneurship education, and new venture performance, Journal of Entrepreneurship and Public Policy 1(1), s 63-83.
Cumming, D.J. och Fischer, E. (2012): Publicly funded business advisory services and entrepreneurial outcomes, Research Policy 41, s 467-481.
Ellis, P.D. (2010): The Essential Guide to Effect Sizes. Statistical Power, Meta-analysis and the Interpretation of Research Results, Cambridge University Press, Cambridge.
FBA (2009): Statligt finansierad företagsrådgivning, FBA 2 februari 2009, Stockholm.
Geroski, P. A., Mata, J. och Portugal, P. (2010): Founding conditions and the survival of new firms. Strategic Management Journal 31(5), s 510-529.
Hjalmarsson, D. och Johansson, A.W. (2003): Public Advisory Services – Theory and Practice, Entrepreneurship & Regional Development 15, s 83-98.
Johnson, S., Webber, D.J. och Thomas, W. (2007): Which SMEs use external business advice? A multivariate subregional study, Environment and Planning A 39, s 1981-1997.
Johansson, D. och Falkenhall, B. (2013): Svenskt företagsklimat i internationell jämförelse – slutsatser och lärdomar, Ekonomisk debatt 41(6), s 5-16.
Jovanovic, B. (1982): Selection and Evolution of Industry, Econometrica 50, s 649-670.
Kahneman, D. och Lovallo, D. (1993): Timid Choices and Bold Forecasts: A Cognitive Perspective on Risk Taking, Management Science 1, s 17-31.
López-Acevedo, G. och Tinajero-Bravo, M. (2013): Evaluating Different Types of Enterprise Support Programs Using Panel Firm Data: Evidence from the Mexican Manufacturing Sector, Economía 14(1), s 1-32.
Lundström, A. och Kremel, A. (2011): Demands for Counselling Towards Surviving Business − A Role for Public Counseling. I Segelod, B, Berglund, K, Bjurström, E, Dahlquist, E, Hallén, L och Johansson, U (Red): Studies in Industrial Renewal.
Coping with Changing Contexts, s 329-342, Mälardalens högskola.
Mata, J., och Portugal, P. (1994): Life duration of new firms. Journal of Industrial Economics 42(3), s 227-245.
Mendez-Picazo, M-T., Galindo-Martín, M-A. och Ribiero-Soriano, D. (2012):
Governance, entrepreneurship and economic Growth, Entrepreneurship & Regional Development: An International Journal, 24 (9-10), s 865–877.
North, D.C. (1990): Institutions, Institutional Change and Economic Performance.
Cambridge: Cambridge University Press.
North, D.C. (2005): Understanding the Process of Economic Change. Princeton: Princeton University Press.
Proposition 2009/10:148: Företagsutveckling - statliga insatser för finansiering och rådgivning. Stockholm: Näringsdepartementet.
Rosenbaum, P.R. och Rubin, D.B. (1983): The central Role of the Propensity Score in Observational Studies for Causal Effects, Biometrika 70(1), s 47-55.
Saarela, M., Niinikoski, E-R., Muhos, M. (2014): Public business services fostering growth – case studies in northern sparsely populated areas, International Journal of
Innovation and Regional Development 5 (4), s 367-383.
SCB (2007): SNI 2007. Standard för svensk näringsgrensindelning 2007, Meddelande i samordningsfrågor 2007:2, Statistiska centralbyrån, Örebro.
Seo, J.H., Perry, V.G., Tomczyk, D. och Solomon, G.T. (2012): Who benefits most? The effects of managerial assistance on high- versus low-performing small businesses, Journal of Business Research (2012), doi:10.1016/j.jbusres.2012.07.003
Simon, M., Houghton, S.M., och Aquino, K. (2000): Cognitive biases, risk perception, and venture formation: How individuals decide to start companies, Journal of Business Venturing 15(2), s 113-134.
SOU 2002:41: Konsumentskydd vid finansiell rådgivning, Fritze, Stockholm.
Storey, D. (1999): Six Steps to Heaven: Six Steps to Heaven: Evaluating the Impact of Public Policies to Support Small Businesses in Developed Economies, i Sexton, D.L, och Landström, H (red). The Blackwell handbook of entrepreneurship.
Blackwell Business, 2000.
Storey, D. (2004): Exploring the link, among small firms, between management training and firm performance: a comparison between the UK and other OECD countries, International Journal of Human Resource Management, 15:1, s 112-130.
Tillväxtanalys (2009): Att utvärdera företagsrådgivning. En rapport om hur systemet för företagsrådgivning skulle kunna utvärderas i sin helhet, Rapport 2009:08,
Myndigheten för tillväxtpolitiska utvärderingar och analyser, Östersund.
Tillväxtanalys (2011a): Utvärdering av statligt finansierad företagsrådgivningdelrapport 1, WP/PM 2011:17, Myndigheten för tillväxtpolitiska utvärderingar och analyser, Östersund.
Tillväxtanalys (2011b): Effekter av företagsrådgivning - en forskningsöversikt, WP/PM 2011:30, Myndigheten för tillväxtpolitiska utvärderingar och analyser, Östersund.
Tillväxtanalys (2012a). Företagsrådgivning i form av konsultcheckar - En effektutvärdering av konsultcheckar inom ramen för regionalt bidrag för företagsutveckling, WP/PM 2012:02, Myndigheten för tillväxtpolitiska utvärderingar och analyser, Östersund.
Tillväxtanalys (2012b): Utvärdering av Nyföretagarcentrums rådgivning till nystartade företag, WP/PM 2012:14, Myndigheten för tillväxtpolitiska utvärderingar och analyser, Östersund.
Tillväxtanalys (2013): Uppföljning av 2008 års nystartade företag tre år efter start, Statistik 2013:01, Myndigheten för tillväxtpolitiska utvärderingar och analyser, Östersund.
Tillväxtanalys (2014a): Utvärdering av Almis rådgivningsverksamhet, PM 2014:xx, Myndigheten för tillväxtpolitiska utvärderingar och analyser, Östersund.
Tillväxtanalys (2014b): Utvärdering av rådgivningsprojekt inom Tillväxtverkets program för företagare med utländsk bakgrund, PM 2014:19, Myndigheten för
tillväxtpolitiska utvärderingar och analyser, Östersund.
Tillväxtanalys (2014c): Företagsstöd till innovativa små och medelstora företag – en kontrafaktisk effektutvärdering. PM 2014:16, Myndigheten för tillväxtpolitiska utvärderingar och analyser, Östersund.
Williamson, O. (1985): The Economic Institutions of Capitalism. New York: Free Press.
Wennekers, S. och Thurik, R. (1999): Linking Entrepreneurship to Economic Growth, Small Business Economics 13, s 27-55.
Viljamaa, A. (2011): Exploring small manufacturing firms’ process of accessing external expertise, International Small Business Journal 29(5), s 472–488.
www .til lv axt ana
Tillväxtanalys, myndigheten för tillväxtpolitiska utvärderingar och analyser, är en gränsöverskridande organisation med 60 anställda.Huvudkontoret ligger i Östersund och vi har verksamhet i Stockholm, Brasilia, New Delhi, Peking, Tokyo och Washington D.C.
Tillväxtanalys ansvarar för tillväxtpolitiska utvärderingar och analyser och därigenom medverkar vi till:
• stärkt svensk konkurrenskraft och skapande av förutsättningar för fler jobb i fler och växande företag
• utvecklingskraft i alla delar av landet med stärkt lokal och regional konkurrenskraft, hållbar tillväxt och hållbar regional utveckling
Utgångspunkten är att forma en politik där tillväxt och hållbar utveckling går hand i hand. Huvuduppdraget preciseras i instruktionen och i
regleringsbrevet. Där framgår bland annat att myndigheten ska:
• arbeta med omvärldsbevakning och policyspaning och sprida kunskap om trender och tillväxtpolitik
• genomföra analyser och utvärderingar som bidrar till att riva tillväxthinder
• göra systemutvärderingar som underlättar prioritering och effektivisering av tillväxtpolitikens inriktning och utformning
• svara för produktion, utveckling och spridning av officiell statistik, fakta från databaser och tillgänglighetsanalyser
Om rapportserien:
Rapportserien är Tillväxtanalys huvudsakliga kanal för publikationer.
I rapportserien ingår även myndighetens faktasammanställningar.
Övriga serier:
Statistikserien – löpande statistikproduktion.
Svar direkt – uppdrag som ska redovisas med kort varsel.
PM – metodresonemang, delrapporter och underlagsrapporter är exempel på publikationer i serien.
Foto: Niki Odolphie from Frome, England
(Longleat Maze Uploaded by fluteflute) [CC-BY-2.0 (http://creativecommons.org/licenses/by/2.0)], via Wikimedia Commons