Att utvärdera en sammanhållen grupp av enskilda insatser och projekt, såsom Matlandet, innebär flera utmaningar. En sådan är att det handlar om relativt många mål, flera olika målgrupper och många olika typer av insatser. En annan utmaning handlar om att många av insatserna som ingår i Matlandet inte är nya, utan har genomförts sedan tidigare vilket gör det svårt att identifiera just Matlandets bidrag till de resultat som eventuellt uppnås. En mer generell utmaning, som gäller både för
enskilda insatser och för samlade insatser i ett program eller en vision som Matlandet, är att knyta ett visst resultat just till de insatser som genomförts.
I utvärderingen försöker vi att hantera dessa utmaningar på olika sätt och med olika metoder. Uppdelningen i de tre syftena ovan har varit vägledande för arbetet.
1.2.1 Utvärdering av resultat och måluppfyllelse
Den första delen i uppdraget handlar om att bedöma och utvärdera resultat och måluppfyllelse. Med resultat menar vi de olika förändringar som har åstadkommits genom de genomförda insatserna. Vi har definierat begreppet resultat som en slags produkt av insatserna, men som i princip inte behöver vara relaterad till målen. Figur 1.1. nedan illustrerar det enkla resonemanget. Vi avsätter en resurs för att kunna genomföra olika aktiviteter. Varje aktivitet leder sedan till ett antal direkta resultat, t.ex. så leder ett investeringsstöd till att det genomförs investeringar för ett visst belopp i en viss region eller bransch.
Figur 1.1 Bedömningen av resultaten i ett program
Att utvärdera Visionens måluppfyllelse har i första hand handlat om att försöka bedöma i vilken utsträckning de uppställda målen är på väg att infrias eller inte. I utvärderingen av måluppfyllelsen tar vi i princip ingen hänsyn till frågan om vilken roll som Visionen i praktiken har spelat i måluppfyllelsen. Figuren 1.2 nedan illustrerar principen. Vi har ett utgångsläge präglat av en situation som vi vill
förbättra (t.ex. vad gäller sysselsättningen i företag på landsbygden). Vi sätter upp ett mål för hur stor förändring vi önskar se. Genom en eller flera insatser försöker vi förändra utgångsläget i riktning mot målet. Antag att vi efter (eller i halvtid) ser att den variabel vi önskade se en förändring i har utvecklats i positiv riktning, dvs.
närmat sig det mål vi satte upp men att vi ändå inte nått helt fram till målet.
Måluppfyllelsen utvärderar vi då som skillnaden mellan det faktiska läget (nuläget) i målvariabeln och det önskade dvs. målet.
Figur 1.2 Utvärdering av måluppfyllelsen av ett program
Även om vi i utvärderingen av Visionens måluppfyllelse inte diskuterar frågan om i vilken grad det är Visionen och i vilken grad det är andra faktorer (som inte har med Visionen att göra) som skapat den positiva utvecklingen, så bör en utvärdering av en Vision innehålla en analys av målens relevans, realism och utvärderbarhet.
Med relevanta mål menar vi att målen bör vara satta så att de är relevanta för de enskilda insatser som vi avser att genomföra. Med andra ord så bör vi undvika mål som inte kan påverkas av de insatser som vi avser att genomföra det bör finnas vad man brukar kalla för en teoretiskt logisk koppling mellan insats och mål.
Med realistiska mål menar vi att målen bör stå i någon slags proportion till vad som kan uppnås genom programmet. Med andra ord bör inte stora ambitiösa mål formuleras där insatserna är små och försumbara. Om sedan faktorer utanför programmet på ett oförutsägbart sätt gör att målen inte kan nås är det en annan sak.
Men på förhand bör målen vara rimligt nåbara genom programmets insatser. Häri finns förstås en avvägning som också handlar om att vi vill använda målen som en slags inspirationskälla för programarbetet och då gärna sätta mål som kan kallas
a .
Slutligen bör målen i så hög grad som möjligt vara utvärderingsbara, dvs. de bör vara mätbara i någon mening och tidssatta.
Inom ramen för vårt uppdrag har vi mot denna bakgrund även kommenterat och diskuterat Visionens mål i dessa avseenden.
1.2.2 Utvärderingen av effekter
Den andra utmaningen i vårt uppdrag handlar om att utvärdera effekterna av insatserna inom Matlandet. Här finns flera viktiga skillnader jämfört med att utvärdera måluppfyllelsen. Med en effekt menar vi den del i förändringen i
målvariabeln som kan knytas just till insatserna inom Visionen. I figur 1.3 försöker vi illustrera detta resonemang. På samma sätt som i figur 1.1 så har vi även här sett en förändring i målvariabeln som inte når ända fram till det uppställda målet. Men här ställer vi oss frågan: hur stor är insatsens bidrag i denna utveckling?
För att göra detta måste vi på något sätt försöka ta reda på hur målvariabeln skulle ha utvecklats om vi inte hade genomfört insatsen. Effekten av insatsen är alltså
skillnaden mellan det faktiskt uppnådda resultatet (läget i målvariabeln) och det läge vi antar att målvariabeln skulle ha haft om vi inte genomfört insatsen. Effekten är därmed i princip oberoende av om målet är uppfyllt eller inte.
Figur 1.3 Utvärdering av effekter i ett program
Det är uppenbart att den största utmaningen i en effektutvärdering ligger i att få en
a a a a . V a
komma tillbaka till denna utmaning mer utförligt i senare kapitel men vill redan här nämna två orsaker till varför detta är svårt.
För det första påverkas utvecklingen i målvariabeln vanligen av i många fall avsevärt fler faktorer än just själva insatsen. Om vi t.ex. genom ett investeringsstöd till jordbruksföretag vill påverka sysselsättningen på landsbygden så vet vi att denna också påverkas av en mängd andra faktorer såsom den allmänna konjunkturen, utvecklingen i för landsbygden viktiga näringar, utvecklingen i andra typer av regioner som kan attrahera arbetskraft från landsbygden etc. Vi kan kalla detta för omvärldsfaktorer.
För det andra påverkas effekten av en insats huruvida vi lyckas utforma insatsen så att den faktiskt förändrar något i aktörernas beteende. Om vi t.ex. utformar ett investeringsstöd så att det bara subventionerar investeringar som även annars skulle ha kommit till stånd så blir effekten av insatsen mindre än om den hade stimulerat investeringar som annars inte skulle ha ägt rum. Vi kan kalla dessa faktorer för insatsfaktorer.
För att utvärdera effekter av en insats försöker ma a a a a . Man vill skapa en situation som liknar verkligheten i alla andra avseenden utom just att själva insatsen inte funnits. Det vanligaste sättet att göra detta är att i efterhand skapa kontrollgrupper ur målgruppen för insatsen som liknar dem som fått del av insatsen i alla andra avseenden utom just att de inte fått någon del i insatsen.
insatser där vi med några olika metoder försöker att utvärdera effekterna av Matlandets insatser så här långt.
1.2.3 Utvärdering av Visionens betydelse
Slutligen har vi i vårt uppdrag också sökt att bedöma Visionens betydelse i ett större sammanhang. Målen för Visionen har ju även varit kvalitativa, dvs. att bidra till att skapa ett engagemang kring maten som drivkraft för utveckling och tillväxt lokalt, regionalt och nationellt, att bidra till att inspirera till nya verksamheter och att förändra attityder. En del av dessa mål fångas också upp i de kvantitativa indikatorer som finns, men andra är svårare att mäta.
Kontigo har hanterat denna del av Visionen i en ansats präglad av en kombination av metoder och tekniker. Vi har här både jobbat med att analysera de indikatorer som finns, men också sökt värdera dessa kvalitativa mål genom intervjuer och enkäter riktade till personer i målgruppen.
Det finns även ett annat perspektiv på Visionens betydelse. Som nämnts har Matlandet bestått av en rad olika enskilda insatser, av vilka flera har funnits sedan tidigare. Ska man i strikt mening kunna tala om effekter av Matlandet så är det då inte tillräckligt att de enskilda insatserna har en effekt. För att Matlandet skall ha en effekt så måste man också kunna visa att det finns en skillnad mellan de effekter man når med matlandet och de man skulle ha nått för de enskilda insatserna även utan matlandet. Vi har i denna utvärdering inte försökt att beräkna sådana effekter, men vi kommer dock i delar att diskutera frågan.
1.2.4 Avgränsningar
Föreliggande utvärdering omfattar de insatser som genomförs inom ramen för Landsbygdsdepartementets uppdrag och budget. I detta ingår insatser som öronmärkts i statsbudgeten för Matlandet samt projekt- och företagsstöd som
betalats ut inom Landsbygdsprogrammet och Fiskeprogrammet och som av ansvariga myndigheter klassificerats som stöd inom ramen för Visionen. Kontigo vill här poängtera att det finns en rad andra stödåtgärder, inte minst inom
Landsbygdsprogrammet och andra former av jordbruksstöd, som därmed inte ingår i denna utvärdering. En närmare beskrivning av dessa insatser görs i kapitel 2 och 3.
Kontigo har heller inte haft uppdraget att utvärdera de effekter på besöksnäringen som eventuellt har skapats genom olika internationella marknadsföringsinsatser.
Kontigo vill även tydliggöra att ytterligare två för Visionen viktiga delar av olika skäl inte ingår i utvärderingen, nämligen den sänkta restaurangmomsen och
kommunikationsstrategin. Effekterna av den sänkta restaurangmomsen skall utvärderas i särskild ordning och har därför inte inkluderats i denna rapport. Det bör ändå noteras att sänkningen innebar att sysselsättningsmålet för visionen ändrades från 10 000 till 20 000 nya jobb. Även Visionens kommunikationsstrategi är undantagen från utvärderingen.