Är resultatkejsaren naken?
Utmaningar med att utvärdera
hållbarheten av svenska biståndsprojekt
Kandidatuppsats 15 hp
Företagsekonomiska institutionen Uppsala universitet
VT 2018
Datum för inlämning: 2018-06-01
Jon Ariel Borgsö
Marcus Sebastian Sjökvist
Sammandrag
Resultatstyrning är idag den centrala styrningsformen inom svenskt bistånd. På senare år har ett ökade fokus på resultatstyrning, kallat resultatagendan, kritiserats för hur frågor om långsiktighet och hållbarhet hamnar i skymundan med fokus på kvantitativa och kortsiktiga prestationsmått i utvärderingar. Syftet med denna studie är således att undersöka vad svenska civilsamhällesorganisationer upplever som dagens utmaningar med att utvärdera hållbarhet i biståndsprojekt. Datainsamling har skett genom en litteraturstudie från officiella dokument och tidigare forskning samt fyra intervjuer med medarbetare hos svenska civilsamhällesorganisationer. Uppsatsen har utmynnat i tre övergripande slutsatser: För det första upplever civilsamhällesorganisationer att de lever i en s.k. post-resultatagenda där resultatagendans eftermälen inte är anpassat för mer långsiktigt fokus. Vidare önskas ett processorienterat tillvägagångssätt för hållbarhetsperspektivet där biståndsaktörer arbetar tillsammans för att låta hållbarhetsperspektivet genomsyra svenskt bistånd på en strategisk och aggregerad nivå. Slutligen upplevs det även finnas konkreta hinder för god hållbarhetsutvärdering kopplat till projektens finansiering där ett exempel är timingen på utvärderingar.
Nyckelord: Hållbarhet, utvärdering, resultatstyrning, resultatagendan, bistånd, civilsamhället.
Abstract
Results-Based Management (RBM) is the central form of management in Swedish aid today.
In recent years, the focus on RBM, commonly called the Results Agenda, has been criticised for how questions concerning long-term goals and sustainability has become neglected with the focus of quantitative and short-term results in foreign aid evaluations. The purpose of this thesis is to examine what Swedish Civil Society Organisations (CSOs) consider challenging when evaluating sustainability criteria in foreign aid projects. The data collection consists of a literature study of official documents and previous research as well as four interviews with co- workers at Swedish CSOs. The thesis has resulted in three overarching conclusions: Firstly, Swedish CSOs today experience living in a time of so-called Post-Results Agenda were the aftermath of the Results Agenda is not considered suited for more flexible and long-term focus.
Furthermore, a process oriented approach for the sustainability perspective is desired, where foreign aid actors work together for a comprehensive sustainability approach on a strategic and aggregated level. Lastly, a couple of concrete obstacles for better evaluation of sustainability criteria are found to originate from the projects’ funding, such as the timing of evaluations.
Keywords: Sustainability, evaluation, Results-Based Management, the Results Agenda, foreign aid, civil society.
Innehållsförteckning
1. Introduktion... 4
1.1 Inledning... 4
1.2 Bakgrund och problematisering... 4
1.3 Tidigare forskning, syfte och frågeställningar... 6
1.4 Avgränsningar... 8
1.5 Begrepps- och förkortningslista... 8
2. Teori... 9
2.1 Resultatstyrning... 9
2.1.1 Marknadisering... 9
2.1.2 Att styra mot mål och resultat... 9
2.1.3 Kritik mot resultatstyrning - resultat kontra mission...10
2.2 Utvärdering... 12
2.2.1 Vad är utvärdering?...12
2.2.2 Utmaningar med kvantitativa mått och resultatbaserad utvärdering…...13
2.2.3 Långsiktighet i resultatbaserade utvärderingar ...14
2.3 Teoretisk sammanfattning... 14
3. Metod... 15
3.1 Insamling av data... 15
3.1.1 Litteraturstudie... 15
3.1.2 Samtalsintervjuer...16
3.1.3 Val av respondenter...17
3.2. Konsekvenser av metodologiska val... 18
3.3 Kodning & Analys... 19
3.4 Presentationsmodell... 20
4. Empiri: Biståndssektorn och respondenter... 21
4.1 Resultatagendan... 21
4.1.1 Sidas förhållningssätt till resultatstyrning... 21
4.1.2 Resultatagendan enligt respondenter... 23
4.2 The Logical Framework Approach... 25
4.2.1 LFA enligt Sida...25
4.2.2 Respondenternas syn på LFA... 30
4.3 Hållbarhetsprioriteringar... 32
4.3.1 Hållbarhet enligt EBA... 32
4.3.2 Hållbarhetskriterierna enligt respondenterna... 34
5. Analys... 37
5.1 Resultatagendan... 37
5.2 LFA-metoden... 38
5.3 Hållbarhetsprioriteringar... 40
6. Slutsatser... 42
7. Begränsningar och implikationer... 43
8. Referenslista... 45
1. Introduktion
1.1 Inledning
Icke-vinstdrivande organisationer, inte minst biståndsorganisationer, utövar många gånger uppdrag med avsikt att möta behov som vinstdrivande organisationer inte möter. Uppdrag som humanitärt arbete, utvecklingsarbete eller fattigdomsbekämpning genererar oftast inte vinst (Weerawardena, McDonald & Mort, 2010), vilket ger dem speciella utmaningar i relation till ansvarsutkrävande (accountability) och legitimitet (Lindgren, 2006).
Det har under senare tid identifierats en trend att inspireras från vinstdrivande organisationer med ökad influens av marknadsmodeller hos civilsamhällesorganisationer, ett fenomen som benämns som “marknadisering” (Eikenberry & Kluver, 2004; Aras, Dholakia & Atik, 2017).
En följd av marknadiseringen är New Public Management (NPM), vilket beskrivs som ett samlingsbegrepp för den agenda i styrandet av offentlig verksamhet som tar inspiration från det privata näringslivet (Box et al., 2001). Med världsledare såsom Margaret Thatcher som förespråkare tog sig idéerna om NPM fart under 1980-talet. NPM inspirerade inte enbart reformer i styrningen av offentlig verksamhet utan även inom hur civilsamhället styrs och organiseras (Omvärlden, 2016).
Med NPM:s intåg i biståndssektorn har resultatstyrning blivit ett paradigm för dagens
biståndsorganisationer (Omvärlden, 2016). Resultatstyrning är styrning som främjar mätning, utvärdering och kontroll av mer kortsiktiga prestationsmått (Öberg & Wockelberg, 2012). Att använda resultatstyrning för att utöva sitt ansvarsutkrävande och sin legitimitet har dock ansetts problematiskt. På senare år har fenomenet kritiserats utifrån risken att fokus skiftas från organisationers sociala mission och långsiktighet till mätning av kortsiktiga resultat (Weerawardena, McDonald & Mort, 2010; McDonald, 2007). Detta är något som
argumenteras ske på bekostnad av fokus på flera områden som exempelvis vision, mission, lärande, hållbarhet och kvalitetsmätningar (Öberg, 2010; Hasselberg & Stenlås, 2010;
Lindgren, 2006)
1.2 Bakgrund och problematisering
Resultatstyrningens tillträde med dess omfattande krav på uppföljning har bland annat
Ramverket har sedan det utformades år 1991 blivit en standardmodell för utvärdering av biståndsprojekt (EBA, 2017). Ramverket innehåller fem grundstenar: relevans, effektivitet, produktivitet, inverkan och hållbarhet (OECD, 2018).
Det internationella anammandet av OECD/DAC:s ramverk kan ses som förberedande steg inför Milleniemålen. När FN:s generalförsamling enade världen i historiens främsta satsning på global fattigdomsbekämpning kom många nya krav på uppföljning och
resultatrapportering för världens biståndsaktörer (Isaksson, 2016). David Isaksson, journalist och grundare av Global Reporting, illustrerade den nya styrningen av svenskt bistånd i tidningen Omvärlden: Man kan säga att dagens fokus på resultatmätning tog sin början i samband med att de så kallade milleniemålen togs fram. Här fanns för första gången ett antal konkreta mål som världen förband sig att uppnå. (ibid.)
I Sverige har detta fokus mot en än högre resultatstyrning kommit att kallas
“resultatagendan” (Carleson, 2018). När ledningen för den svenska biståndsmyndigheten Sida (Styrelsen för internationellt utvecklingssamarbete) år 2010 kollektivt fick sparken med administrativt haveri som argument beskrevs detta som att ett nytt styrningsparadigm hade satts: Kvar blev en rädd myndighet, befolkad av biståndets egna homo sovieticus, personer som inte vågade ta risker och som la absurt mycket tid på kontroll, rapportering och planering. (Isaksson, 2016.)
Från 2010-talet och framåt har resultatagendan kritiserats allt mer från flera håll. Journalisten Agneta Carleson (2018) försökte sätta ord på vad många i sektorn redan kände:
För Sidas del har resultatstyrning i korthet inneburit att de tidigare mer långsiktiga analyserna ersatts av resultatinriktade planer och krav om återkommande och detaljerade redovisningar av resultat av olika insatser… De resultat som redovisas under de här förutsättningarna är inte alltid de mest relevanta eller intressanta för att biståndet ska bli effektivt och långsiktigt. (Carleson, 2018.)
Vidare har även resultatagendans metoder tagit emot omfattande kritik. Sida har länge uppmuntrat samarbetspartners att använda metoden Logical Framework Approach (LFA) i sin planering och utvärdering av biståndsprojekt (Sida, 1996). LFA kan beskrivas som en
resultatkedjan med fem olika steg av ett projekts process: input, aktiviteter, output, outcome och impact (Sida, 2018). Trots dess status som en globalt erkänd metod har idag röster höjts om hur LFA-matriser banat vägen för ett svagt och kortsiktigt utvärderingsarbete:
Vad är output, vad är outcome, vad är skillnaden mellan mål, aktiviteter och
purpose?…. När inte ens Sidas egna medarbetare kan förklara skillnaden är det skönt att ha hjälp av (dyra) konsulter som kan pressa in idéer och planering i de långa datalakan som ingen någonsin kommer att använda sig av igen… För trots att de flesta vet att LFA-kejsaren i själva verket är naken så vågar ingen ifrågasätta metoden, mallarna och modellerna. (Isaksson, 2016.)
Gemensamt för kritiken mot resultatagendan och dess metoder är hur kortsiktiga prestationer prioriteras högre än långsiktiga effekter. Den delen av OECD/DAC:s ramverk som försöker fånga dessa långsiktiga effekter av ett projekt är hållbarhet. I en biståndskontext kan
begreppet definieras som: att nyttorna av en aktivitet är troliga att bevaras efter att
givarfinansiering har fasats ut (EBA, 2017). I december 2017 tog den svenska myndigheten Expertgruppen för biståndsanalys (EBA) fram en rapport som starkt kritiserar svenska biståndsprojekts planering för- och utvärdering av uppnådd hållbarhet. Rapporten kritiserar dels hur nyttan av svenskfinansierade biståndsprojekt ofta riskerar att försvinna efter att finansieringen avslutats och dels hur nedprioriteringen av hållbarhetskriterierna i uppföljningsarbetet resulterar i opålitliga utvärderingar (EBA, 2017).
Det är tryggt att säga att resultatagendan verkar ha medföljt ett högre fokus på ökad
effektivitet och direkta resultat hos biståndssektorn. Men kritiska röster hörs också kring hur detta sker på bekostnad av biståndets långsiktiga effekter samt hur hållbarhetsperspektivet hamnar i skymundan för andra kriterier i utvärderingsprocessen. Frågan är således var prioriteringen av långsiktighet och hållbarhet ligger i ett resultatorienterat biståndslandskap.
1.3 Tidigare forskning, syfte & frågeställningar
Mycket av den tidigare forskningen kring svenskt bistånd har haft sitt fokus i
resultatagendan. Therese Brolin (2017) problematiserar hur biståndsfinansiärers ökade krav på ansvarsutkrävande har gett mer inflytande att styra insatsers målformuleringar från långsiktiga effekter till kortsiktiga resultat. Cathy Shutt (2016) fokuserar på
resultatstyrningens antagande att utveckling är linjär, kontrollerbar och lätt att mäta. Detta är någonting som försvårat för utövare att utveckla flexibla projekt som förhåller sig till de föränderliga och komplexa situationerna som de befinner sig i (Shutt, 2016).
Utöver detta har tidigare forskning även problematiserat resultatstyrningens metoder. Janet Vähämäki (2017) belyser hur LFA-modellen används av utvärderare trots den delade uppfattningen om att metoden omöjliggör specifika förutsägelser om långsiktiga resultat.
Denna styrningskonflikt har således visats fått konsekvenser för hållbarhetsaspekten. EBA konkluderade i sin senaste rapport om Sida-utvärderingar att hållbarhetsutvärderingarna innehar omfattande brister i deras pålitlighet på grund av aspektens nedprioriterade status (EBA, 2017).
Tidigare forskning har lagt stort fokus på att studera svenskt bistånd på en statlig nivå.
Framförallt har den offentliga styrningen av svenskt bistånd problematiserats med
Utrikesdepartementets strategier och Sidas styrning som studieobjekt. De faktiska utförarna av svenskfinansierat bistånd verkar däremot inte ha fått samma uppmärksamhet i den akademiska debatten. Därför är det intressant att ta reda på hur de utförande
civilsamhällesorganisationerna själva upplever dagens situation.
Efter det identifierade behovet av en högre representation för civilsamhället i den akademiska debatten, har syftet med denna uppsats utmynnat i att undersöka vad svenska
civilsamhällesorganisationer upplever som dagens utmaningar med att utvärdera hållbarhet i biståndsprojekt. Uppsatsens övergripande frågeställning lyder:
* Vad finns det för upplevda utmaningar med att utvärdera hållbarheten hos svenska civilsamhällesorganisationers biståndsprojekt?
Med inspiration från tidigare forsknings fokus och slutsatser har följande tre underliggande frågeställningar identifierats för att besvara den övergripande frågeställningen:
* Hur anses resultatagendan ha påverkat fokuset på långsiktighet i den civila biståndssektorn?
* Anses det finnas begränsningar med att utvärdera hållbarhet genom LFA-metoden?
* Hur prioriterade är hållbarhetskriterier jämfört med övriga kriterier i OECD/DAC:s
1.4 Avgränsningar
Denna uppsats studerar bistånd utfört av civilsamhällesorganisationer, så kallat bilateralt bistånd. Därmed studeras inte andra former av bistånd såsom multilateralt bistånd som går via överstatliga organisationer som världsbanken, FN-organen eller liknande.
Vidare har denna uppsats fokus på utvecklingsbistånd, det vill säga längre biståndsprojekt som syftar till att stärka lokala regioners långsiktiga utveckling. Därmed studeras inte strikt humanitärt bistånd i form av räddningsaktioner under humanitära katastrofer.
Ytterligare fokuserar denna uppsats på utvärderingar av enskilda projekt. Därmed studeras inte utvärderingar på aggregerad nivå, bland annat med vad som benämns som
programutvärderingar.
1.5 Begrepps- och förkortningslista
Tabell 1. Begrepps- och förkortningslista
Hållbar utveckling Utveckling som möter dagens behov utan att äventyra möjligheten för framtida generationer att bemöta sina behov. (FN, 1987.)
Hållbarhet i biståndsprojekt
… huruvida nyttorna av en aktivitet är troliga att bevaras efter att givarfinansieringen har fasats ut. (OECD/DAC, 2018.)
Sida Styrelsen för internationellt utvecklingssamarbete EBA Expertgruppen för biståndsanalys
LFA Logical Framework Approach
OECD Organisationen för ekonomiskt samarbete och utveckling
2. Teori
Nedan följer uppsatsens teoretiska referensram kring resultatstyrning och utvärderingsprocessen för biståndsprojekt.
2.1 Resultatstyrning
Resultatstyrning beskrivs som processen att ange mål där resultatet sedan följs upp, analyseras, diskuteras och bedöms i förhållande till dessa mål i syfte att förbättra eller bibehålla resultatet (Ekonomistyrningsverket, 2018). Nedanstående stycke lyfter fram resultatstyrningens utveckling och problematik med utgångspunkt i biståndssektorn.
2.1.1 Marknadisering
Civilsamhällesorganisationer, så som alla organisationer, har ett stort intresse i att uppvisa deras ansvarsutkrävande och legitimitet för sina intressenter (Weerawardena., McDonald, &
Mort, 2010). Däremot har civilsamhällesorganisationer som syfte att möta behov som varken privata eller offentliga verksamheter bemöter (Hansmann, 1980; McDonald, 2007). Privata verksamheter drivs av vinstintressen medan offentliga verksamheter av medborgarnas intressen. Civilsamhällesorganisationer har därför en roll i att bemöta de behov som varken kan generera vinst eller har ett brett medborgerligt intresse (McDonald, 2007). Som en följd av detta har civilsamhällesorganisationer ett speciellt förhållande till hur de uppvisar sina resultat då de ämnar tillföra socialt värde (Weerawardena., McDonald, & Mort, 2010).
Trots detta har en trend i att hämta inspiration från marknaden och privata aktörer identifierats i modern tid. Eikenberry och Kluver (2004) benämner denna trend
“marknadisering”. Vidare varnar de för att marknadiseringens alltmer konkurrenskraftiga miljö kan riskera att förblinda organisationer för sin sociala mission (ibid).
2.1.2 Att styra mot mål och resultat
Som en påföljd av en allt mer konkurrenskraftig miljö och en högre marknadisering har resultatstyrning blivit en central del för civilsamhällesorganisationer att uppvisa sitt ansvarsutkrävande för sina intressenter (Lindgren, 2006).
Att styra mot mål och resultat är något som Brunsson (2000) hävdar går hand i hand.
Resultatstyrning kan beskrivas som styrning som sker på basis av information om uppnådda mål där styrsystemet byggs på målformulering, resultatuppföljning och bedömning av åtgärder som bör vidtas (Weerawardena, McDonald & Mort, 2010; Jakobsson & Sundström, 2001). Brunsson (2000) argumenterar för att resultatstyrningens aktiva styrning, tydliga ansvarsförhållanden och kortsiktiga uppföljning syftar till att öka effektiviteten av organisationers aktiviteter. Nyckelfaktorerna i resultatstyrningsprocessen beskrivs vara följande:
1. Fokusera på resultat hos alla faser av ett projekts processer 2. Relatera planering, uppföljning och utvärdering till resultat 3. Använd prestationsmått och rapportera tydligt
4. Styr mot, och ej utefter, resultat
5. Använd information om dina resultat för lärande och beslutsfattande (UN Habitat, 2012)
2.1.3 Kritik mot resultatstyrning - resultat kontra mission
Resultatstyrning sägs underlätta delegering och ge organisationer större frihet att förvärva medel och arbeta på ett sätt de själva önskar utefter deras uppsatta mål om resultat
(Ekonomistyrningsverket, 2010). I undersökningen av Jakobsson och Sundström (2001) har resultatstyrning dock argumenterats att göra det motsatta. Resultatstyrning med stort fokus på styrning via dokumentation, målformulering och precision har menats ge en påtaglig ökning av ekonomiadministrativt arbete i organisationer (Jakobsson & Sundström, 2001; Öberg &
Wockelberg, 2012). Detta argumenteras höra ihop med att resultatstyrning har blivit starkt sammankopplat med finansiell styrning där kravet om budgetering, finansiering samt redovisning av mål, resurser, intäkter och kostnader har blivit så pass centralt för verksamheter (Hood, 1991; Power, 1997; Jakobsson & Sundström, 2001).
Genom att lägga stor vikt på ekonomi- och mättekniska aspekter hävdas resultatstyrning vara ett inflexibelt och svåröverskådligt system som inte är anpassat till organisationers verklighet (Jakobsson & Sundström, 2001; Öberg & Wockelberg, 2012). Att sköta procedurer med mängder av regler som organisationer behöver följa för att beräkna, planera och redovisa tar resurser i form av människor, tid och pengar (Jakobsson & Sundström, 2001; Öberg &
Wockelberg, 2012).
Jakobsson och Sundström (2001) presenterar ytterligare en allvarlig konsekvens av
resultatstyrning. Det argumenteras att när det blir ett för stort fokus på systematisk styrning med tidspress att presentera välformulerade och precisa siffror har annat tänkande svårt att tillträda. Detta kan leda till vad som kallas “undanträngningseffekten” (Jakobsson &
Sundström, 2001) där alternativa sätt att arbeta med fokus på exempelvis organisationers mission, hållbarhet eller kvalitet inte får behövligt utrymme (Jakobsson & Sundström, 2001;
McDonald, 2007). Detta behandlas även i Andrew Natsios (2010) studie på USAID (United States Agency for International Development) som handlar om balansen mellan lätta-att-mäta kvantitativa resultat och långsiktig mission grundad i kvalitativ utveckling. Andrew definierar konflikten mellan ansvarsutkrävande och kontroll å ena sidan och gott utvecklingsarbete å andra. Resultatstyrning argumenteras här förhindra biståndsorganisationer från att uppfylla deras mission.
Vidare kan diskussionen kring resultatstyrning kopplas till Herbert Simons (1982) distinktion mellan vad som benämns som substantiv- och procedur rationalitet. Substantiv rationalitet beskriver beslut som uppfyller en persons specifika mål och fokuserar därför endast på det slutgiltiga beslutet/resultatet. Procedur rationalitet betonar däremot processen samt beteendet av att bestämma sig och komma fram till ett beslut (Simons, 1982). Murell (1990) menar i sin forskning om resultat- och processorienterad utvärdering, att substantiv rationalitet är
underliggande till den resultatorienterade trenden som är dominant inom organisationer idag.
Att förlita sig på resultatorienterade utvärderingar argumenteras dock vara problematiskt.
Detta då det anses vara omöjligt att korrekt utvärdera mänskligt beslutsfattande som görs i komplexa omständigheter genom att främst använda sig av finansiella och kortsiktiga mått (Murell, 1990; Jakobsson & Sundström, 2001; Öberg & Wockelberg, 2012 ). Verkligheten består av dynamiska interaktioner mellan flera parter där planering och processer ofta förändras över tid (Jakobsson & Sundström, 2001). Alternativt föreslås ett så kallat
processorienterat tillvägagångssätt där utvärderingen förlitar sig på mer än endast kortsiktiga och slutgiltiga resultat för att undersöka organisationers planeringsprocesser (Murell, 1990).
Detta anses kunna göras genom att bland annat strukturera planeringen i väldefinierade och berättigade delmål för att systematiskt återkomma och överse utvecklingen av projekt (Jakobsson & Sundström, 2001).
2.2 Utvärdering
Utvärderingsprocessen sägs vara en nyckelprocess i att institutionalisera och effektivisera resultatstyrning överlag. Detta grundar sig i resultatstyrningens medföljande förskjutning av ansvarsutkrävande; en tidigare informell tillit till dem med formellt ansvar har bytts ut mot en mer instrumentell syn där man ständigt behöver systematiskt rapportera om sina prestationer (Lindgren, 2006).
2.2.1 Vad är utvärdering?
Utvärderingar används för att öka kunskap om projekt, visa på att redovisningsansvar efterföljs samt ge underlag till beslutsfattande och strategiutformning (Lindgren, 2006). I en tidigare studie om utvärdering beskriver Scriven (1991, s. 139) utvärdering som: the
determination of the worth or value of something, judged according to appropriate criteria, with those criteria explicated and justified. Utvärdering beskrivs således som en analys för att få fram tillförlitlig och användbar kunskap om värdet av någonting (Lindgren, 2006).
Det finns dock fler aktiviteter med mer eller mindre liknande egenskaper. Exempel på sådana är uppföljning, övervakning, kvalitétsmätning, inspektion och revision. Gränsen mellan dessa är inte alltid uppenbar men samtliga tillräknas vara viktiga för mätning av kvalitet och
resultat (Lindgren, 2006). Scriven (1991) beskriver uppföljning och övervakning som observation av projekts utveckling och användning av medel. Detta kan argumenteras skilja sig från det traditionella synsättet på utvärdering. Detta då det lyfter fram vikten av en löpande och systematisk genomförande av kontroll istället för ett utförande som sker vid endast ett tillfälle för att analysera färdiga projekt eller stadier av projekt (ibid).
För biståndssektorn anses både övervakning och utvärderingar som kompletterande och viktiga verktyg där termen “Monitoring and Evaluation” ofta används (M&E; Casley &
Kumar 1988; Stem et al., 2005). Detta lyfter upp vikten av att utvärderingsarbetet behöver utföras vid flera stadier av ett biståndsprojekt vilket inkluderar implementering, fortsättande aktivitet, vid utfasning och en tid efter utfasning (Sida, 2018). Utvärdering har således kommit att innefatta mer än att analysera slutgiltiga resultat, vilket menas ha försvårat kategoriseringen av övervakning och utvärdering. Lindgren (2006) hävdar att det idag inte går att ange exakt var övergången mellan processerna går.
2.2.2 Utmaningar med kvantitativa mått och resultatbaserad utvärdering
Till följd av högre krav på resultatstyrning har utvärderingsarbete ansetts blivit starkt resultatorienterat (Lindgren, 2006). Lindgren ser detta som problematiskt då
resultatorientering i huvudsak innebär insamling av kvantitativa data för information om prestation och effekt. Bland annat lyfter Lindgren fram resultatstyrningsprogrammet KRM (kvalitets- och resultatmätning) och menar att det där finns ett antagande om att
målformulering ofta kan kvantifieras och uttryckas i siffror (ibid).
Trots att kvantitativ information har fördelar i att vara tydligt och mätbart, finns det en viktig aspekt som Lindgren (2006) menar riskeras att ignoreras. Vid utvärdering av biståndsprojekt behövs nämligen även kvaliteten av projekt och tjänster mätas. Kvaliteten av projekten påverkas inte bara av vad som ges utan även hur det ges, vilket i praktiken kan vara svårt att mäta (Lindgren, 2006). Risken blir för resultatbaserade utvärderingar att främst det mätbara kommer att mätas och resten ignoreras, vilket leder till den så kallade ”resultatparadoxen”
(Van Thiel & Leeuw, 2002; Lindgren, 2006). Resultatparadoxen innebär att när människor lär sig vad som kan mätas kommer detta bli centralt för att uppnå önskad prestation och standard. Detta på bekostnad av andra aktiviteter (Lindgren, 2006). För biståndsprojekt skulle detta betyda att resultatmått som är enkla att mäta och kvantifiera blir viktigare än aktiviteter och mått som är svåra att kvantifiera.
En ytterligare problematik kring dagens ökande tyngdvikt av utvärderingsarbete är
användandet av det. Lindgren (2006) argumenterar för att mycket av den utvärdering som produceras inte används instrumentellt (till konkret beslutsfattande). Istället används den:
- konceptuellt (för att indirekt ge mottagaren ökad kunskap)
- politiskt/symboliskt (för att rättfärdiga en redan lagd ståndpunkt och/eller undergräva en annan ståndpunkt)
- rituellt (en utvärderar för det är så en ska göra).
När utvärderingarna inte används till sitt egentliga syfte, eller när syftet till och med är oklart bland beställarna, kan utvärderingarnas egentliga mening ifrågasättas och bieffekter av utvärderingarna riskeras att uppkomma (Lindgren, 2006).
2.2.3 Långsiktighet i resultatbaserade utvärderingar
Tidigare forskning har länge debatterat hur hållbarhet och utveckling mäts med
resultatbaserade utvärderingar (Brolin, 2017). En av de vanligaste politiska definitionerna av resultat vid utvärderingar är baserad på OECD/DAC:s beskrivning att resultat: is the output, outcome or impact (intended or unintended, positive and/or negative) of a development intervention (DAC, 2002, s. 33). Dessa tre termer syftar till olika typer av resultat och förenklat kan distinktionen beskrivas som omedelbara (output), kortsiktiga (outcome) och långsiktiga resultat (impacts; Sida, 2015).
Synen på de huvudsakliga målen för resultatbaserade utvärderingar skiljer sig mellan forskare och biståndsaktörer, dock finns det en allmän konsensus om vad som tillräknas gott
utvecklings- och utvärderingsarbete (Brolin, 2017). Detta har beskrivits som arbete som lyfter fram innovation och långsiktiga resultat där utvärdering av långsiktiga resultat (impacts) har nämnts som en central del för att uppnå hållbarhet (Renard, 2007; Eyben, 2010; Brolin, 2017). Utvecklingsaktörer och forskare har dock funnit motsägelser mellan denna syn på utvärdering och den faktiska implementationen av resultatstyrning. Resultatbaserade utvärderingar med ett indirekt fokus på att producera mätbara resultat har, som tidigare nämnts, fått betoning på kvantitativa mått och även kortsiktiga resultat. Kortsiktiga resultat kan således ha blivit viktigare än långsiktiga resultat i resultatbaserade utvärderingar, vilket sker på en bekostnad av hållbarhetsperspektivet (Renard, 2007; Eyben, 2010; Brolin, 2017).
2.3 Teoretisk sammanfattning
Marknadiseringen av det offentliga- och civila samhället har resulterat i ett högt fokus på kontroll av legitimitet och ansvarsutkrävande hos icke-vinstdrivande organisationer (Hansmann, 1980; McDonald, 2007). Som en följd av detta har resultatstyrning blivit den paradigmatiska styrningsmetoden inom svenskt bistånd idag (Lindgren, 2006). Att styra mot mål och resultat ska öka effektiviteten av ens aktiviteter och förenkla den externa kontrollen av en organisation (Brunsson, 2000). En vital del av detta är utvärderingsprocessen.
Utvärderingar är en av flera metoder som syftar till att kontrollera ens aktiviteter och resultat, vilket är sammankopplat till uppföljning och rapportering (Lindgren, 2006).
Såväl resultatstyrning generellt som resultatbaserad utvärdering har kritiserats från flera håll.
Den största tyngdvikten i denna kritik ligger i att resultatstyrningens omfattande
kontrollarbete och fokus på kortsiktiga, kvantifierade resultatmått förblindar organisationer från deras långsiktiga sociala mission (Lindgren, 2006; Brunsson, 2000; Natsios, 2010).
Utvärderingsprocessen i sig har en avgörande roll i hur organisationer styrs där det hävdas att resultatbaserad utvärdering prioriterar vissa resultat över andra (Van Thiel & Leeuw, 2002;
Lindgren, 2006). Detta gäller framförallt kvantitativa mått som är lätta att mäta linjärt vilket riskerar i att långsiktiga resultat som är mer komplexa att mäta inte får samma utrymme hos utvärderingarna (Lindgren, 2006).
Utvärdering ses främst som ett instrumentellt verktyg där vad som får utrymme och presenteras i utvärderingarna ska gälla som underlag för beslutsfattande (Lindgren, 2006).
Med betoning på kortsiktiga resultat riskerar utvärderingar att styra organisationer att
fokusera mer på direkta förändringar och låta långsiktighet- och hållbarhetskriterier komma i skymundan (Renard, 2007; Eyben, 2010; Brolin, 2017).
3. Metod
En kvalitativ metod för datainsamling och analys har upprättats med avsikt att besvara uppsatsens frågeställning om hur svenska civilsamhällesorganisationer upplever
utmaningarna med att utvärdera hållbarhet i biståndsprojekt. En kvalitativ undersökning har bedömts vara relevant eftersom avsikten är att få en kontextuell förståelse för biståndssektorn (Bryman, 2008). En kvalitativ undersökning kan ge inblick i deltagarnas egna uppfattningar och perspektiv på vad som är centralt i utvärderingar av hållbarhet och dess utmaningar (ibid).
3.1 Insamling av data
Insamling av data har skett genom två tillvägagångssätt. Inledningsvis har en litteraturstudie av vad som ansetts relevant litteratur ägt rum. Sedermera kompletteras detta med intervjuer med medarbetare hos svenska civilsamhällesorganisationer i biståndssektorn.
3.1.1 Litteraturstudie
I syfte att samla in relevant material har urvalet av sekundärkällor inspirerats av Scotts fyra
uppenbart. 2) Trovärdighet, att materialet saknar förvrängningar och riktiga felaktigheter. 3) Representativitet, huruvida materialet är typiskt och generaliserbart för kategorin. 4)
Meningsfullhet, att materialet är tydligt och förståeligt för läsaren. (Bryman, 2008.)
Denna studie är främst baserad på officiella dokument, bland annat från svenska myndigheten Sida och den statliga kommittén EBA. Även privata källor i form av forskningsarbeten och tidningsartiklar har använts. Bryman (2008) diskuterar att officiella dokument och privata källor kan uppfattas som autentiska och meningsfulla då deras ursprung bör ses som
otvetydiga och de oftast är begripliga och tydliga att förstå (Bryman, 2008). Mycket av den tidigare forskning som ligger till grund för studiens bakgrund och teoretiska ramverk har bedömts vara relevant och allmänt erkänt inom biståndssektorn då det återkommande
används och refereras till av svenska myndigheter. Resterande litteratur har hittats på Uppsala universitetsbibliotek samt på databaserna Scopus och Business Source Complete.
Var officiella dokument och privata källor kan inneha begränsningar är i sin representativitet och trovärdighet (Bryman, 2008). Med avsikt att i största möjliga mån fastställa dokumentets representativitet och trovärdighet har frågor som behövts ställas vid denna studie varit: 1) huruvida innehållet är typiskt för biståndsaktörer, det vill säga att insikterna och åsikterna är delade, samt 2) att innehållet kan anses vara sant och korrekt. Ett tillvägagångssätt för att svara på dessa frågor har varit att behandla källorna i efterföljande intervjuer. Genom att diskutera innehållet i sekundärkällor med respondenter har en klarare bild över huruvida åsikterna är delade i sektorn kunnat ges samt om innehållet anses stämma av praktiker. Ett sätt att genomföra detta har varit att ställa frågor till respondenter som grundar sig i
sekundärkällors innehåll.
3.1.2 Samtalsintervjuer
Vidare har samtalsintervjuer utförts då det har bedömts vara mest lämpat för att besvara frågeställningen. Samtalsintervjuer anses vara fördelaktigt för att få inblick i utvärderings- och biståndsaktörers egna upplevelser (Bryman, 2008) genom att personligen introducera studien och samtala i en mer avslappnad miljö (exempelvis i en caféteria). Anledningen till detta har varit att underlätta för respondenten att känna sig bekväm, få uttrycka sig fritt och belysa sina subjektiva upplevelser genom att få leda samtalet i önskad riktning. Samtliga respondenter fick även frågan om de önskade vara anonyma i studien.
En semi-strukturerad intervju har bedömts vara lämplig med avsikt att stärka validiteten i studien och hålla sig till studiens frågeställning och valda fenomen (Bryman, 2008). En intervjuguide har därför utformats för att strukturera intervjuerna (se Bilaga 1).
Intervjuguiden är uppdelad i tematiska och direkta frågor med avsikt att ta upp ett ämne (exempelvis resultatagendan) genom att inleda med en tematisk, övergripande fråga för att ge respondenten frihet att svara utan strikta ramar. De direkta frågorna är sedan sammanställda för att fungera som följdfrågor och ge intervjuerna en riktning vid behov. För att fånga respondenternas subjektiva upplevelser har frågorna varit formulerade som: “Hur upplever du...?” eller “Vad anser du…?”. Avsikten med intervjuerna är således att få en inblick i hur utmaningarna med att utvärdera hållbarhet upplevs för representerade
civilsamhällesorganisationer och det som anses vara värt att lyfta upp kring dessa frågor.
3.1.3 Val av respondenter
För intervjuer har ramorganisationer kontaktats. Ramorganisationer har övergripande avtal om finansiering av Sida (så kallad rambidrag) som sträcker sig över flera områden, projekt och år (Sida, 2018). Därmed behövs inte, som för övriga organisationer, ansökan om finansiering för varje planerat projekt. Antagandet har gjorts att detta kommer vara fördelaktigt för reliabiliteten i studien då Sidas beviljande av rambidrag visar på en erfarenhet, kompetens och pålitlighet hos organisationen. Dessutom resulterar
rambidragsfinansieringen i att organisationen är en av de större aktörerna inom Sverige.
Totalt intervjuades fyra respondenter där en respondent har bett om att vara anonym (se Tabell 2). Respondenterna har i första hand valts genom ett målstyrt urval där de som innehar chefspositioner hos ramorganisationerna kontaktades. Anledningen till detta är att de antas kunna ge en mer övergripande bild av biståndsprojekt och vad som anses som utmaningar med att upprätthålla hållbarhetsperspektivet. Två av studiens respondenter innehar
chefspositioner hos ramorganisationer; en internationell chef på We Effect och en som här kallas “programchef” hos anonym organisation.
Att endast intervjua respondenter som innehar chefspositioner kan dock ge en begränsad inblick i en organisation. Därmed kontaktades ytterligare två medarbetare direkt kopplade till utvärderingsprocessen för att få en uppfattning om upplevelsen för den som arbetar med
medarbetare har härlett till nya respondenter. Den första av dessa respondenter är en intern utvärderingsspecialist hos Rädda Barnen som arbetar med att utforma utvärderingarna för sin egen organisations projekt. Den andra är extern utvärderingskonsult hos Rightshouse och arbetar således på beställning för att utvärdera olika ramorganisationers projekt.
Att det gavs utrymme för både en intern och en extern utvärderare syftar till avsikten att inkludera fler perspektiv. Den interna utvärderingsspecialisten kan antas ha en mer direkt och djupare erfarenhet samt kunskap över utmaningarna med utvärderingsarbetet hos en
civilsamhällesorganisation. En extern utvärderingskonsult bedömdes istället vara ett bra komplement för att spegla erfarenheter av att utvärdera varierande projekt från olika civilsamhällesorganisationer. Detta kan ge en bredare syn på generella utmaningar med att utvärdera hållbarhet som möjligen överlappar flera typer av biståndsprojekt.
Tabell 2. Samtalsintervjuer
Titel Organisation Datum för intervju Intervjulängd Internationell chef We Effect 13/04-2018 55 min
Utvärderingskonsult Rightshouse 19/04-2018 50 min Utvärderingsspecialist Rädda Barnen 14/05-2018 45 min
”Programchef” Anonym 21/05-2018 50 min
3.2. Konsekvenser av metodologiska val
Värt att nämna är att det finns konsekvenser med studiens metodval som har behövts tas i åtanke. För samtalsintervjuerna gäller detta dels valet av frågor och ämnen som tagits upp.
Trots att intervjuguiden, som tidigare nämnt, har utformats för att möjliggöra för respondenternas subjektiva upplevelser, kan valda fenomen riskera att begränsa vad respondenterna tar upp kring utmaningar med att utvärdera hållbarhet.
Däremot är det nödvändigt att poängtera att dessa fenomen har valts ut med avsikt att rama in studien i vad som har bedömts vara relevanta områden. I litteratursökningen har dessa
fenomen visats sig vara omtalade och återkommande inom både tidigare forskning och officiella dokument från statliga myndigheter. För att dock inte leda in respondenter att svara på ett särskilt sätt har intervjuguiden formats för att introducera valda fenomen mer öppet
samt inkluderat en inledande fråga om utmaningar generellt och en avslutande fråga om vad respondenten fritt skulle vilja tillägga.
Vidare fås konsekvenser av det urval som valts och det faktum att de
civilsamhällesorganisationer som har intervjuats endast är ramorganisationer. Avsikten med detta var att respondenter i ramorganisationer bedömdes ha bred erfarenhet och insikt i utmaningarna kring hållbarhet i utvärderingar samt bör ses som representativa för de större biståndsaktörerna i Sverige. Däremot har detta val begränsat studien från insyn hos mindre civilsamhällesorganisationer och deras upplevelser kring utvärdering. Större
ramorganisationer skulle kunna tänka sig ha en mer institutionaliserad process för utvärderingar, något som troligen skiljer sig från mindre eller nyare
civilsamhällesorganisationer vilket denna studie inte lyfter fram.
3.3 Kodning & Analys
Datainsamlingen har presenterats och analyserats enligt följande: Först gjordes en summering för intervjutranskriberingar och insamlade litteraturkällor där materialet sammanställdes till kortare och tydligare underlag. Vidare kategoriserades det sammanställda materialet enligt de tre fenomen som de underliggande frågeställningarna rör (resultatagendan, LFA och
prioriteringar av hållbarhetskriterier). Empirin har således presenterats genom att delas upp i tre underrubriker kopplade till dessa tre fenomen. Varje underrubrik har inletts med en sammanställning av materialet från litteraturkällorna följt av respektive fenomens sammanställning från intervjuerna.
Vid sammanställning av samtalsintervjuerna för respektive fenomen har transkriberingarna tolkats mot varandra. Syftet var att identifiera likheter och olikheter mellan respondenternas svar. Valet har gjorts att i empiri och analys främst presentera de gemensamma ämnen och upplevelser som uttrycktes av majoriteten av respondenterna. Detta med avsikt att stärka representativiteten av det empiriska materialet och analysen. Dock inkluderas även vissa citat och upplevelser uttryckta av enskilda respondenter för att visa på var det fanns skilda åsikter.
Avslutningsvis har det empiriska materialet analyserats enligt den tidigare presenterade teoretiska referensramen kring resultatstyrning och utvärdering.
3.4 Presentationsmodell
Med avsikt att ge en överblick över hur studien är utformad samt hur empiri och analys presenteras har en presentationsmodell tagits fram (se Figur 1).
Figur 1. Presentationsmodell
Resultatstyrning, inkluderat resultatbaserade utvärderingar, kan här ses som den teoretiska referensram som ligger till grund för de tre fenomen som har valts att undersökas. Den teori och tidigare forskning som tagits fram kring resultatstyrning har som avsikt att ge bakgrund till studiens frågeställningar. Resultatstyrning och resultatbaserade utvärderingar har setts påverka flera led hos Sveriges biståndsaktörer och har därför bedömts vara centralt för att förstå de upplevda utmaningarna med att utvärdera hållbarhet (Lindgren, 2006; EBA, 2017).
De tre underliggande frågeställningarna i denna uppsats berör de tre fenomenen
resultatagendan, LFA-metoden och hållbarhetskriteriers prioritet. Dessa tre fenomen kan ses sammankopplade till resultatstyrning och kan argumenteras vara direkta följder av
resultatstyrningens inträde till biståndssektorn (Brolin, 2017; Vähämäki, 2017; EBA, 2017).
Exempelvis ses resultatagendan som trenden hos den svenska biståndssektorn att använda sig av resultatstyrning (Carleson, 2018). Däremot är det viktigt att poängtera att dessa fenomen inte nödvändigtvis bör ses som separata konsekvenser av resultatstyrning utan kan även influera varandra. Exempelvis kan användandet av LFA-matriser styra ens prioriteringar i utvärderingsprocessen eller resultatagendan leda till prioriteringar som styr hur LFA faktiskt används.
Påverkade av resultatstyrning och varandra utmynnar de tre fenomenen sedan i den faktiska utvärderingen av hållbarheten hos biståndsprojekt.
4. Empiri: Biståndssektorn och respondenter
4.1 Resultatagendan
4.1.1 Sidas förhållningssätt till resultatstyrning
För att ge en inblick i resultatagendans nuvarande läge presenteras här Sidas förhållningssätt till mål-och resultatstyrning som den beskrivs idag.
Sida anser mål- och resultatstyrning som ett viktigt förhållningssätt för att försäkra sig om att svenskt bidrag förbättrar levnadsstandarden för människor i nöd (Sida, 2018). Sida (2018) beskriver resultatstyrning som ett sätt att lära sig av framgångar och misslyckanden för att maximera nyttan av biståndsinsatser (det vill säga biståndsprojekt och program).
Förhållningssättet till mål- och resultatstyrning genom uppföljning och rapportering av resultat är något Sida vill ska tillämpas av deras samarbetspartners, de som genomför biståndsprojekt. Sida poängterar däremot att detta inte behövs göras genom en särskild modell eller terminologi, utan samarbetspartners väljer själv de metoder som anses lämpliga (Sida, 2018).
Mål- och resultatstyrning innefattar enligt Sida (2018) främst tre frågor: Vad ska uppnås? Hur ska målen uppnås? Hur kommer insatsen följas upp och/eller utvärderas? Vid Sidas
presentation och beskrivning av mål- och resultatstyrning så presenteras en resultatkedja med fem steg med följande förklaringar:
1. Input: Finansiella, mänskliga eller materiella resurser som införs vid en insats. T.ex.
pengar, medicinsk utrustning, teknisk expertis, volontärer.
2. Aktiviteter: Åtgärder och handlingar som omsätter resurser för att producera specifika ändamål och resultat. T.ex. vägbygge, förse vacciner/immuniseringar, undervisning
3. Output: Produkter, kapitalvaror eller tjänster som direkta följder av en biståndsinsats.
T.ex. nya vägar, antal studenter som har fullfört en kurs/program, antal vaccinerade barn.
4. Outcome: Kort- eller medelsiktiga effekter av resultaten som har uppnåtts. T.ex.
bättre tillgång till marknaden och större försäljning av produkter, fler studenter avancerat till universitet genom ny kunskap, färre barn insjuknar i en viss sjukdom.
5. Impact: Långsiktiga effekter av uppfyllda resultat och mål som används vid beskrivning av ett projekts hållbarhet. T.ex. bättre intäkter för hushåll, förbättrade arbetsmöjligheter, minskning av spädbarn- och barnadödlighet, förbättrad hälsa.
Samarbetspartners med Sida behöver inte använda matriser eller modeller som följer just denna terminologi men bör enligt Sida tänka mer analytiskt kring kausalitet och effekter av sina biståndsinsatser. Sida beskriver dessa steg som ett sätt att förstå logiken bakom
kausaliteten till den förändring som vill uppnås och visa på vilka krav som bör ställas vid biståndsprojekt och program (Sida, 2018).
Vidare diskuteras mål- och resultatstyrningens svårigheter, något som Sida menar blir tydligt när teori implementeras i praktiken. Den första svårigheten är komplexiteten i verkliga situationer. Det kan vara svårt, närmare omöjligt, att formulera och identifiera de exakta relationerna mellan orsak och verkan samt vilka långsiktiga effekter som är kopplade till vilka resultat. Sida (2018) argumenterar att i särskilda komplexa fall är det kontraproduktivt att kategorisera och peka ut exakta mål där organisationer tvingas hålla sig till en fast mall.
Istället uppmuntras flexibilitet och en öppenhet att anpassa målformulering och utvärdering enligt den verklighet situationen kräver.
Den andra svårigheten som nämns vid resultatstyrning benämns som att missa mitten (Sida, 2018). Vid försök att identifiera mål och beskriva hur målen ska uppnås är det lätt att
formuleringar görs för de direkta resultaten (outputs) samt de långsiktiga effekterna som detta förhoppningsvis leder till (impacts). Däremot saknas ofta målformuleringar som visar på mellanstegen och processen att nå de långsiktiga effekterna (Sida, 2018). Exempelvis kan ett direkt resultat (output) vara att ett visst antal seminarier är utförda med avsikt att öka
förståelsen och medvetenhet om mänskliga rättigheter (impact). Här saknas dock information på mellannivå om vad seminarierna konkret har lett till (outcome). Det behövs framgå vem
eller vilken grupp som ska förändra sitt beteende samt vilka relationer eller attityder som är en konsekvens av seminarierna (Sida, 2018). Hur ser förändring ut i praktiken?
Slutligen diskuteras även trenden att använda sig av kvantitativa mätningar som en konsekvens av mål- och resultatstyrning (Sida, 2018). Detta lyfts upp som en svårighet då mycket inom biståndsinsatser inte kan räknas på. När kvantitativa indikatorer används för att utvärdera huruvida mål är uppfyllda finns det en risk att det skiftar fokus från faktiska förändringar i verkligheten till siffror på papper. Vid exempelvis mätningar av beteenden eller attityder så anser Sida (2018) att kvalitativa indikatorer inte bör ignoreras och ersättas av de kvantitativa mått som lätt uppkommer vid resultatstyrning.
Sida (2018) beskriver således sin roll och förhållningssätt till resultatstyrning som en hjälpreda att stötta samarbetspartners vid deras biståndsinsatser. Sidas uppgift, enligt de själva, är inte att skriva i sten hur formulering av mål eller indikatorer ska ske, utan främst att skapa en dialog och uppmuntra att anpassa och implementera resultatstyrningen enligt
biståndspartners verkligheter.
4.1.2 Resultatagendan enligt respondenter
Resultatagendans implikationer
Samtliga respondenter uttryckte att resultatstyrning är en stor del av deras arbete, exempelvis inom planering, målformulering och identifiering av indikatorer för uppföljning. En stor anledning till detta menades vara den resultatagenda som har uppkommit under senare år.
Resultatagendan kunde enligt respondenterna ses som en politisk utveckling som grundar sig i tydligare mätning och kontroll över vad statens biståndspengar går till men som i praktiken är svår att tillämpa.
Respondenterna uttryckte att resultatagendan, med Sida i spetsen, tidigare har satt stor press på respondenternas arbete. En respondent sade bland annat att: för några år sedan fanns det någon typ av resultathysteri där jag upplever att svenska NGO:s eller enskilda
organisationer nästan blev paranoida… därför att Sida då krävde det. Vidare uttryckte en respondent att när resultatagendan tillträde så försöktes kvantitativa indikatorer formuleras
vi komma åt de här mjuka frågorna kring hållbarhet och följa upp social förändring, då måste vi ha andra uppföljningsmetoder också och inte bara få in det i en matris och kvantifierbara indikatorer.
Respondenter uttryckte även att med resultatagendan kom det hårda krav på redovisning av resultat men få instruktioner på hur det skulle göras:
... det konkretiserades aldrig. Det blev bara liksom svepande kritik mot att ‘det blir inga resultat’ men inget konkret om hur man skulle göra det annorlunda mer än att det blev en kontrollagenda… Det blev inget bra. Det blev resursslöseri till en massa meningslösa försök till mätning skulle jag säga. Och jag tror att hela biståndssektorn, alla organisationer, kände sig under attack… så alla hamnade i försvarsposition snarare för det var ingen som konkret kunde säga ‘gör det här istället’.
Finansiärers olika krav
När det kommer till att ansöka om finansiering så visade respondenterna sig vara överens om att Sidas krav idag skiljer sig betydligt från övriga givare och Sidas tidigare förhållningssätt.
Sida kan ha kommit till en större förståelse kring den komplexitet biståndsprojekt kan ha och är därför inte lika hårda på hur strikt matriser ska följas, inte minst vid utvärderingsprocessen.
Det ansågs problematiskt att alla finansiärer inte delar samma syn som Sida. En respondent uttryckte det som att: Sida bara är en givare, och även om det är en stor och viktig givare, är det bara hälften av våra pengar. Den andra halvan, det är ju de som är hemska (läs: den andra halvan givare angående deras krav på att följa matriser). Vissa respondenter sade även att de mer öppna kraven från Sida kan se annorlunda ut från de rutiner som är etablerade inom den egna organisationen, vilket särskilt kan gälla för större etablerade
civilsamhällesorganisationer.
Resultatagendan idag
Respondenterna var överens om att Sidas förhållningssätt till kontroll ser annorlunda ut idag än för ett par år sedan. Det delades en uppfattning om att resultatagendan till stor del har avtagit där en anledning till detta sades vara en högre flexibilitet och uppmaningar från Sida om att arbeta mer långsiktigt. Trots att respondenterna ansåg resultatagendan som delvis över gavs det varnande uttryck för hur det förra seklets styre sitter fast i väggarna:
... och så tänker jag dem på Sida som vi pratar med, det är ju liksom bra, vettiga människor som tänker i hållbarhetstermer. Men sen slår ju den krassa verkligheten in, och juristerna kommer in och hittar på massa dumheter, som gör att man liksom dras ner i resultatmatriserna likt förbaskat.
Respondenterna gav även uttryck för att Sidas snabba omvändning har förvirrat situationen för civilsamhällesorganisationerna: Så Sida sitter och säger ‘ja men kom in med en
aggregerad analys’ och så sitter vi… och tycker ‘nejmen våra system är inte gjorda för det’.
Jag tror att alla blev liksom chockskadade. Det diskuterades vidare om att det idag finns en
’rädsla’ hos de civila organisationerna i att skifta från de numera traditionella och detaljerade utvärderingsverktygen: När vi för de här diskussionerna inom ramorganisationerna så är det så att folk inte vågar prata om det. För tänk om finansieringen släpps. Vi kan ju liksom vara kaxiga hur mycket vi vill men om vi inte har pengar så kan vi inte göra något.
4.2 The Logical Framework Approach
4.2.1 LFA enligt Sida
The Logical Framework Approach (LFA) är en etablerad planeringsmetod som utvecklades 1969 (Couillard, Garon & Riznic, 2009). LFA används idag för planering och utvärdering av både icke-vinstdrivande och vinstdrivande organisationer världen över såsom EU, FN och Sida. Enligt Sida (2003) kan LFA beskrivas som en målorienterad modell som systematiskt ramar in planering, analys, uppföljning och utvärdering av projekt.
LFA använder sig av samma resultatkedja som tidigare presenterats: input, aktiviteter, output, outcome och impact (Sida, 2018). I LFA är det inte resurserna som är det intressanta utan främst slutresultaten och den inverkan ett projekt har. För ett biståndsprojekt kan dessa resultat exempelvis vara att fler barn får tillgång till utbildning, färre människor blir sjuka i
LFA har utvecklats för att biståndsprojekt ska kunna granskas i relevans, genomförbarhet och uthållighet (hållbarhet). Därför har planeringsprocessen delats upp i nio olika steg:
1) Analys av projektets kontext (sammanhang/omvärldsanalys) 2) Intressentanalys
3) Problemanalys/Situationsanalys 4) Målformulering
5) Aktivitetsplan 6) Resursplanering
7) Indikatorer, mått på måluppfyllelse 8) Riskanalys
9) Analys av förutsättningar för måluppfyllelse (Sida, 2003).
Tanken med dess steg är att LFA ska kunna användas och granskas under en hel projektcykel där stegen nödvändigtvis inte behöver följas i tät nummerföljd utan snarare anpassas för att underlätta för alla faser av ett projekt (Sida, 2018; Couillard, Garon & Riznic, 2009). LFA fungerar således som ett verktyg att lättare överse ett projekt samt skapa dialog mellan intressenter.
Att utforma ett projekt: steg 3-5
Centralt i det konkreta utformandet av ett projekt beskrivs vara de tre faserna problemanalys (steg 3), målformulering (steg 4) och aktivitetsplan (steg 5).
Ett konkret sätt att synliggöra problem som biståndsprojekt ämnar att lösa är att dela upp dem i ett så kallat problemträd (se Figur 2). Problemen är i problemträdet uppdelat i tre kategorier:
orsakerna till problemet, själva huvudproblemet och effekterna av problemet (Sida, 2003).
Vidare är målformuleringen en central del i planeringsfasen där Sida skiljer på tre
målgrupper: övergripande mål, projektmål och resultat (Sida, 2003). Dessa mål skiljer sig främst i hur långt fram i tiden de förväntas uppnås (ibid).
För projektets faktiska utformande görs en aktivitetsplan. Aktiviteterna är de konkreta handlingar som projektet utför där aktiviteterna utformas för att angripa orsakerna till huvudproblemet och leda till direkta resultat. Görs detta korrekt startas kedjan med att
uppfylla de mer långsiktiga målen som attackerar huvudproblemet och dess effekter (Sida, 2003).
Figur 2. Problem- och målträd (Sida, 2003, s. 11).
LFA-matrisen
När samtliga steg av en projektplanering är genomförda kan de sammanfattas i en så kallad LFA-matris (se Tabell 2). Vid utvärdering anses LFA-matrisens indikatorer vara centrala för att definiera vad som ska utvärderas. LFA-matrisen används inte enbart internt utan även för dialog med konsulter och finansiärer som utvärderar projekten (Sida, 2018; Couillard, Garon
& Riznic, 2009). Sida ser LFA-matrisen som ett styrdokument som underlättar
dokumentation, uppföljning, utvärdering och dialog för projektet (Örtengren, 2015).
Sida hävdar att en LFA-matris inte är obligatorisk att uppge vid ansökan om finansiering.
Däremot erkänns sådana matriser som den oftast använda sammanställningen av projekt och som ett verktyg de flesta civilsamhällesorganisationer uppskattar att använda för planering, uppföljning och utvärdering (Örtengren, 2015). Vid utvärdering av projektet hävdar Sida att det oftast grundar sig i att utvärdera de planerade och ifyllda indikatorerna för projektets logik samt övergripande-, projekt- och delmål (ibid).
Tabell 2. Exempel på hur en LFA-matris med fokus på indikatorernas roll kan se ut (Sida, 1996, s. 15).
Projektlogik Indikatorer Verifikationskällor Antaganden Övergripande mål:
Målgruppens hälsa skall ha förbättrats
20 procent färre fall av diarré, skabb, ögonproblem, malaria…
Rapporter och redovisningar från hälsokliniker i projektområdet
N/A
Projektmål:
Konsumtionen av rent vatten skall ha ökats från x till y och användningen av latriner från a till b
Upprättade vattenposter och latriner
Projektets halvårsrapporter
Vattenkällorna förblir oförorenat
Primärhälsovård och utbildning fortsätter att tillhandahållas Delmål 1: Femtio
procent av
målgruppen försedda med rent vatten i tillräcklig mängd
Vattenposter upprättade och tagna i drift;
vattenkvaliteten testad
Projektpersonal som besöker alla
byggplatser när installationerna är färdiga
Underhållssystemen kommer att fortsätta att fungera
Delmål 2: Tjugo procent av hushållen i målområdet försedda med latriner
Latriner byggda och korrekt använda
Hälsovårdsministeriets halvårsrapporter
Målgruppen är villig att acceptera nya vatten- och sanitetsvanor Förväntade
prestationer:
Målgruppens hygieniska vanor förbättrade
Målgruppens vanor mer hygieniska
Resurser: Tillräcklig tillgång av vatten av god kvalitet
Regeringen fortsätter att stödja projekt
Nödvändiga insatsvaror, materiel och personal finns tillgänglig
Alternativ till LFA
Att använda sig av LFA-metoden vid planering och utvärdering av biståndsprojekt är inte ett Sida-krav (Omvärlden, 2017). Vad som krävs vid ansökningar är att
civilsamhällesorganisationer har ett förhållningssätt till hur de ska kunna lära sig från vad som fungerar och inte fungerar i ett projekt samt rutiner för hur de ska agera på basen av denna information (Sida, 2018). Något som framkommit i litteratursökningen (Sida, 2018;
Omvärlden, 2017) är hur detta kan göras med alternativa metoder till LFA.
Outcome Mapping är en metod som används allt mer inom biståndssektorn (Omvärlden, 2017). Outcome Mapping berör specifikt aktörer och människor där fokus ligger på direkta förändringar i beteende, relationer eller aktiviteter hos de människor, grupper eller
organisationer projektet arbetar med (Earl, Carden & Smutylo, 2001). Förutbestämda mål och planerade resultat kan komma att ändras i verkligheten när projekt väl utförs. Outcome Mapping menas ta mer hänsyn till komplexiteten i projekt och dess planering, uppföljning och utvärdering (ibid).
En metod som påminner om ovanstående är Outcome Harvesting. Outcome Harvesting används för att identifiera och tolka effekter av ett projekt utan att nödvändigtvis ha en plan med förutbestämda och formulerade mål (Wilson-Grau & Britt, 2012). Modellen kan beskrivas att arbeta sig bakåt genom att först identifiera effekter och förändringar för att sedan härleda dessa till projektets specifika aktiviteter (ibid).
Ytterligare en modell, som baserar sig på långsiktiga mål, är Theory of Change. Precis som för tidigare nämnda modeller arbetar Theory of Change bakåt genom att först identifiera långsiktiga mål som vill uppnås för att sedan härleda dessa till de förutsättningar som måste vara uppfyllda för att målen ska nås. Dessa förutsättningar kartläggs för att fylla i alla stadier mellan långsiktiga mål till specifika aktiviteter, förutsättningar och indikatorer (Taplin &
Clark, 2012). Theory of Change beskrivs som centrerad kring förbättrad planering samt detaljerad förståelse och tydlig koppling mellan långsiktiga mål och specifika aktiviteter (ibid).
4.2.2 Respondenternas syn på LFA
Användandet av LFA
Samtliga respondenter hävdade att de i största hand använder sig av LFA i sina planeringar och utvärderingar av projekt. Det sades även att LFA fortfarande ses som den paradigmatiska metoden för utformande där modellen beskrivs som grunden för svenskt bistånd. Vid
intervjuerna beskrevs dock LFA att kunna användas på olika sätt där respondenter såg LFA som anpassningsbar och varierande: Det finns ganska många varianter av LFA. LFA är sådär som att säga ‘dieselbilar’ och då säger man ‘okej, men är det den här sorten eller den här sorten?’. Dessutom verkade respondenter medvetna om att de har makt över hur LFA:n används: Jag tänker att vad som är i LFA:n det bestämmer vi själva och hur man definierar de olika kategorierna… LFA:n i sig är ju mest bara ett avancerat Excel-ark.
Hur LFA används varierade dock mellan respondenter. Samtliga respondenter hävdade att en begränsad version av LFA:s 9 olika planeringssteg ibland används, där huvudsyftet var att upprätta och använda en LFA-matris. Vissa nämnde dock att de ansåg LFA-matriser som mer strikta planeringsverktyg där andra menade att indikatorerna i matrisen används mest som underlag för uppföljning och utvärdering.
LFA:s begränsningar
Samtliga respondenter uttryckte, trots det breda användandet av metoden, åsikter om dess begränsningar. En generell åsikt var att metoden antar att utvecklingen ska vara linjär och kontrollerbar, någonting som hävdades försvåra utformandet av föränderliga och komplexa projekt. En respondent förklarade detta som att:
... problemet är att det blir för statiskt. Man kan få ner saker och ting på papper men det är ju inte mer än en ögonblicksskildring. Ja, det kanske håller någon vecka men det är ju där och då. Och projektverksamhet eller programverksamhet, det förändras ju hela tiden.
Denna åsikt visade sig finnas en enighet om där en del av kritiken mot LFA var: ... att där är det nästan färdiga boxar. En aktivitet och en output och en outcome och en impact liksom. I realiteten visar det sig att man måste ha kanske fem olika målnivåer. Dessa begränsningar kopplade respondenterna främst till möjligheten att arbeta långsiktigt. Respondenterna
mer det som benämndes som “mjuka frågor” om exempelvis arbete för demokrati, mänskliga rättigheter, politisk inkludering och liknande utfördes hävdades det att det var betydligt svårare att förutse ens resultat och få in dessa i en matris. Det sades att när det trots allt läggs in i en matris finns en risk för att man fokuserar på de kortsiktiga resultaten av ens arbete istället för de långsiktiga effekterna.
Ytterligare gemensam kritik mot LFA berörde hur pressen på att använda metoden så utförligt som möjligt ibland riskerar att göra den överflödig. Det uttrycktes att när det har lagts större resurser och tid på att få ett så bra problem- och målträd medföljt matris som möjligt är det lätt att matrisen sedan läggs åt sidan istället för att användas till uppföljning och utvärdering. Respondenterna vittnade om att det finns risk för att metoden därmed inte används till sitt rätta syfte: Skickar du in den till Sida så blir alla glada… men så använder man inte den, så fortsätter man jobba som man alltid har gjort liksom.
Fortsättningsvis diskuterades finansiärers krav på LFA. Sida hävdar som tidigare nämnt att det inte krävs en LFA-matris för att ta beslut om finansiering. För samtliga respondenter var dock finansiärers krav något oklart. En respondent hävdade att trots att Sida inte kräver en LFA-matris officiellt är det ett absolut krav för att få finansiering då andra aktörer som ekonomer och jurister använder LFA-matriser för att godkänna handläggningar. En annan respondent vittnade om att LFA-matrisen inte ses som ett krav för finansiering på en mer aggregerad nivå utan snarare vid uppföljning och utvärdering på projektnivå. Ytterligare en mening var att Sida egentligen inte vill få LFA-matriser skickade till sig överhuvudtaget.
Slutligen, vid frågan om varför LFA-metoden, trots sin kritik, används i de flesta planeringar och utvärderingar som utförs var en mening att svaret ligger just i denna institutionella användning av metoden. En respondent förklarade det som att det inte går att bara sluta använda den då det finns en såpass stor och internationell kunskap om den. När de flesta medarbetarna har erfarenhet och kunskap om just LFA-metoden är det bekvämt och enkelt att fortsätta använda den istället för att lära medarbetare nya alternativ. Det samma gällde för samarbetspartners i andra länder, där LFA fungerade som en tydlig och grundläggande modell att kunna lära ut och kommunicera till andra aktörer: ... man måste ha någon slags grundmodell som man utgår ifrån… och då är LFA-modellen den mest vedertagna. Den som
Alternativa metoder
Samtliga respondenter hävdade att de använder sig av alternativa metoder till LFA i deras arbete. Såväl Theory of Change, Outcome Mapping och Outcome Harvesting var någonting som används av respondenterna. Alternativa metoder menades kunna användas till hela projektprocessen men även där LFA är planeringsverktyg för att sedan följas upp och utvärderas med hjälp av andra metoder. Alternativa metoder sågs ge möjlighet till mer flexibel planering och utvärdering. De sades även vara mer lämpade att exempelvis förändra matriserna efter att aktiviteterna satts igång samt gav större möjlighet att redovisa resultat och effekter av ens aktiviteter som inte var tidigare förutsedda.
En anledning till varför alternativa metoder användes beskrevs av en respondent som möjligheten att: hitta rätt nivå för att följa upp verksamheten. Vilken nivå är det vi ska målformulera för att förstå om vi bidrar till rätt saker? Mål som är ett steg högre än
exempelvis ökad kunskap? Det hävdades vidare att alternativa sätt att målformulera förenklar styrningen mot ett fokus på långsiktiga effekter:
Och då kommer man ju in på hållbarhetsfrågorna, det måste ju vara som en röd tråd i det, om målet är en hållbar fred i Syrien så måste man skapa förutsättningar för hållbara organisationer och hållbar utveckling rent allmänt. Och då måste det målformuleras också så att vi säkerställer att det sker.
4.3 Hållbarhetskriteriets prioritet
4.3.1 Hållbarhet enligt EBA
Hållbar utveckling
Begreppet hållbar utveckling fick sitt genomslag i biståndssektorn när OECD/DAC inkluderade det som en av fem grunddimensioner i sitt ramverk för utvärdering av
