"Man kan inte vara en glad amatör längre" : Om resultatmätning, lärande och legitimitet bland biståndsorganisationer

J

Ö N K Ö P I N G

I

N T E R N A T I O N A L

B

U S I N E S S

S

C H O O L

JÖNKÖPING UNIVERSITY

”Man kan inte vara en glad amatör längre”

Om resultatmätning, lärande och legitimitet bland biståndsorganisationer

Kandidatuppsats inom statsvetenskap Författare: Åsa Svensson

Handledare: Benny Hjern Jönköping, maj 2008

Kandidatuppsats inom statsvetenskap

Titel: ”Man kan inte vara en glad amatör längre”. Om resultatmätning, lärande och legitimitet bland biståndsorganisationer.

Författare: Åsa Svensson Handledare: Benny Hjern Datum: 2008-05-28

Ämnesord Resultatstyrning, bistånd, lärande organisationer, enskilda organisationer, utvärdering

Sammanfattning

Under 2000-talet har Sveriges internationella utvecklingssamarbete blivit allt mer resultatstyrt och man har beslutat att Sverige ska styra sitt utvecklingssamarbete mot tydligare mål, resultat och samordning samt ökad effektivitet. En del av Sveriges internationella utvecklingssamarbete utförs av enskilda organisationer, och återrapporteringen av dessas resultat har ansetts bristfällig för att utläsa huruvida stödet till enskilda organisationer varit ett effektivt sätt att bedriva utvecklingssamarbete på. Syftet med denna uppsats är att undersöka hur man inom några av Sveriges enskilda organisationer har utvecklat sitt tänkande kring resultatmätning, vad som påverkat denna utveckling och vad det har fått för konsekvenser. Slutsatserna är att de enskilda organisationerna som ingår i denna studie har ökat sin ambition att mäta resultaten av sitt utvecklingssamarbete sedan ett antal år tillbaka och lärt sig och utvecklats mycket på området. I vilken utsträckning de påverkats av externa krav i omställningen är svårt att avgöra, men ökade krav har fått konsekvenser för organisationerna. Det tycks finnas stor vilja att kommunicera resultaten, samtidigt som man står inför dilemman vad gäller resultatmätning av kommunikationsverksamheten.

Innehållsförteckning

1 Inledning ... 1

1.1 Bakgrund ...1

1.2 Problemdiskussion ...3

1.3 Syfte och frågeställningar ...3

1.4 Disposition...3

2 Metod ... 4

2.1 Kvalitativ metod ...4 2.2 Datainsamling...4 2.2.1 Primärdata ...4 2.2.2 Sekundärdata...4 2.2.3 Intervjuernas genomförande...5 2.2.4 Intervjumanualen ...5 2.2.5 Bearbetning av intervjuerna...5 2.3 Urval ...6 2.4 Förstudie ...7 2.5 Förförståelse ...7 2.6 Metodkritik ...8

3 Teoretisk referensram... 8

3.1 Om lärande organisationer ...8

3.2 Om utvärdering och resultatmätning...11

3.3 Kritisk granskning av teorin ...13

4 Om mål- och resultatstyrning i Sverige... 14

4.1 Mål- och resultatstyrning av statligt stöd till den ideella sektorn ...15

4.2 Mål- och resultatstyrning inom biståndet ...16

4.2.1 Svenskt utvecklingssamarbete ...16

4.2.2 Det civila samhällets organisationer ...17

5 Empiri... 18

5.1 Hur man bedömde resultat före resultatstyrning...18

5.1.1 Utvecklingsarbetet i Syd ...19

5.1.2 Kommunikationsverksamheten i Sverige ...21

5.2 Orsakerna till den förändrade synen på resultatmätning ...22

5.2.1 Brytpunkt för ökad resultatmätning? ...22

5.2.2 Varför nytt fokus på resultatmätning?...22

5.2.2.1 Legitimitet ...23

5.2.2.2 Planering och fokusering...23

5.2.2.3 Organisationsutveckling i Syd ...24

5.2.2.4 Externa influenser ...24

5.2.3 Synen på Sidas krav och biståndsdebatten ...25

5.3 Resultatfokuseringens konsekvenser för organisationerna ...27

5.3.1 Utvecklingsarbetet i Syd ...27

5.3.1.1 Mottagarrollen ...27

5.3.1.2 Givarrollen ...28

5.3.1.3 Tillvägagångssätt – resultatmätningssystem och rapportering ...29

5.3.2 Kommunikationsverksamheten i Sverige ...30

5.3.2.1 Avgränsning och tydligare mål ...30

5.3.2.2 Har externa krav påverkat kommunikationsverksamheten? ...31

5.3.3 Gemensamma konsekvenser för utvecklingsarbete och kommunikationsverksamhet...32

5.3.3.2 Externa krav och effektivitet ...33

5.3.3.3 Lärande ...34

5.3.3.4 Professionalisering – en ”engagemangsdödare”? ...35

5.4 Att kommunicera utvecklingsarbetets resultat ...36

6 Sammanställning och analys av resultat... 38

6.1 Hur man mätte resultat tidigare ...38

6.2 Varför resultatmäter man på det sätt man gör idag? ...39

6.3 De externa kravens konsekvenser ...40

6.4 Kommunikation och legitimitet ...42

6.5 Avslutande diskussion om lärande ...44

7 Reflektioner ... 45

1

Inledning

In times of change learners shall inherit the earth, while the learned find themselves beautifully equipped to deal with a world that no longer exists. (James Thurber)

Det inledande citatet är taget ur Nancy Dixons verk med titeln The organizational learning cycle: How we can learn collectively (1999). Dixons teori om lärande organisationer utgår ifrån en globaliserad värld under ständig förändring i vilken otaliga organisationer verkar över nationsgränser, kulturella gränser och i komplexa globala nätverk. Global konkurrens och att förändring sker i allt snabbare takt kräver att dagens organisationer även måste ny generera kunskap i ett högre tempo för att överleva och vara framgångsrika

Denna uppsats handlar om organisationer som vill förändra världen och om dessa organisationers egna utveckling och lärande. Lärande och förändring är två faktorer med ömsesidig påverkan på varandra: ju snabbare förändring sker desto snabbare måste organisationer lära sig, och ju snabbare organisationer lär sig desto snabbare kan de skapa förändring.

De lärdomar man har dragit i Sverige av en lång tradition av internationell biståndsverksamhet tycks vara att bistånd blir som effektivast när man säkrar dess kvalitet genom resultatmätningssystem. Den svenska folkrörelse som under flera decennier har arbetat för global rättvisa och fred har uppenbarligen förändrats en hel del genom åren, och kommit att utvecklas till en allt mer professionell biståndsbransch. Den glade amatören som förr kunde åka till Afrika och uppskattades för sin solidaritet och välvilja har inte längre lika mycket att komma med som för några decennier sedan. Idag präglas istället den svenska debatten om internationellt utvecklingsarbete av begrepp som biståndseffektivitet, givarsamordning och resultatmätning.

Kraven på de enskilda organisationerna att bevisa vilken nytta de skattepengar de tilldelats har gjort ute i världen har hårdnat. Den här uppsatsen är ett försök till att skapa en bild av varför man inom några svenska enskilda organisationer har förändrat sitt tankesätt kring resultatmätning. Begreppet organisatoriskt lärande har en central plats när jag undersöker vad som ligger bakom att resultatmätning har fått en sådan stor betydelse för den ideella sektorns biståndsorganisationer och vilka följder detta fått.

1.1

Bakgrund

Mål- och resultatstyrning är begrepp som kommit att bli honnörsord inom svensk offentlig förvaltning sedan de introducerades under 1980-talet. Idag genomsyras all statlig verksamhet av denna ”resultatkultur” där utvärdering, effektivitet och kvalitetssäkring har kommit att bli nyckelord i hur den svenska staren styrs. (Montin, 2004).

Den ideella sektorn som får statligt stöd för sin verksamhet har däremot inte varit föremål för resultatstyrning på samma sätt. Under 90-talets andra hälft började man på allvar att undersöka hur resultatstyrning av föreningsbidrag skulle kunna tillämpas. Frågan var komplex då frivilligorganisationer ligger utanför den statliga sektor och har delvis andra utgångspunkter för sin verksamhet. Genom åren har dock trenden gått mot att den statlige bidragsgivaren ökat kraven på återrapportering av de bidrag som ges till den ideella sektorn för att kunna bedöma vilken nytta bidragen genererar i samhället. (SOU 1998:38). Inom området för internationellt utvecklingssamarbete har detta blivit tydligt under 2000-talet.

Under senare år har en allt starkare debatt om resultatstyrning inom området för internationellt utvecklingsarbete växt fram, både i Sverige och internationellt. Att Sverige ska leva upp till krav på tydligare mål, resultat och samordning av det internationella utvecklingsarbetet. Att resultatmätning prioriteras har fastställts både i Sveriges politik för global utveckling (PGU) som riksdagen fattade beslut om 2003, liksom den så kallade Parisdeklarationen från 2005 som är en internationell överenskommelse över hur biståndet ska harmoniseras mellan givarna för störst möjliga effektivitet.

Ett led i att det internationella utvecklingssamarbetet har blivit tydligare mål- och resultatstyrt är att Styrelsen för internationellt utvecklingssamarbete (Sida) har fått ökade krav på sig att kunna påvisa resultaten av sin verksamhet. I ett projekt om resultatredovisning som genomfördes av Sida och avslutades år 2006 uppvisades flera brister i systemet för rapporteringen av de enskilda organisationernas resultat av de skattepengar de tilldelats. Sidas återrapportering till skattebetalare, riksdag och regering var inte tillräcklig för att utläsa huruvida stödet till enskilda organisationer var ett effektivt sätt att bedriva utvecklingssamarbete på (Sida, 2006).

Sida ger stöd till enskilda organisationer både för att bedriva internationell biståndsverksamhet och för informationsverksamhet om globala utvecklingsfrågor i Sverige. År 2007 uppgick Sidas bidrag till enskilda organisationer till 1,3 miljarder kronor. (Sida, 2008). I början av år 2007 fastställde Sida nya anvisningar för anslaget till enskilda organisationer med tydligare koppling till PGU. De nya anvisningarna syftar till att styra organisationerna mot målet om att utveckla ett livskraftigt och demokratiskt civilt samhälle där de mänskliga rättigheterna respekteras. Varje program, projekt eller insats som får bidrag via Sida ska kunna visa hur man bidragit till målet genom att redovisa för bland annat uppföljningsmetoder och indikatorer för måluppfyllelse. (Sida, 2008).

Tendenserna att efterfråga tydligare bevis på vad de enskilda organisationernas utvecklingssamarbete och kommunikationssamarbete leder till för resultat har skapat en debatt i biståndssverige om vilka metoder som ska tillämpas för att möjliggöra detta och hur det ska samordnas mellan olika aktörer. Sedan Riksrevisionen presenterade sin rapport Oegentligheter inom bistånd. Är Sidas kontroll av biståndsinsatser via enskilda organisationer tillräcklig? (RiR 2007:20) i september 2007 har debatten till stor del kommit att handla om legitimitet. I rapporten levererades skarp kritik mot Sidas förmåga att kontrollera var de pengar de ger till enskilda organisationer tar vägen och hur de används. ”Biståndskorruptionen” kommenterades flitigt i medierna och både Sida och den ideella rörelse som arbetar för global utveckling, rättvisa och fred blev plötsligt sammankopplad med bedrägerier och ineffektivitet i allmänhetens ögon. Biståndsviljan bland den svenska befolkningen är enligt en undersökning från Statistiska centralbyrån som genomfördes i oktober-november 2007 fortsatt hög, men förtroendet för det svenska biståndets aktörer minskar. Svenskarnas förtroende för biståndets effektivitet sjönk drastiskt under 2007 i jämförelse med 2006 (Sida, 2008).

Idén om resultatmätning har på allvar slagit rot inom den ideella sektorn. Resultatstyrning har dock tillämpats mycket längre inom den statliga sektorn, och med blandade resultat enligt forskning på området. Den ideella sektorn står nu inför en liknande utmaning som den statliga sektorn redan har tampats med i ett par decennier. Det handlar om att hitta en balans mellan att visa upp bra resultat samtidigt som man nyttjar resultatmätningssystem för att lära sig kollektivt.

1.2

Problemdiskussion

Kraven på Sida och andra biståndsaktörer att bevisa att deras insatser för global utveckling är under kontroll och att skattebetalarnas pengar verkligen gör nytta ute i världen och här hemma är höga, både från staten och från allmänheten.

Som utomstående är det då rimligt att fråga sig varför det tycks ha varit så låga krav på återrapportering av resultat av de över en miljard kronor skattepengar som Sida förmedlar till enskilda organisationer för internationellt utvecklingssamarbete och kommunikationsverksamhet varje år. Den pågående debatten i biståndsvärlden om hur man ska mäta och redovisa resultat och vilka metoder som bäst lämpar sig för detta kan lätt ge intrycket av att resultatmätning inte alltid har varit en självklar del av de enskilda organisationernas verksamhet. Låga krav på återrapportering av resultat utesluter inte att organisationerna själva vet vad deras verksamhet har för resultat. Det är dock tveklöst ett problem när staten och skattebetalarna inte alltid kan se tydliga bevis på att de resurser som tilldelas enskilda organisationer gör någon nytta.

För att en organisation ska överleva och utvecklas krävs att den ständigt anpassar sig till den kontext den verkar i. Anpassning i sin tur kräver lärande. Organisationer som sysslar med internationellt utvecklingssamarbete rör sig i komplexa och ständigt föränderliga miljöer, och ingår i globala nätverk av organisationer som arbetar för förändring. Men hur gör dessa organisationer själva för att anpassa sig till förändringar?

1.3

Syfte och frågeställningar

Syftet med denna uppsats är att undersöka hur man inom några av Sveriges enskilda organisationer har utvecklat sitt tänkande kring resultatmätning, vad som påverkat denna utveckling och vad det har fått för konsekvenser. Uppsatsen syftar även till att få en bild av hur organisationerna legitimerar sin verksamhet genom att kommunicera sina resultat. Hur man upplever att ökade externa krav påverkat är en central del av studien.

 Hur visste man vilka resultat som uppnåtts innan man införde de resultatmätningssystem man har idag?

 Varför resultatmäter man på det sätt man gör idag?

 Vad har ökade externa krav på resultatredovisning lett till för konsekvenser för organisationerna?

 Påverkat det nya tankesättet kring resultatmätning viljan och/eller förmågan att kommunicera vidare resultaten?

1.4

Disposition

Uppsatsen är upplagd enligt följande:

 I kapitel två beskriver jag min metod.

 I kapitel tre beskriver jag min teoretiska referensram för undersökningen.

 I kapitel fyra presenterar jag annan sekundärdata som tjänar som bakgrund för ämnet.

 I kapitel sex sammanställer och analyserar jag resultaten med utgångspunkt från valda teori och annat bakgrundsmaterial.

 I kapitel åtta gör jag några avslutande reflektioner kring uppsatsen.

2

Metod

2.1

Kvalitativ metod

Jag har valt en kvalitativ metod i denna undersökning. Den övergripande tanken med kvalitativa undersökningar är att exemplifiera, medan kvantitativa används i generaliserande syften. Med hjälp av exemplen i den kvalitativa undersökningen kan man sedan dra mer eller mindre långtgående slutsatser, allt efter den metodologiska bas man refererar till (Svenning, 2003, s. 86). Jag har i denna studie intervjuat sju personer från sju olika organisationer som uttalar sig om sina personliga tankar om de organisationer de arbetar för. De generaliseringar som görs inom undersökningspopulationen i denna studie syftar därför inte till att representera generella förhållanden för den totala populationen av enskilda organisationer som arbetar med bistånd och kommunikationsverksamhet och får bidrag av Sida.

2.2

Datainsamling

2.2.1 Primärdata

Jag har valt att använda mig av samtalsintervju som metod för att samla in primärdata. I en samtalsintervju, till skillnad från frågeundersökningar där svarspersonen får välja mellan ett antal färdigformulerade svarsalternativ, får svarspersonen själv formulera svaren. Även vid samtalsintervjuer finns en uppsättning färdiga frågor eller teman som ska gås igenom med varje svarsperson, men beroende på dialogens utveckling så kan formulering och följd av frågorna ändras och intervjuaren har möjlighet att ställa följdfrågor. (Esaiasson et al., 2004, s. 254-255). Denna form av intervju kan kallas för halvstrukturerad samtalsintervju (Kvale, 1997, s. 117).

Denna undersökning är en respondentundersökning. Vid en respondentundersökning så är det svarspersonerna själva och deras egna tankar som är studieobjekten. Intervjuaren vill veta vad varje person tycker och tänker om det som undersökningen gäller, och därför ställs i stor utsträckning samma frågor till samtliga svarspersoner. För forskaren handlar därefter om att finna mönster i svaren och om att beskriva och förklara dessa. (Esaiasson et al., 2004, s. 254). De svar som redovisas i uppsatsen kan därför inte sägas representera hur det faktiskt har varit och förhåller sig i de olika organisationerna, utan hur respondenterna uppfattar hur det förhåller sig.

2.2.2 Sekundärdata

Den litteratur jag använder mig av för att ge en bakgrundsbild av problemet och för att ha en referensram för min diskussion och mina slutsatser har jag valt ut genom sökningar på Jönköpings högskolas litteraturdatabas, sökningar på Internet och via litteraturtips av lärare. Olika statliga utredningar samt universitetsforskning har använts för att beskriva resultatstyrning i Sverige både inom statlig förvaltning och för statligt stöd till den ideella sektorn. Statliga styrdokument för internationellt utvecklingssamarbete från Regering, riksdag och Sida har använts som grund för att beskriva det svenska biståndets kontext.

Den teori jag använder mig av för att diskutera de enskilda organisationernas lärande och utveckling samt användande av resultatmätningssystem är hämtad ur Nancy Dixons The organizational learning cycle: How we can learn collectively. Jacobsson och Sundströms forskning om det statliga resultatstyrningssystemet är en annan viktig källa.

2.2.3 Intervjuernas genomförande

Dokumentationen av det man studerar är oerhört viktig. När man ska tolka en utsaga är det nödvändigt att kunna gå tillbaka till materialet och se efter i vilket sammanhang den kom. Till exempel kan intervjuarens sätt att ställa en fråga påverka svaret. Vi kan aldrig ha fullständig kunskap om det mänskliga sammanhanget kring människor och utsagor, men vi bör dokumentera så noggrant som möjligt, till exempel med bandspelare. (Starrin & Per-Gunnar Svensson, 1994, s. 81).

Sex av sju intervjuer skedde som ett personligt möte, och vid dessa förde jag anteckningar över svaren samtidigt som jag spelade in intervjun med diktafon. Efter intervjuerna renskrev jag mina anteckningar på datorn, och lyssnade sedan igenom hela intervjun för att komplettera det jag missat samt skriva ut citat mer noggrant. Den sjunde och sista intervjun genomfördes via telefon och jag förde då anteckningar under samtalet vilka jag överförde till datorn genast därefter för att minimera risken att glömma hur samtalet förts. Vid ett tillfälle kontaktade jag en respondent via telefon för kompletteringar. En respondent kontaktades via mail för komplettering av en fråga, med då respondenten inte svarade föll detta svar bort.

2.2.4 Intervjumanualen

Den intervjumanual jag använde mig av för samtalsintervjuerna var uppdelad i fyra teman:  Synen på resultatmätning av organisationens utvecklingssamarbete förr och nu.  Organisationens utvecklingssamarbete i förhållande till ökade externa krav på

resultatredovisning.

 Synen på resultatmätning av organisationens kommunikationsarbete i Sverige förr och nu.

 Organisationens kommunikationsarbete i Sverige i förhållande till ökade externa krav på resultatredovisning.

Syftet med denna uppdelning var att få en bild av hur respondenterna uppfattar att organisationens inställning till resultatmätning förändrats i tiden och varför, och vad externa krav har haft för inverkan på inställningen till resultatmätning. Under varje tema hade jag formulerat ett antal frågor som jag sökte svar på för att svaren skulle bli lättare att jämföra. Intervjun tillät dock att samtalen drog åt lite olika håll beroende på vad respondenterna ansåg viktigt att diskutera.

2.2.5 Bearbetning av intervjuerna

När man går igenom det insamlade materialet för att analysera det gäller det att söka fram alla utsagor och sekvenser som rör det undersökningen söker svar på. Detta görs systematiskt, så att man inte godtyckligt väljer ut en utsaga eller sekvens som stämmer överens med ens förväntningar eller på annat sätt drar till sig ens uppmärksamhet. (Starrin & Per-Gunnar Svensson, 1994, s. 81).

Jag har i bearbetningen av intervjuerna hela tiden varit uppmärksam på att förhålla mig till ovan angivna synsätt då jag sammanfattat och återgett intervjuerna i empiridelen. Detta innebär att jag inte bara tittat på det svar som levererats under en fråga för att få försöka förstå ett tema, utan att man söker efter svar i hela intervjun. Flera av intervjuerna höll heller inte den struktur som mitt frågeschema hade, utan teman och frågor diskuterades i olika ordning beroende på hur samtalet utvecklade sig. Metoden har krävt åtskilliga omläsningar av intervjumaterialet och att jag konstant har fått göra avvägningar av lämpliga tolkningar av respondenternas utsagor i förhållande till mina frågor och samtalets helhet. Efter att ha lärt känna materialet sorterade jag ut olika teman under för vilka jag satte upp rubriker. En del rubriker hade jag redan bestämt mig för innan, medan andra skapades och ändrades under bearbetningens gång. Jag försökte sedan skapa en balans under varje rubrik mellan att generalisera svaren och att belysa skillnaderna mellan dessa. Att jag valt att vara försiktig med generaliseringar beror på att uppsatsen syfte inte är att skapa en generell bild av problemet utan att exemplifiera hur tankesättet kring resultatmätning har tett sig för olika enskilda organisationer. Priset av denna inställning är att uppsatsens empiriska del är relativt lång och uttömmande.

2.3

Urval

Kvalitativa undersökningar används i exemplifierande syfte. Därför handlar det alltid om ett selektivt urval av studieobjekt i kvalitativa undersökningar. Därför kan urvalet ske på många olika sätt i en intervjuundersökning, och några speciella regler för urvalet finns inte. Det finns dock olika metoder för selektiva urval (Svenning, 2003, s. 110).

Mitt urval av studieobjekt har inte klart följt en standardiserad urvalsmetod. Alla organisationer är olika och varje organisation har sin genuina historia. Att försöka uppnå ett urval för att representera en särskild typ av organisation inom populationen tycktes mig därför svårt. Mitt urval har också begränsats av olika praktiska faktorer, varav den mest avgörande har varit möjligheten att få till stånd ett möte eller en telefonintervju.

Studien inkludera sju personer från sju olika organisationer. Organisationerna skiljer sig mycket åt vad gäller ekonomiska resurser, medlemsantal, antal anställda, verksamhetsområden m.m. Studien inkluderar ramorganisationer, programavtalsorganisationer och organisationer utan ram- eller programavtal. Gemensamt har de att de alla bedriver både internationellt utvecklingsarbete och kommunikationsverksamhet i Sverige och att de får bidrag från Sida, antingen direkt, via olika ramorganisationer eller båda delarna.

Jag har strävat efter att intervjua personer med så god inblick och överblick som möjligt i organisationens verksamhet historiskt och idag, både inom det internationella utvecklingsarbetet och kommunikationsverksamheten i Sverige. Personens ställning inom organisationen har således inte varit avgörande för vem jag har intervjuat.

En intervju genomfördes skriftligt via mail. Under arbetets gång insåg jag att denna intervju inte platsade i studien på grund av att respondenten inte hade haft möjlighet att svara på samma sätt som övriga respondenter, och att jag hade behövt göra alltför många följdfrågor och förtydliganden för att intervjun skulle ha kunnat likställas med de som genomförts muntligt. Intervjun föll således bort.

2.4

Förstudie

I mitt sökande av ämnesval och problemområde för uppsatsen genomförde jag en förstudie i form av ett antal telefonintervjuer i mars 2008. Jag hade i det stadiet en idé om att uppsatsen skulle handla om resultatmätning men avgränsat endast till organisationernas kommunikationsverksamhet i Sverige. Syftet med förstudien var att känna av hur Sidas ökade krav på resultatmätning påverkat enskilda organisationers kommunikationsverksamhet och vad de ansåg om kraven, för att utifrån det närmare kunna definiera studieområde. Jag gjorde korta telefonintervjuer med informationsansvariga på sex enskilda organisationer. Jag ställde fem frågor till samtliga och resultatet av förstudien blev sammanfattningsvis:

 Det beskrivs som jättesvårt/omöjligt/bland det svåraste som finns att mäta resultat av kommunikationsverksamhet. Svårigheterna ligger i att mäta långsiktig påverkan på allmänheten och att kunna avgöra orsaks- och verkanssamband.

 Organisationerna använder sig främst av kvantitativa indikatorer såsom antal deltagare på seminarier, antal besökare på hemsida, antal tidningsartiklar publicerade, inkomna bidrag, antal medlemmar i organisationen etc. för att mäta resultaten av sin kommunikationsverksamhet. Vissa kvalitativa indikatorer såsom enkäter och intervjuer nämndes också.

 De högre kraven på resultatredovisning av kommunikationsverksamheten ses som legitima men inte alltid möjliga att leva upp till.

 Resursbrist är ett hinder för att kunna mäta resultat.

 Högre krav på återrapportering har lett till mer jobb/ångest/krångel/problem. Tanken var alltså från början att avgränsa studien till kommunikationsverksamheten. Att jag sedan valde att undersöka synen på resultatmätning även inom utvecklingssamarbetet var en följd av insikten om att dessa två delar hänger ihop och att viktiga delar för förståelsen skulle gå förlorade om jag inte undersökt organisationernas verksamhet som helhet. Dessutom återkopplas de båda delarna i frågor som rör spridning av resultat till allmänheten.

2.5

Förförståelse

Vi möter aldrig någon eller något föresättningslöst. Därför är det nödvändigt att klargöra sin förförståelse. Genom att medvetandegöra förväntningar, åsikter och fördomar, känslor och värderingar kan man aktivt pröva om ens tolkningar påverkas av dem och söka andra möjliga tolkningar. (Starrin & Per-Gunnar Svensson, 1994, s. 83). Min förförståelse har självklart färgats av flera olika influenser som jag inte själv är medveten om. Jag kan dock konstatera att de intryck jag fick då jag började undersöka ämnet närmare garanterat påverkade vilka frågor jag ställde under samtalsintervjuerna. Enligt hermeneutisk metod finns det alltid redan en föreställning om svaret då en fråga ställs - varje fråga om något innefattar i sig både det frågan handlar om, frågan och det man söker genom frågan (Starrin & Per-Gunnar Svensson, 1994, s. 82).

Förstudien påverkade min inställning på så sätt att jag misstänkte att Sidas strängare krav på resultatredovisning har påverkat enskilda organisationers syn på resultatmätning. Att tidpunkten för mina intervjuer, både för förstudien och för primärdatan, sammanföll med

intervjua. Många av de jag kontaktade för att be om en intervju avböjde på grund av rapporteringsdeadlines. Att de var märkbart stressade och beklagade sig över svårigheterna med resultatredovisning förstärkte detta intryck ytterligare. Den kritik mot svensk biståndsverksamhet som lyfts fram i den offentliga debatten kan även ha fått mig att anta att resultatmätning och ”kontroll” av internationellt utvecklingssamarbete är svårt för en del organisationer.

Samtidigt har jag alltid haft hög tilltro till svensk biståndsverksamhet, mycket positiv inställning till folkrörelsebiståndet samt positiva erfarenheter från personliga kontakter både med Sida-personal och ideella organisationer. En sådan förförståelse kan vara negativ då det kan leda till att jag omedvetet tagit ställning för de svenska biståndsaktörerna.

Min avsikt och ambition har hela tiden varit att vara objektiv i hanteringen av materialet och i mina slutsatser. Något annat skulle vara både oetiskt och okonstruktivt.

2.6

Metodkritik

Det finns ingen metod som är vetenskaplig eller ovetenskaplig i sig själv. Det gäller såväl sätt att samla data som sätt att ställa frågor, att göra urval och att bearbeta materialet. Det enda kriteriet på om ett tillvägagångssätt är godtagbart som vetenskaplig metod är om det är ett bra sätt att söka svar på den fråga man har. (Starrin & Svensson, 1994, s. 80).

De främsta svårigheter jag ser med min metod grundar sig i att jag inte är en van intervjuare. Att hantera intervjumaterial, bestämma vilka frågor och följdfrågor som bör ställas och att veta precis vad jag vill ha ut av intervjuerna var svårt. Intervjuer kräver mycket planering eftersom det kan vara svårt att få tag på respondenterna för kompletteringar i efterhand. De första intervjuerna fungerar till viss del som test av frågornas funktionalitet och avvägning för hur man bäst drar nytta av den knappa tid man har för att få fram så mycket relevant information som möjligt. När intervjuerna väl är genomförda får man klara sig med den information man har, till skillnad ifrån en litteraturstudie där man helt enkelt kan vända sig till annat material ifall nya frågor dyker upp under arbetets gång.

Samtidigt ser jag ingen annan möjlig metod för att få fram de uppgifter jag eftersökt. Jag hade kunnat använda mig av ett frågeformulär med färdigformulerade frågor, men då hade syftet inte kunnat vara att exemplifiera och få den typen av beskrivningar som jag ville ha. Min filosofi har varit att hanterar materialet på ett ödmjukt sätt och vara försiktig i mina tolkningar av svaren för att på bästa sätt säkra mina resultats reliabilitet.

3

Teoretisk referensram

3.1

Om lärande organisationer

Den här uppsatsen handlar om hur organisationer lär sig och utvecklas för att kunna utföra ett så bra arbete som möjligt. Konceptet ”lärande organisationer” är därför passande för att kunna analysera och tolka hur respondenterna som ingår i denna studie upplever att deras respektive organisationer lär sig och utvecklas.

Nancy Dixons teori om kollektivt lärande är baserad på över 30 års forskning om lärande organisationer. Hennes teori bygger även på nyare koncept om social kognition, vuxnas

lärande och kognitiv psykologi. För denna uppsats har jag valt att använda mig av de delar av Dixons teori där hon beskriver den miljö som dagens organisationer verkar i och deras relationer till varandra, organisationers ansvar för sitt eget lärande och hur man inom organisationer bör agera för att lära sig kollektivt och använda sitt lärande samt frågor som rör huruvida organisatoriskt lärande bör mätas och ifall kollektivt lärande över huvud taget är mätbart.

Jag ser Dixons teori som mycket tilltalande därför att hon utgår ifrån ett socialt perspektiv i sina idéer kring hur organisationer bör vara uppbyggda och handla. Hennes utgångspunkt är att människor ska och bör ta ansvar och vara delaktiga och har åtaganden inför varandra, och att varje människas erfarenhet är värdefull. Dixon menar att varje organisation har ett ansvar att aktivt lära sig eftersom varje organisation är del av ett övergripande system från det lokala till det globala. Genom att tillvarata individers erfarenheter och lära oss tillsammans kan organisationer främja demokratiseringsprocesser och social och ekologisk utveckling.

Denna syn på organisationers ansvar och syften passar således väl in på enskilda organisationer som arbetar med utvecklingssamarbete och jag finner därför hennes teori högst relevant för den här uppsatsen. Dixon syftar dock inte bara på organisationer som bildats med denna typ av sociala ambitioner, utan menar att det är varje organisations ansvar, vare sig det är ett företag, en intresseförening, en militär organisation eller en statlig myndighet. Dixon använder sig av Argyris och Schons (1978) definition av ”organisation”. Enligt denna definition blir en grupp människor en organisation först efter att individerna som utgör organisationen utvecklar tillvägagångssätt för att:

1. Fatta beslut i kollektivets namn.

2. Överlåter auktoriteten att handla i kollektivets namn till individerna. 3. Fastställer gränser mellan kollektivet och resten av världen.

(Dixon, 1999, s. 9).

Dixon definierar organisatoriskt lärande som:

”Organisatoriskt lärande innebär avsiktligt användande av läroprocesser på individuell, grupp– och systemnivå för att kontinuerligt förändra organisationen i en riktning som ökar tillfredsställelsen för dess intressenter.” (Dixon, 1999, s. 6)

Organisatoriskt lärande är alltså den process organisationen använder sig av för att erhålla ny förståelse eller korrigera den aktuella förståelsen; det är inte organisationens samlade kunskap. En av huvudteserna i Dixons teori om lärande organisationer är att organisatoriskt lärande har sitt ursprung i avsiktliga och planerade försök att lära sig. Även om lärande kan förekomma och förekommer oavsiktligt, så kan organisationer inte förlita sig på att lära sig slumpmässigt. Dixon anser dock att så ofta är fallet. Därför är de flesta organisationer enligt henne ineffektiva i sitt lärande, de upprepar samma misstag, försummar att lära av sina erfarenheter och mycket av det man kunde ha lärt sig går således förlorat. Dixons åsikt är alltså att organisationer har tillvaratagit kollektivt lärande i alltför liten skala hittills, men att de har alla möjligheter att själva utvecklas och bidra till utvecklingen av sin omgivning. Detta i sin tur kräver att man som kollektiv använder lärande istället för kontroll som mekanism för utveckling.

Dixon beskriver organisatoriskt lärande som att det sker i lärandecyklar, i vila organisationerna ”lär om” och ”lär av”. För att organisatoriskt lärande ska vara möjligt krävs att organisationen aktivt underlättar och främjar kollektivt lärande – det räcker inte med att medarbetare utbyter åsikter och reflektioner med varandra. Dixons lärandecykel har fyra steg:

1. Omfattande informationsgenerering.

2. Införlivning av ny/lokal information i den organisatoriska kontexten. 3. Kollektiv tolkning av information.

4. Auktoritet att ta ansvarsfulla åtgärder baserad på den kollektiva tolkningen.

Dessa fyra steg är inget nytt för de flesta organisationer. Problemet är snarare, enligt Dixon, att organisationer ofta utför dessa fyra steg på ett sätt som begränsar kollektivt lärande. Till exempel är det vanligt att olika delar av organisationen utför varje steg.

Dixon ser organisationer som målmedvetna sociala system med tre med tre uppgifter som står i inbördes förhållande till varandra. (1) utvecklingen av själva organisationen, (2) utvecklingen av individerna som utgör organisationen, och (3) utvecklingen av det större system i vilket organisationen utgör den del – samhället, landet och planeten.

Eftersom varje organisation är en del av ett övergripande system av organisationer vars relationer överlappar och påverkar varandra måste organisationer också ta ansvar för att handla så genomtänkt som möjligt. Om vi kan bli bättre på att lära oss kollektivt på organisationsnivå kan vi använda de kunskaperna för att öka våra möjligheter att lära på nationell och samhällelig nivå. Vi har lärt oss och lär oss både på nationell och global nivå, enligt Dixon, men det är en extremt svår och långsam process.

Genom kollektivt lärande har vi möjligheten att förändra organisationerna vi skapat. Förändring kan varken ske omedelbart eller utan omfattande ansträngningar och arbete, men det kan med hjälp av kollektivt lärande ske i den riktning som vi väljer. Lärande är den mest potenta kraft för förändring som finns enligt Dixon, och hon anser att vi som kollektiv har förmågan att finna svaren på hur vi ska hantera svåra problem. Dixon menar att vi måste lita på oss själva för att finna dessa svar snarare än på så kallade ”experter”, då dessa endast kommer ge oss svar som har fungerat i det förflutna. Vi har alltså ett ansvar för att lära oss kollektivt.

Att organisationer har ett socialt syfte och ansvar innebär att förståelse utan handling är impotens, men också att handling utan förståelse är dumdristigt och oansvarigt. Dixon anser inte att det är den enskilda individen som ska förändra hela organisationer, utan det är den kollektiva kunskapen. För Dixon, denna ”sociala intelligens” står i centrum både demokrati och självbestämmande.

Lärande och förändring underbygger varandra, enligt Dixon, som menar att vi genom lärande kan förändra vår miljö och omgivning vilket vi, när förändring sker, även måste anpassa oss till. Likaså kan vår omgivning förändras, vilket följs av organisatoriskt lärande för att anpassa sig till förändringen. Förändring kan föregås av lärande till exempel när man inom en organisation förstår att dennas system behöver utvecklas för att man ska kunna se resultaten av organisationens arbete. Lärande kan föregås av förändring till exempel efter ett regeringsbeslut som leder till att organisationen måste anpassa sig, vilket sker genom lärande. Organisatoriskt lärande kan leda till förändring vilket kan leda till mer organisatoriskt lärande. Det är en kontinuerlig process.

Att de flesta organisationer saknar insikt om deras roll för utveckling av det övergripande system de utgör en del av är ett mycket oroande problem menar Dixon. Hennes uppfattning om vad en organisation är eller borde vara är därför, tyvärr, långt ifrån hur de flesta organisationer för närvarande fungerar i relation till det större systemet. Detta beror delvis på att många saknar förståelse för helheten och ser organisationen som isolerad och att dennas överlevnad är ett mål i sig. Detta synsätt leder även till en syn på organisationens anställda som del av en mekanism som behöver kontrolleras.

3.2

Om utvärdering och resultatmätning

När en organisation lär sig och utvecklas finns ofta ett stort behov av att bevisa att lärandet har lett till att organisationens prestation också har ökat. Dixon anser dock att möjligheterna att mäta huruvida organisatoriskt lärande har lett till ökad prestation är mycket begränsade. Vad vi däremot kan och bör göra är att mäta resultaten av ”handling”, vilket kan leda till ökad förståelse för vad insatser leder till och hur vi kan förbättra organisationens system.

Dixon anser att vi, med goda mättekniker, kan erhålla giltig data på faktorer såsom huruvida individer i organisationen lär sig, ifall processer som underlättar lärande existerar och huruvida enheter förändrar sitt beteende och handlar annorlunda. Figuren nedan illustrerar dessa faktorer och i vilken ordning de antas förekomma vid organisatoriskt lärande.

Figur 1. Kausalsamband som förutsätts vid mätning av organisatoriskt lärande.

(Källa: Dixon, 1999, s. 157) Förändring i organisationens kunskap 2 Underlättande faktorer 1 Ny eller förnyad organisatorisk handling 3 Förbättrade resultat för hela organisationen 4

Men för att göra gällande att dessa faktorer (boxarna i figur 1) har lett till att organisationen har ökat sin prestation och förbättrat sina resultat skulle man även behöva inkludera och validera åtskilliga skikt av orsaks- och verkanssamband i beräkningen. Dixon menar att med så många skikt av orsaks- och verkanssamband är det osannolikt att vi kan bevisa resultat av organisatoriskt lärande – särskilt med tanke på de komplexa relationer organisationer befinner sig i.

Dixon menar att då det finns en rad olika sätt som individer kan generera ny kunskap på som inte relaterar till de underlättande faktorer för lärande som organisationen tillhandahåller, skulle orsaks- och verkanssamband mellan box 1 och 2 i modellen ovan vara svåra att garantera även i den mest kontrollerade miljö. Vad man mäter i box 1 är därför snarare individers uppfattningar om i vilken grad faktorer som underlättar lärande existerar. För att mäta box 2, kunskap, mäter man ifall individerna kunskap har förändrats från tidpunkt A till tidpunkt B. De mest accepterade sätten att mäta kunskap är enligt Dixon genom tester eller intervjuer före och efter, för att kunna avgöra ifall individer har lärt sig.

Sambandet mellan box 2 (kunskap) och box 3 (handling/beteende) är också problematiskt att avgöra, då (1) det är möjligt att individer lär sig utan att veta hur de ska tillämpa sina kunskaper i praktiken och (2) individers beteende och handlingsmönster kan förändras av andra anledningar. Vi kan således till ha giltig data som visar att ny kunskap har genererats, att individer lär sig och att beteenden har förändrats, utan att för den sakens skull kunna bevisa att det finns ett samband mellan dessa olika faktorer.

Slutligen menar Dixon att box 4, övergripande förbättrade resultat, är den lättaste boxen att mäta eftersom det ofta handlar om finansiella måttstockar och andra konkreta mål som är lättare att synliggöra. Däremot beskrivs orsaks- och verkanssambanden mellan box 3, handling/beteende och box 4, resultat, som mycket svårmätt. Detta på grund av att så många faktorer påverkar en organisations helhetsresultat att det är svårt att urskilja huruvida förändringar i beteende och handling i t ex ett projekt eller en del av organisationen varit den enda orsaken. Ett ytterligare problem i mätning av resultat är att resultaten ofta är förskjutna i både tid och rum. Det kan ta år innan resultat syns, och dessa kan då dessutom uppkomma i andra delar av systemet långt ifrån insatsen som provocerade fram dem, och blir därmed svårupptäckta.

Dixon anser att svårigheterna i att mäta till trots, mätning av ”handling” (box 3) är mycket viktigt för att förbättra organisationens tillämpningsmetoder och praxis. I alla nivåer av en organisation där dess medlemmar arbetar tillsammans för att nå ett mål behövs enligt Dixon någon form av mätsystem för att kollektivt kunna reflektera över hur man kan förbättra organisationens prestation. Organisationens enheter bör utveckla system för att kunna avgöra om deras handlingar leder till de resultat för vilka de är designade att uppnå, och på så sätt lära sig hur de kan öka effektiviteten.

När en organisation eller en enhet inom organisationen mäter resultaten av sitt handlande är det enligt Dixon nödvändigt att enheten själv designar mätinstrumenten för att de ska passa den aktuella processen. Enhetens medarbetare ska ”äga” utvärderingen, vilket innebär att det är de som utformar den, samlar in information och använder denna för att fatta beslut om vilka förändringar som bör göras. Att enheten äger mätningen innebär att den inte används främst för rapportering av resultat ”uppåt” i organisationen, utan för att den används i lärandeprocessen för den enhet som bestämmer vilka insatser som ska göras och huruvida dessa insatser eventuellt ska förändras.

Varje enhet måste ha någon form av redovisningssystem som tjänar för att rapportera resultat uppåt; till ledning, finansiär eller likande. Det är dock problematiskt att på ett konstruktivt sätt använda samma information både för att förbättra och rapportera, därför att den interna utvärderingen är designad för att identifiera enhetens tillkortakommanden och problem och ifall enhetens medlemmar visste att dessa resultat skulle rapporteras ”uppåt” vore det mer troligt att de designade mätsystem som gav ett fördelaktigt intryck än tjänar som en utvärdering. Organisatoriskt lärande kräver att lokala enheter gör misstag tillsammans och rättar till sina misstag tillsammans utan att kontrolleras och misstänkliggöras uppifrån. Först efter att man kollektivt har tolkat den information man fått fram av mätningen kan man sprida sina lärdomar och idéer till resten av organisationen.

Ett fungerande mätsystem kan alltså tillföra organisationen information som är viktig för organisationens utveckling och lärande, men inte utan att organisationens medlemmar ta sig tid till att ge innebörd åt informationen genom att tillsammans reflektera över och tolka resultaten av mätningen. Information utan tolkning och reflektion leder varken till förbättrande åtgärder eller nytt lärande.

På grund av svårigheterna i att utveckla mätsystem och indikatorer menar Dixon att arbetsteamet kan behöva hjälp av utvärderingsexperter eller grundläggande utbildning i hur man konstruerar mätinstrument.

Slutsatsen av Dixons resonemang om resultatmätning är att utvärdering har en central roll i organisatoriskt lärande, men inte för att leverera bevis. Traditionella mätsystems roll är att tillhandahålla information som bevisar vad man uppnått, för att beslut sedan ska fattas i toppen av organisationen. Det alternativa sättet att se på utvärdering som Dixon förespråkar är att utvärdering spelar en central roll i lärandeprocessen. Det handlar om att de som arbetar med en process samlar in tillräckligt mycket information för att de själva ska kunna avgöra hur man ska kunna förbättras. Både vem som får tillgång till informationen och syftet med att samla in den är då annorlunda. (Dixon, 1999, p. 165).

3.3

Kritisk granskning av teorin

Följande punkter ser jag som något problematiska med Dixons teori i förhållande till min undersökning:

 Teorin tycks främst rikta sig till profitmaximerade organisationer som arbetar med någon form av produktion, även om Dixon tar upp exempel på andra typer av organisationer.

 Utgår ifrån stora organisationer, även om hon tar upp exempel från mindre organsatiner, enheter eller projektnivå.

 Teorin är värdefull för att illustrera de svårigheter och fördelar som finns med resultatmätning, men riktar sig till mätning av lärande inom organisationen. De organisationer som ingår i denna studie behöver mäta lärande och resultat även utanför den egna organisationen och/eller i insatser som utförs av en samarbetsorganisation men finansieras eller får stöd på annat sätt av den svenska organisationen.

4

Om mål- och resultatstyrning i Sverige

Den styrstrategi som används inom svensk statlig förvaltning kallas för resultatstyrning, ibland går modellen även under beteckningen målstyrning eller mål- och resultatstyrning. Syftet med resultatstyrning är att stärka politikernas ledning över förvaltningen och samtidigt öka effektiviteten och kreativiteten inom myndigheterna. Två komponenter brukar framhållas i diskussionen om vad resultatstyrning är. Den första är att styrning ska ske utifrån information om uppnådda resultat. Därför kräver resultatstyrning att statsförvaltningen ständigt utvärderas föra att man ska kunna lära av sina erfarenheter och utifrån nya lärdomar vidta åtgärder. Den andra är att utföraren själv väljer medel för att uppnå de uppsatta målen. (Jacobsson & Sundström, 2001, s. 1-3). Man kan därför säga att resultatstyrning innebär att politikerna anger mål för förvaltningen utan att syssla med detaljer, som de professionella sedan självständigt utför och vars resultat därefter utvärderas.

De första försöken till resultatstyrning gjordes redan på 1960-talet, men styrmodellen fick sitt stora genomslag i slutet av 1980-talet. Det definitiva införandet av resultatstyrning inom staten kan sägas ha tagits genom två beslut, det så kallade verkledningsbeslutet från 1987 och en komplimenterande proposition året därpå. (Jacobsson & Sundström, 2001, s. 1-4). Att intresset för utvärdering har ökat markant i Sverige under 1990-talet har en tydlig koppling till att svensk förvaltning decentraliserats. Då förvaltningen decentraliserats har utvärdering använts som ett sätt för beställaren (statliga eller andra myndigheter) att kontrollera att utförare (privata bolag eller statliga myndigheter) ”gör sitt jobb”. En annan förklaring till det ökade intresset för utvärdering är behovet av besparingar inom den offentliga sektorn vilket har lett till ökade krav på produktivitet och kostnadseffektivitet. (Faugert & Sandberg, 2007, s. 17-18).

Mål- och resultatstyrning som modell implementerades således flitigt i kommunerna under 1980 och 90-talen efter att dessa decentraliserats. Några exempel följer i tabellen nedan:

Mål- och resultatstyrning 1988 1993 1995 Barnomsorg 18% 70% 75% Äldre- och handikappomsorg 15% 55% 62% Grundskola 10% 62% 68%

Tabell 1. Andelen kommuner som genomfört mål- och resultatstyrning inom olika sektorer under perioden 1988-1995. (Källa: SOU 1996:169, s. 16)

Strategin kan anses ha varit mycket framgångsrik eftersom det har blivit det dominerande sättet att se på och tänka kring styrning. Denna styrning är ett uttryck för den rationalitetstanke som genomsyrat den statliga förvaltningen under flera decennier och det är idag relativt få aktörer som ifrågasätter strategin. (Statskontoret, 2004, s. 7, Jacobsson & Sundström, 2001, s. 1). Sitt definitiva genomslag till trots har modellen ofta uppvisat klara brister.

Riksrevisionen är den myndighet som har till uppgift att granska den statliga förvaltningen och finns sedan år 2003. Verkets riksrevisor, Eva Lindström, sa under ett seminarium i april 2008 att Riksrevisionen under sina granskningar har identifierat en rad återkommande brister inom resultatstyrningen. Bristerna handlar bland annat om otydliga mål och

bristande uppföljning, otydlig ansvarsfördelning och brister i återrapportering till regering och riksdag. Riksrevisorn menar att trots de brister som påvisas så betyder det inte att styrmodellen borde bytas ut, utan att man snarare borde utveckla modellen. Att konkretisera otydliga mål och förväntningar på vad som ska göras ser riksrevisorn som ett område som måste prioriteras i utvecklingen av resultatstyrningen. Hon menar också att trots all kritik mot mål- och resultatstyrningsmodellen har ingen kunnat presenterna något bättre alternativ. (Riksrevisionen, 2008).

Resultatstyrningen som modell har även granskats i åtskilliga forskningsprojekt inom den svenska universitetsvärlden. Ett forskningsprojekt med stor relevans för denna uppsats är det från Stockholms centrum för forskning om offentlig sektor (Score) i vilket forskarna Bengt Jacobsson och Göran Sundström ställer den relevanta frågan: Lever man som man lär vad gäller resultatstyrning av resultatstyrningen? De nämnda forskarna drar slutsatserna att det existerande styrsystemet är ”delvis feltänkt, mycket dyrt och skapar problem för verksamheten” (Jacobsson & Sundström, 2001, s. 32).

En av grundidéerna med resultatstyrning är att man ska utvärdera verksamhet och sedan vidta åtgärder för förbättring. Jacobsson och Sundström menar att man inte har tagit tillvara på lärande i statsförvaltningen och rekommenderar att man borde använda sig mer av erfarenheter och reflektion och att fler personer borde inkluderas i denna process för att utveckla systemet. Forskarna hävdar att man inom statsförvaltningen snarare på ett närmast systematiskt sätt har valt att bortse från erfarenheter som efterhand producerats. Som bakomliggande orsaker till förluster i lärande anges bland annat bristande dialog då ett fåtal låtits dominera diskussionen.

Procedurerna har också krävt resurser i form av människor, tid och energi vilket har gjort att annat tänkande har haft svårt att få utrymme. Det statliga resultatstyrningssystemet drivs till höga kostnader och mycket tid läggs ner på dokumentation av olika slag, inte minst vad gäller målformuleringar och resultatredovisningar, och har lett till en påtaglig ökning av personal för ekonomi och administration. En annan slutsats är att man inom den statliga förvaltningen borde ha ett mer horisontellt system präglat av tillit till tjänstemännen, där man kan lita på att dessa gör sitt bästa ”även om de inte har en revisor eller controller hängandes över axeln” (Jacobsson & Sundström, s. 1-26, 2001).

4.1

Mål- och resultatstyrning av statligt stöd till den ideella

sektorn

Resultatstyrningen av statlig förvaltning kan sägas ha ingått som en del av den förändrade synen från staten gentemot den ideella sektorn. Föreningsbidragen och hur dessa ska resultatstyras har varit föremål för en mängd utredningar sedan 1980-talet. Att uppföljning och utvärdering av dessa bidrag inte har varit tillräckligt utvecklad har påpekats i flera utredningar (Ds 1997:36, s. 8).

Kraven på resultatstyrning av föreningsbidragen ökade under hela 1990-talet. Resultatstyrning av bidrag till ideella organisationer är olika beroende på vilken myndighet som utfärdar bidragen. Regeringen anger i regel återrapporteringskrav på myndigheterna i regleringsbreven. Ansvaret för vad organisationerna ska rapportera ligger på respektive myndighet som fördelar bidragen. I den utsträckning regeringen inte ställer upp krav på återrapportering i regleringsbrev får myndigheten ansvara för utformningen av de specifika kraven på organisationerna. Den tredje största anslagsposten till ideella organisationer är bistånd via enskilda organisationer och Styrelsen för internationellt utvecklingssamarbete

Statskontoret uttryckte år 2004 att bidragen till ideella organisationer befinner sig i skärningspunkten mellan kraven på resultatredovisning i den statliga budgetprocessen och synen på ideella organisationer som självständiga aktörer som staten bör stödja men inte styra över. Omfattning och utformning av enskilda bidrag påverkas av hur beslutsfattarna ställt sig mellan dessa ytterligheter. (Statskontoret, 2004, s. 21).

4.2

Mål- och resultatstyrning inom biståndet

4.2.1 Svenskt utvecklingssamarbete

Svenskt bistånd är uppdelat i bilateralt och multilateralt bistånd. Det svenska biståndet sker nästan uteslutande i form av gåvobistånd till enskilda länder, internationella organisationer och enskilda organisationer.

Utgångspunkten för regeringens utvecklingspolitik är riksdagens beslut år 2003 om regeringens proposition Gemensamt ansvar - Sveriges politik för global utveckling (PGU) och dess betoning av samstämmigt agerande för att nå politikens mål om att bidra till en rättvis och hållbar global utveckling (Skr. 2007/08:89, s. 1). Målet för det svenska biståndet är enligt PGU att bidra till att skapa förutsättningar för fattiga människor att förbättra sina levnadsvillkor. Biståndspolitiken ska utgå från ett rättighetsperspektiv och från de fattigas perspektiv. (prop. 2002/03:122).

Det internationella utvecklingssamarbetet bygger på ett antal internationella deklarationer och överenskommelser. FN:s millenniedeklaration år 2000 som anger mål för global utveckling är av särskild betydelse. Det svenska utvecklingssamarbetet bygger på denna deklaration och på PGU (Mundebo, 2008, s. 196).

De så kallade Parisdeklarationen som antogs 2005 har likaså en central plats i internationellt utvecklingssamarbete vad gäller att harmonisera och effektivisera biståndet globalt. År 2006 antog Sida en handlingsplan för ökad biståndseffektivitet 2006-2008 med syfte att tillse att Sida genomför de svenska åtagandena i enlighet med Parisdeklarationen. (Sida, 2008, s. 14).

Figur 2. Modell över hur relationerna mellan den svenska utvecklingspolitikens övergripande styrdokument och Sida och enskilda organisationer kan tolkas.

(Källa: Sida, 2006, s. 17.)

Regeringens skrivelse Sveriges politik för global utveckling (2007) uppger att genomförandet av PGU kräver ett resultatorienterat arbete och skrivelsen genomsyras av ett tydligt mål- och resultatinriktat perspektiv i allt från övergripande mål till styrning och genomförande. Varje mål ska enligt skrivelsen göras uppföljningsbart genom resultatindikatorer som utvecklas för varje mål. (skr. 2007/08:89, s. 51-52).

Sida skriver i samband med presentationen av sin årsredovisning 2007 att man under året påbörjade ett arbete för att bättre styra mot resultat inom biståndet, med ambitionen att resultat ska genomsyra hela myndighetens arbete. Sida skriver att det inte ska råda någon tvekan om vilka resultat som ska uppnås med en insats och vilka som faktiskt sedan blev de verkliga resultaten. (Sida, 2008).

I två studier genomförda av Statskontoret (2002a, 2002b) pekades bland annat politikområdet internationellt utvecklingssamarbete ut som eftersatt vad gäller användningen av utvärderingar (Faugert & Sandberg, 2007, s. 18). En hel del tycks alltså ha hänt sedan dess, åtminstone i teorin.

4.2.2 Det civila samhällets organisationer

Sida ger bidrag till svenska enskilda organisationer, EO-anslaget, via så kallade ramorganisationer. Ramorganisationerna är paraplyorganisationer och vidareförmedlar bidrag till flera hundra små och medelstora svenska enskilda organisationer.

År 2007 uppgick EO-anslaget till 1,3 miljarder kronor varav cirka 10 procent, 129 miljoner kronor, var stöd till enskilda organisationer för kommunikations- och informationsarbete i Sverige. Stödet till enskilda organisationer utgör 8,5 procent av Sidas totala kostnader. (Sidas årsredovisning 2007, s. 85).

Ambitionen att de enskilda organisationerna i högre grad ska redovisa resultaten av sitt arbete har stärkts avsevärt genom åren. Ett led i detta är nya anvisningar för EO-anslaget som fastställdes i början av 2007 till följd av ett resultatredovisningsprojekt som Sida startade. De nya anvisningarna har ökad resultatorientering, har en tydligare koppling till PGU och syftar till att styra organisationernas verksamhet mot de i anvisningarna angivna målen. (Sida, 2008, s. 18-85). De mål som de enskilda organisationerna ska sträva mot för att Sida ska stödja deras verksamhet är enligt anvisningarna för EO-anslaget:

1. Målet för enskilda organisationers stöd till det civila samhället i samarbetsländerna är ”Att främja utvecklingen av ett livskraftigt och demokratiskt civilt samhälle som stärker fattiga människors möjligheter att förbättra sina levnadsvillkor”.

2. Målet för enskilda organisationers kommunikation i Sverige är ”Att bidra till en rättvis och hållbar global utveckling genom ett ökat intresse och engagemang för globala utvecklingsfrågor i Sverige.”

Figur 3. Resultatredovisningskedja av aktörer som är inblandade i förmedlingen av resurser från svenska medborgare till människor i utvecklingsländer via de civila samhällenas organisationer.

(Källa: Sida, 2006, s. 11.)

5

Empiri

I detta avsnitt redovisas huvuddragen av vad som kommit fram under intervjuerna. Svaren illustreras i flera fall av citat för att tydliggöra respondenternas utsagor och jag har försökt tydliggöra i vilket sammanhang utsagorna har gjorts. Generaliseringar har gjorts i den mån jag tyckt att det varit möjligt. Vissa avsnitt som inte planerades från början har tillkommit då vissa teman som tycks relevanta att redovisa i sammanhanget har kommit upp under samtalsintervjuerna.

5.1

Hur man bedömde resultat före resultatstyrning

Här redogörs för respondenternas utsagor kring hur man tidigare har tänkt kring resultatmätning av organisationernas verksamhet i Syd och av deras kommunikationsverksamhet i Sverige.

5.1.1 Utvecklingsarbetet i Syd

Beskrivningarna av hur man tänkt när man bedömde resultaten av sina projekt innan organisationerna satte starkare fokus på resultatredovisning uppvisade flera likheter. Gemensamt är till exempel att nära personlig kontakt mellan biståndsarbetare och de man samarbetar med i utvecklingsländerna har haft stor betydelse i bedömningen av ett projekts utfall.

”Med nära samarbete som vi haft så märks det om det går bra och man ser om det går mindre bra, då kommer det fram” och att man ”gick mer på magkänsla och sunt förnuft” är exempel på hur detta beskrivits.

I jämförelse med idag hade organisationerna enligt respondenterna tidigare färre kriterier och verktyg för att mäta resultat. Hur man sedan har gjort skiljer sig förstås åt mellan organisationerna, och svaren är inte tillräckligt uttömmande för att kunna avgöra precis hur man tänkt i bedömningen. Till exempel sa en respondent:

”Vi har inte haft några indikatorer nedskrivna. Vi har sett förändringar genom förtroende, vi vill inte pressa på till exempel med genderfrågan. De kanske inte har varit så bra på att skriva rapporter, men det har varit full aktivitet på marken som man ser när man kommer dit”.

Samma respondent uppger att organisationens dokumentation över resultat har varit fokuserad på kvantitativ data, alltså hur många som berörts på ett eller annat sätt av verksamheten och vilka de berörda var. Att just kvantitativa data har dominerat när man tittat på resultat uppges även av ytterligare en respondent. Organisationen var enligt respondenten mindre bra på att få fram varför och hur resultat uppnåtts.

Att djupare analyser över verksamhetens utfall ofta har saknats tas upp av flera respondenter. En säger:

”… uppföljningen har ofta varit av typen aktivitetsrapportering. Så det är ju under de sista åren som vi har blivit mer fokuserade på att titta på resultaten. Det har skett gradvis. När man ser på 2008 års workplan så är det betydligt tydligare att man tittar efter ”gjorde vi någon skillnad?”, alltså outcome, hade det någon betydelse det vi gjorde?”

Trots att man inte alltid har analyserat verksamheten som idag betyder det inte att respondenterna tvivlar på att organisationerna har uppnått resultat. Problemet tycks ofta ha varit brister i mätning och dokumentationen av verksamhetens resultat, vilket har lett till antaganden. Det är troligt att resultaten många gånger har varit uppenbara för den på plats, men att man har saknat system för att ”bevisa” orsak och verkan.

”Det satt i människors huvuden, det byggde ju på engagerade människor. Men vi har ju ingen dokumentation på det som hände och resultaten. Man såg i fält att det vi gjorde var bra, men dokumenterade det inte”

säger en respondent, som under intervjun även sa att de volontärer som hans organisation skickade ut:

”… kanske inte har haft kunskap eller riktigt vetat vad som skulle ha gjorts vad gäller resultat. Eller så kanske de inte har sett någon skillnad”.

Det sista citatet indikerar att goda resultat mycket väl kan ha uppnåtts - men även det motsatta - utan att den utsände har uppfattat detta på grund av avsaknaden av resultatmätningsinstrument.

Två av organisationerna betonar särskilt hur den ”folkrörelseanda” som dominerade i biståndsvärlden tidigare har förändrats. Dessa organisationer skickade förr ut volontärer som skulle se och lära och arbeta nära tillsammans med målgrupperna. Det fanns då inga krav på att man skulle mäta personalinsatsen eller utvecklingen hos målgruppen på något särskilt sätt.

”Den resultatmätning man gjorde fokuserade väldigt mycket på vad som hade hänt i varje enskild insats och utgick inte från organisationens mål utan ifrån volontärens och samarbetsorganisationens analys över vad som förändrats. Så resultaten kunde bli nästan vad som helst.”

En av respondenterna förklarar att det låg i folkrörelseandan att inte ställa några krav på mottagaren utan att man ville stötta som vänner, och att man därför snarare blev negativt inställd till resultatmätning.

”Det har var varit mycket fritt, att skicka svenskar för omvärldskontakt har varit mantra, att jobba tillsammans. Det var väl bra i sig, men ledde inte till synbara resultat av vad som hände med pengarna egentligen”.

Samtidigt betonar båda respondenterna den starka vilja och det engagemang som drev volontärerna att arbeta för en förändring, men att avsaknaden av system för resultatmätning ledde till att bedömningen skedde utifrån personliga uppskattningar av samarbetets konsekvenser och därför ofta blev otydlig. Det var närheten till samarbetsorganisationerna som gjorde att man kunde bedöma när ett projekt gått bra eller mindre bra, och bedömningen gjordes då utifrån volontärens personliga kriterier. Det tycks ha varit vanligt att volontären åkte ut utan klara direktiv över vad som förväntade utav denne och att verksamheten sedan bedrevs spontant och utan ett uttalat resultatfokus.

”Strategier och sådant satt bara i människornas huvuden – det var en brist.” sa en respondent apropå planering och bedömning av projekt.

Volontärens självutveckling och initiativförmåga tycks ha varit central för dessa två organisationers verksamhet.

”Det var som att vi hade jättestora mål men att allt skulle mötas med en volontär. Har man bara en hammare så börjar allt snart att likna en spik.” sa en av respondenterna.

Denna beskrivning överensstämmer dock inte med samtliga organisationer. En av respondenterna uppger att hennes organisation alltid har samarbetat med relativt professionella organisationer med spjutspetskunskaper, och att samarbetsorganisationerna bedömdes utifrån deras utvecklingsmetoder och ideologi.

”Så det har varit resultatdrivet även om man inte såg eller sa det, om man insåg det eller inte har jag ingen aning om. Man har riktat sig till de mest kunniga som kan driva utvecklingen på plats. Att det funnits förtroende och bra samarbete har alltid varit viktigt.”

För denna respondent har inte den egna organisationens arbetssätt ”på plats” förändrats trots tydligare resultatfokus, utan vad som har förändrats är snarare tankesättet och språkbruket omkring resultatredovisning. Då man har samarbetat med organisationer som redan är långt utvecklade och specialiserade har man kunnat se tydliga resultat, även om man inte har rapporterat resultaten på samma sätt som idag och inte heller tänkt på att mäta förändring på samma sätt.