I denna del redogörs för vad respondenterna ser som de mest framträdande konsekvenserna som den starkare betoningen på resultatmätning har medfört för deras respektive organisationer. Avsikten med frågan som ställdes till respondenterna var att få svar på vad Sidas krav har lett till för konsekvenser. Som framkommer av föregående avsnitt var det ibland svårt för respondenterna att sära på förändrade yttre omständigheter och interna motiv när man diskuterar varför en förändring mot ökad resultatmätning har ägt rum. Ökade kunskaper och lärande är en konsekvens, samtidigt som det är en orsak, till ökat fokus på resultatmätning. Därför är konsekvenserna som redovisas nedan inte enbart i direkt relation till ökade externa krav.
Först redovisas konsekvenser som angetts som specifika för utvecklingsarbetet. Därefter följer konsekvenserna för kommunikationsverksamheten i Sverige. Avsnittet avslutas med konsekvenser som är gemensamma för båda verksamhetsområdena.
5.3.1 Utvecklingsarbetet i Syd
5.3.1.1 Mottagarrollen
En konsekvens som framhålls av samtliga respondenter är att relationerna till Sida, eventuella ramorganisationer och samarbetspartners i Syd har påverkats. Något som framhölls som ett problem av vissa är att förhållandet givare-mottagare automatiskt innebär en maktrelation som kan medföra att dialog och öppenhet blir lidande. Eftersom organisationerna som ingår i denna studie har båda dessa roller uppmärksammar flera att nya dilemman uppstått. En respondent sa såhär om Sidas resultatfokusering:
”En del av syftet är att någon måste hållas ansvarig när det gäller skattepengar. Det är ett väldigt viktigt syfte. Sedan så finns syftet med lärande och utvecklingspotential, att organisationer ska lära sig och utvecklas. Det är den andra tråden. Men ibland krockar de två, kontroll och lärande och utveckling. När man upplever tydlig kontroll så finns det en fara att om de utvärderar oss så byggs det
4 Sidas bidrag till enskilda organisationer för kommunikationsverksamet i Sverige. 5 Mänskliga rättigheter (MR)
in en tro att man måste framstå som bra. Det finns en maktaspekt, och det är svårt att kombinera med lärande och att öppet kunna erkänna om det gick åt skogen. Det finns en rädsla att förlora pengar.” Citatet ovan beskriver en problematik som flera av respondenterna snuddar vid eller uttrycker öppet. Flera betonar vikten av kommunikation, lika mycket i relationen med Sida och ramorganisationerna som med de samarbetsorganisationer vars verksamhet organisationerna som ingår i denna studie bidrar till. Samma problem kan uppstå i alla led, och risken finns att den som är beroende av finansiering försöker anpassar sig vare sig man tycker det är bra eller inte istället för att ta en diskussion med givaren, av rädsla för att denne ska dra in på finansieringen.
Att förankra idén om att resultatredovisning i först hand är till för den egna organisationens utveckling och inte bara för extern kontroll uppges i vissa fall ha lett till problem inom den egna organisationen. En respondent förklarar att pressen att rapportera in resultat ibland har lett till obalans inom organisationen:
”Processer förstörs om man pressar fram aktiviteter med pengar och datum. Där hänger det på erfarenhet och tillit. Nyare handläggare inom vår organisation kan inte försvara att man gjort på annat sätt än man angav i ansökan av rädsla att inte få nästa års bidrag, och då går det före än att verkligen få resultat på politisk och social nivå.”
En annan respondent förklarar att hennes organisation har fått arbeta mycket med en konstant intern dialog för att implementera resultatmätningssystem:
”Personalen måste vara intresserad av metodutveckling för att det ska bli bra, och där ligger ju också problemen. Personalen måste förstå att det är för organisationens egen skull, inte bara för att redovisa med snygga formuleringar.”
5.3.1.2 Givarrollen
Det kan tyckas självklart att kräva av mottagarorganisationerna att de visar resultaten av sin verksamhet för fortsatt finansiering. Ämnet är dock problematiskt, uppger flera respondenter, eftersom man är rädd för att tvinga på samarbetsorganisationerna i Syd ett tankesätt som inte är deras:
”Risken är att när vi kommer och introducerar resultatmätningsfokus ovanifrån så blir det att organisationerna rapporterar som vi vill, men att de inte använder det i sin egen utveckling utan bara för att skicka till oss. Vi vill inte tvinga på något ovanifrån.”
Att maktrelationer spelar roll märks även tydligt i följande citat:
”Man märker mer medvetenhet i Syd som antagligen har spridits vidare från Nord. Men man måste använda deras ord. Folk blir arga om man pratar om LFA, som att ”nu kommer västerlänningarna här med sina pengar och ska lära oss hur vi ska tänka”, men om man börjar prata om vad man vill förändra och uppnå, då blir det självklart.”
Som diskuterats ovan, så var respondenterna noga med att inte tala om sina egna krav och riktlinjer som direkt kopplade till Sidas krav. Här kan därför inte dras några slutsatser om huruvida de senast citerade respondenterna har ökat trycket på mottagarorganisationerna för att de känner press att rapportera in resultat till Sida/ramorganisationer. En annan respondent var inne på samma tema, och i följande citat märks det dock att det är Sidas krav som har sipprat ner genom organisationen och lett till ökade krav på mottagaren i Syd: ”På landsbygden i Afghanistan kan folk inte ens läsa och skriva ofta, hur ska man då få dem att förstå att Sida i Sverige vill att man ska utvärdera effektmål? Alltså det är en helt annan värld. Och
det känns liksom ibland som om vi försöker implementera svenska modeller för saker där det kanske inte är rätt sätt att göra det på.”
Inställningen att vilja främja organisationsutveckling och resultatuppföljning samtidigt som man inte vill pressa sina samarbetsorganisationer att importera resultatredovisningssystem tycks ibland leda till svårigheter för den egna organisationen att kunna redovisa resultat fullt ut inför Sida eller ramorganisation. Att respektera att läroprocesser tar tid och att vara kreativ och öppen nämndes på exempel på hur man hanterar detta. Bland annat sa en respondent:
”Organisationerna på plats har ju inte alltid resultatrapporter, så då får vi ju intervjua dem och få fram det.”
En annan sa apropå rapporteringen till sin ramorganisation att:
”När man jobbar med svaga organisationer så är det svårt att implementera detta tänk, de hör sakerna är så långt över vissa organisationers nivå. I sådana fall så ser samarbetet mycket liknande ut nu som då, men vi har blivit bättre analytiker och kan rapportera annorlunda.”
Ytterligare en respondent sa att:
”Men samarbetsorganisationerna måste arbeta med resultatmätning själva, de mäter bäst själva. Det är sådant man inte kan planera. Man kan lägga upp system, men finns det inte på plats så har det inget värde ändå. Utvärdering utan kontroll över sig med dynamik och öppenhet, det är därifrån det händer saker.”
Sammantaget kan man inte säga huruvida Sidas krav påverkar organisationernas relation till sina samarbetsorganisationer i Syd.
5.3.1.3 Tillvägagångssätt – resultatmätningssystem och rapportering
Sidas krav på ökad resultatredovisning uppges av flera respondenter ha inflytande på hur man mäter resultat och sedan redovisar dessa i rapporteringen till sina respektive ramorganisationer eller direkt till Sida. Till exempel sa en respondent:
”Vi anpassar inte innehållet i verksamheten, den har alltid styrts av interna idéer och diskussioner. Men Sidas krav har styrt hur vi jobbar med systemen för resultatuppföljning, hur man redovisar resultat av det man vill göra.”
En respondent uttrycker att anvisningarna de måste följa i rapporteringen är oklara och att organisationen försöker anpassa sin rapportering till kraven, vilket upplevs som svårt och tidsödande:
”För rapporteringen 2008 kommer det vara mycket mer resultatredovisande. /…/ I 3-4 år har Sida tryckt på. Vi har trott att vi gjort det bra, men inte tillräckligt enligt Forum Syd och Sida.”
En annan respondent uppger också att Sida har krävt mer av deras rapportering:
”En avdelning på Sida har tryckt på att vi ska få ordning på indikatorer utan att de egentligen har kunnat bidra till den utvecklingen och säga hur de vill att vi ska göra. De är ju inte heller några experter. Då har vi kunnat avsätta resurser för att utveckla det.”
Samma respondent uppger att Sida har tryckt på att man ska sammanfatta sina resultat på andra sätt, och att man därför har hittat på nya sätt att ”koka ner” sina resultat till kortare sammanfattningar, vilket även har hjälpt den egna organisationen att få en annan slags
En respondent uttryckte att man nu måste ange mer detaljerat vad man ska göra i sin ansökan, vilket lett till att man fått påskynda planeringsprocessen och ibland känt sig bundna vid aktiviteter:
”Ibland när man sökt som program räcker det inte med att ha målformuleringar om delmål och mål och ungefär vad man ska göra i ansökan, utan Sida har velat veta vilka aktiviteter som ska göras och vilka indikatorer som ska användas. Då har man fått göra om, och fått godkänt när man skrivit ”500 kvinnor ska ha genomgått kurs i demokrati”. Det är för att de vill ha kontroll på vad som görs, så att vi i alla fall inte kan finansiera vägblockader och stenkastning eller upplopp! Då förstör man resultatplaneringen, det blev ibland att indikatorerna som var så aktivitetsbaserade och detaljstyrda blev viktigare att man skulle uppnå än själva målen.”
En annan respondent säger att Sidas resultatfokusering har medfört att man tänker mer på mätbarhet än man kanske annars skulle ha gjort, och att innehållet därmed påverkas av resultatredovisningskrav:
”Projektinnehållet har förändrats. Nu säger man att ”om man inte kan mäta resultaten av det mål man satt upp, så är det inget bra mål”. Så det blir andra aktiviteter ibland. Men de långsiktiga och övergripande målen är desamma. Det som förändras är projektmål och delmål, de bli mer fokuserade. Hade de långsiktiga målen förändrats på grund av Sidas krav hade det varit farligt.”
5.3.2 Kommunikationsverksamheten i Sverige
Tankesättet om kvalitetssäkring av organisationernas kommunikationsverksamhet i Sverige hänger ihop med deras ökade resultatfokusering av sitt utvecklingsarbete. Flertalet av respondenterna uppgav att man först börjat kvalitetssäkra utvecklingsarbetet för att sedan börja arbeta mer resultatinriktat med kommunikationsverksamheten som en naturlig del av organisationens utveckling.
Ett par respondenter ansåg att kommunikationsarbetet är mer ”tacksamt” att utvärdera än utvecklingsarbetet, och att man inte har behövt göra några större förändringar i hur man lägger upp eller bedömer sin kommunikationsverksamhet trots ökad ambition att mäta resultaten av det. En respondent uppgav att hennes organisation alltid har riktat sig till samma målgrupper och utvärderat resultaten av kommunikationsverksamheten.
Andra har inte haft någon särskild strategi för sin kommunikationsverksamhet tidigare, utan har snarare informerat brett och utan att utvärdera särskilt mycket. Detta innebär inte att man tror sig ha haft dåliga resultat, men däremot har man inte heller kontrollera hur man påverkat målgruppen. Därför har man nu inom några av organisationerna tänkt om vad gäller målgrupper, mål och resultatmätning.
5.3.2.1 Avgränsning och tydligare mål
Några respondenter uppger att man har valt att utarbeta nya strategier i hur man bedriver kommunikationsarbete som ett led i en mer övergripande förändring av organisationen. Precis som i utvecklingsarbetet har man formulerat tydligare mål och avgränsat och koncentrerat kommunikationsverksamheten så att det har blivit mer riktat till specifika målgrupper och därmed också lättare att utvärdera dess resultat.
”En tydlig förändring i infoverksamheten är att en del aktiviteter har fallit bort med mer tydlig målformulering därför att det är tveksamt ifall det blir attitydförändring i det stora hela. Aktiviteter kan vara kul, men de måste ha ett konkret syfte och en plan.”
Flera av respondenterna uppgav att de har tänkt om vad gäller vilka målgrupper de riktar sig till, att dessa har blivit bättre definierade och att man nischat sig mer.
”Att agera över hela Sverige blir kontraproduktivt, precis som ute i världen måste vi koncentrera verksamheten för att verkligen kunna följa upp och se ifall vi når ut. Det har vi inte kunnat göra tidigare eftersom vi har informerat på slumpvis utvalda skolor hela tiden. Nu blir det inte längre svenska allmänheten utan vissa delar.”
I de två organisationer som tycks ha genomgå störst förändring i hur man resonerar kring kommunikationsverksamhet har man börjat rikta sig även till politiker och media och att man vill driva kampanjer i större utsträckning än tidigare. Förutom kontinuitet tycks organisationernas storlek vara av betydelse när man talat om resultatmätning av politikerpåverkan, vilket kan tyckas vara en logisk slutsats. En respondent från en medelstor organisation sa att behovet av kommunikationsstrategier har ökat efter det att man har börjat rikta sig mot media och politiker,
”det blir ju så oerhört konkret då för man märker att man inte får vara med eller synas”.
För de två största organisationerna som ingår i studien uttrycks snarare att resultaten av politikerpåverkan är de mest tydliga. För en respondent är resultaten av politikerpåverkan ibland så tydliga att man snarare undviker att ”skylta” med det. En annan respondent sa:
”Man försöker jobba på sätt att kunna ringa in någon typ av förändring. Det vi är bra på är ju att påverka politiker, lobbying och så. Vi har en riksdagsgrupp med 15-20 politiker t ex som vi jobbar direkt med.”
En respondent från en mindre organisation framhöll att intresset för området där hennes organisation verkar är stort bland politiker och att de därför kan göra sin röst hörd trots att de är små.
En respondent framhöll att det är svårt att planera organisationens kommunikationsverksamhet och att vara strategisk och mäta resultaten på grund av det politiskt instabila läget där organisationen verkar.
”Man har en bild över vad man ska göra, men sedan i verkligheten blir det någonting annat för det händer så mycket./…/Verkligheten får ju bestämma.”
5.3.2.2 Har externa krav påverkat kommunikationsverksamheten?
En respondent sa att man i hans organisation inte hade prioriterat resultatstyrning av kommunikationsverksamheten på samma sätt som i utvecklingsarbetet, och att han därför ser att man följt de externa kraven snarare än att ligga före dem. Att man efter hand valt bort en del aktiviteter och fokuserat kommunikationsverksamheten såg han delvis som en följd av Sidas krav, och trodde att man kommunicerar mer effektivt nu än förr.
”Det känns som om det har gått hand i hand med utvecklingsarbetet. Fast med utvecklingsarbetet har vi nog legat steget före med resultatfokus. Jag tror att vi har anpassat infoverksamheten mer efter kraven än utvecklingsarbetet. Vi har varit mindre framsynta med infoarbetet.”
En annan respondents förklarar att hennes organisation har följt trenden att utvärdera resultaten av kommunikationsarbetet så länge man haft Sida-bidrag för denna, formulerat tydligare mål för kommunikationsverksamheten och ”följt regelboken, så nu finns det en Sverigestrategi”. Hon sa även att:
”Man arbetar med information på samma arenor men mer analys av effekter nu på grund av Sidas idéer som styr de tankarna. Man försöker hitta bevis på att det man gör har en effekt./…/Vi ligger väldigt mycket i mittfåran i trenden, vi gör vår hemläxa väldigt noggrant för att det är förutsättningen för att få pengar. Jag tycker det är bra så att man inte bara springer iväg och gör saker utan att tänka på vilken effekt det får.”
Att Sida och ramorganisationer har ”ytliga” krav på redovisning av resultat för kommunikationsverksamheten påpekades av några respondenter. Dessa ansåg att det är ett väldigt starkt kvantitativt fokus och att de inom sina egna organisationer har högre krav än de som ställs på dem för att få bidrag. Två respondenter sa:
”Vi har egna högre krav på oss själva än Forum Syd. Vi vill inte redovisa aktiviteter, vi vill redovisa resultat.”
”De direktiv som finns från Sida och Forum Syd har väldigt flummiga redovisningspunkter tycker jag. Man skriver ‘hur många har man nått ut till’, men når man in i människor då?”
En respondent sa att eftersom man följer Sidas anvisningar i rapporteringen, har detta även påverkar hur man mäter sina resultat:
”I Sverigeverksamheten har det varit stort fokus på att nå ut brett hos Sida. Och det har nog påverkat oss, vi har sett att vi ibland leder av samma sjuka att vi överfokuserar för mycket på kvantitativa indikatorer snarare än det kvalitativa förändringar för det är så svårt att mäta.”
5.3.3 Gemensamma konsekvenser för utvecklingsarbete och kommunikationsverksamhet
5.3.3.1 Administration
Att arbeta med resultatmätning har lett till ökat behov av bland annat administration, kunskap, personal, tid och ekonomiska resurser uppgav alla sju respondenterna. Arbetsuppgifter har förändrats, man har behövt lära sig nya saker och nya behov har uppstått.
Att resultatredovisning tar mycket tid som man innan kunde använda till annat påpekas av flera respondenter.
”Kraven har fått mycket negativa konsekvenser, till exempel att man måste spendera så mycket tid framför datorn - man bara skriver och skriver och skriver. De borde inte ändra reglerna för ofta, men tendenserna är att omorganisera hela tiden. Man producerar bara massa papper som de flesta inte läser. Då är det något som inte stämmer. Det kommer att bli bra, bara man låter det vara nu. För om de omorganiserar igen så kommer vi få ett bistånd med folk som inte vet vad de pratar om för de sitter bara framför datorn.”
En annan respondent sa:
”Handläggare kan inte längre ägna den tid till dialog som de behöver utan mer tid går till bedömning, rapportering, administration, kontraktskrivande, årsrapporter – man spenderar mer tid framför datorn än man verkligen är ute och kollar vad som händer i fält.”
Ytterligare en respondent ifrågasatte nyttan av den ökade administrationen:
”Men den tiden man lägger på det (resultatredovisning) kanske man egentligen borde ha använt till att göra mer av det som faktiskt påverkar och strunta i att bevisa det?”
Två respondenter tog upp att större behov av personal är en följd av ökad resultatstyrning, vilket man även skulle kunna tolka att de ovanstående citaten antyder. En respondent menande att det inte bara behövs ökade personalresurser i form av fler personer, utan även ökad kontinuitet och kvalitet hos medarbetarna. Kraven på kunskap ökar när man arbetar med resultatredovisningssystem, och frivilligengagemang av medlemmar i form av punktinsatser fungerar då inte som hjälp uppger en respondent:
”Det är väldigt viktigt att få rätt person, och det går emot folkrörelseandan att ”alla kan”. Inom andra yrken har man ju alltid haft yrkesexperter, men i den här andan blir det så extremt att alla ska kunna göra allt utan att omskola sig. Då blir ju effektiviteten lidande.”
Respondenten ansåg att det är motsägelsefullt att de som utkräver ökade resultatbevis inte är beredda att bidra till att möjliggöra detta med mer personal:
”Samma regering som vill ha resultatbevis på att vi ger resultat gillar inte alls att betala ut mer pengar i personalresurser för att administrera det. Där kan jag tycka att det är en motsägelse. Vi har ju lärt oss det, att det krävs mer kontinuitet och högre kvalitet bland anställda, och då behövs mer personalresurser./…/Man har med ljus och lykta jagat organisationer för att de inte ska expandera i personal.”
5.3.3.2 Externa krav och effektivitet
En fråga som ställdes till respondenterna var ifall de trodde att Sidas krav på ökad resultatredovisning har medfört att deras arbete blivit mer effektivt i realiteten.
En respondent säger att Sidas krav har bidragit till att hennes organisations arbetsplan har blivit tydligare med vad organisationen vill uppnå och att detta kan ha bidragit till att personalen bättre förstår vad man vill genomföra:
”Så rimligtvis påverkas de medarbetarna att tänka i ”vad-gör-skillnad-tänk” i alla led. Men det räcker inte med att några topptjänstemän är väldigt duktiga om man inte sprider ut det. Så ja, skillnad för våra mellan- och lågtjänstemän ute i fält, arbetsplanen uttrycker bättre vilka resultat de ska titta efter och uppnå. Men det är olika på olika områden och människor, det finns nog väldigt mycket