Genom att i intervjuerna söka svar på frågorna ”Hur visste man vilka resultat man uppnått innan man införde de resultatmätningssystem man har idag?” och ”Varför mäter man resultat på det sätt man gör idag?” har jag inte främst eftersökt kunskap kring hur man gjort och hur man gör idag, utan hur man tänkt kring resultatmätning och varför detta tankesätt har förändrats. Jag kan utifrån mitt material inte dra några större slutsatser om hur man i praktiken gick tillväga förr och går tillväga idag. Vad jag har intresserat mig för är snarare övergången mot ett mer resultatdrivet arbete och vad de personer jag intervjuat för denna uppsats ser som denna övergångs orsaker och konsekvenser. Jag har även intresserat mig för lärande och legitimitet som två faktorer med stor betydelse för resultatmätning.
Flera av de respondenter jag intervjuat har berättat att de inom sina respektive organisationer har blivit bättre analytiker och numera vet vad de ska titta efter när de analyserar utkomsten av sitt arbete och hur de ska framhäva detta när de rapporterar resultat. Samtidigt uppges av några att det ofta är så att vad som händer ”på marken” inte har förändrats särskilt mycket sedan tidigare, utan att det snarare är nya språkbruk, tankesätt och förfarandesätt för att försäkra sig om sina resultat som är den stora skillnaden i resultatmätning förr och nu. Dessa utsagor förvånade mig något. Att arbetssättet på plats inte har förändrats särskilt mycket för alla kan ju naturligtvis bero på att de aktiviteter som genomförs ger bra resultat som överensstämmer med organisationens uppsatta mål. Det kan även betyda att hur man jobbar på marken inte har förändrats nämnvärt på grund av att man inte har använt utvärderingar på det sätt Dixon förespråkar. Att söka svar på hur det egentligen förhåller sig skulle dock kräva en väsentligt mer avancerad studie än denna. Dixons idé om att man inom alla organisationer borde mäta vad verksamheten leder till vilar på att den information man genererar sedan också ska användas till reflektion och analys för att generera nytt lärande om hur man kan förbättras. Nytt lärande är alltid det yttersta målet, inte bara att konstatera fakta eller att leverera resultaten uppåt i organisationen eller till en extern finansiär. Det är därför viktigt att göra skillnad på ifall man a) har lärt sig att man borde resultatmäta mer, b) att man resultatmäter mer, och c) att lära sig vad man sedan ska använda sina resultat till. Inte förens man ger innebörd åt
resultaten kan man veta hur man kan bli bättre. Använder man resultatmätning främst som ett instrument för redovisning, oavsett om det handlar om att konstatera vad man uppnått för den egna organisationen eller utåt, går man miste om lärande och att dra nytta av sina erfarenheter även om resultatet uppfyller målet, enligt Dixon.
Efter att ha ställt frågan ”Av vilken anledning tror du att man börjat resultatmäta mer aktivt inom din organisation?” till samtliga respondenter kan jag konstatera att många av utsagorna om varför man mäter resultaten grundar sig i en önskan att visa upp resultat utåt och legitimera verksamheten, även om det inte är en genomgående tendens i alla respondenters svar på frågan. Några svar relaterade även till organisationsutveckling, planering och att man vill bli mer systematisk, vilket kan kopplas direkt till planerat lärande som Dixon talar för.
Jag är övertygad om att just ideella organisationer likt de som ingår i den här studien har en mycket djupare kunskap och insikt kring frågor om vilket ansvar de borde ta och vilken roll de kan spela för utveckling och demokratiseringsprocesser på lokal, nationell och global nivå än vad de flesta andra typer av organisationer har. De kan därför med tiden komma att bli förebilder för den typ av lärande organisationer som Dixon förespråkar. Jag tror att de senaste tio åren har inneburit ett stort kliv i den riktningen för svenskt bistånd. Det som många fortfarande saknar idag, tror jag, är kunskap kring hur man i praktiken skapar de bästa förutsättningarna för aktivt kollektivt lärande och kunskapsspridning.
7
Reflektioner
Eftersom detta är en uppsats med temat lärande ser jag det som passande att avsluta med en egen utvärdering av hur jag tycker det har gått och vad jag har lärt mig under arbetets gång. Jag kan se både för- och nackdelar med det mesta jag har gjort. Vad gäller intervjuerna ser jag tydligt att mina frågor var färgade av min förförståelse om att resultatmätning på det sätt man gör idag är en mer direkt konsekvens av Sidas ökade krav på resultatredovisning än det visade sig vara. Att jag ville se skillnader och mer eller mindre göra en uppdelning i ”före” och ”efter” kraven var därmed inte särskilt fruktbart i alla intervjuer, eftersom många respondenter inte kunde se någon tydlig punkt där Sida börjat kräva mer av dem, utan att det skett successivt. Å andra sidan kan det finnas poänger med att många av mina frågor relaterade till hur externa krav påverkat, eftersom det var ett av mina syften att undersöka just det. Det krävde dock mycket jobb att bearbeta materialet och göra skillnad på när respondenterna syftade på vad som var konsekvenser av externa krav och vad som ansågs vara egna idéer. Som framkommit gick inte denna åtskillnad att göra i många fall. Jag insåg att tiden för intervjuerna, mellan 45 min och en timme, var ganska knapp för det antal frågor jag vill ställa. Därför blev vissa svar mycket kortare än jag hade velat på grund av tidsbrist, vilket kan ha förhindrat att viktig information kom fram. Samtidigt ser jag det som positivt att jag hade många frågor, då det gav mig fler tänkbara punkter att jämföra respondenternas svar med varandra mot. Att få fram det svar som ligger respondenten närmast till hands på flera frågor var bra på flera sätt.
Att svaren presenterades på ett fragmentiserat sätt tjänade väl i syfte att exemplifiera olika ståndpunkter och tankar kring olika teman, men ger samtidigt inte någon helhetsbild av någon av respondenternas synsätt. Jag tror dock att en annan form av presentation hade gjort det svårt att garantera anonymitet och dessutom hade presentationen av materialet inte kunnat ske temavis, vilket jag hade i åtanke.
En annan svårighet jag stötte på var att hålla en balans mellan att generalisera inom populationen och att låta varje respondent komma till tals. Empiri-delen blev därför ganska lång och med många citat med risk för att bli uttröttande för läsaren, medan analysdelen blev mer generaliserande.
Hade jag fått chansen att göra om undersökningen hade jag nog föredragit att intervjua färre respondenter fast under längre tid för att kunna gräva djupare i frågorna. Men med tanke på hur svårt det faktiskt var att få till stånd ett entimmasmöte med de respondenter jag intervjuat skulle det ha kunnat bli svårt. Jag hade även eventuellt ställt färre frågor, vilket dock hade krävt mycket mer förkunskaper än jag hade när jag började närma mig ämnet för ett par månader sedan för att kunna ställa relevanta följdfrågor.
Sammanfattningsvis kan jag säga att jag tycker att min metod fungerade och att teorin var ett bra verktyg för analysen. Jag har lärt mig mycket både om uppsatsämnet och om forskningsmetodik, vilket också var själva syftet med uppsatsen. Slutligen så hoppas jag att uppsatsen kan vara av intresse och leda till mer tankar, idéer, kunskap och kritik även för andra än mig själv.
Källförteckning
Tryckta källor:
Dixon, Nancy M, Organizational learning cycle: How we can learn collectively. Abingon, Oxon. Gower Publishing Limited, 1999.
Esaiasson, Peter, Gilljam, Mikael, Oscarsson, Henrik & Wägnerud, Lena, Metodpraktikan. Konsten att studera samhälle, individ och marknad. Stockholm. Nordstedts Juridik AB, 2004.
Inrikesdepartementet Ds 1997:36, Resultatstyrning av Föreningsbidrag. Stockholm. Fritzes, 1997.
Jacobsson, Bengt & Sundström, Göran, Resultat utan lärande? – erfarenheter från tre decennier av resultatstyrning. Stockholm. Score Rapportserie 2001:15.
Kvale, Steinar, Den kvalitativa forskningsintervjun. Lund. Studentlitteratur, 1997.
Mundebo, Ingemar, Hur styrs staten?. Stockholm. Department of Political Science, 2008. Montin, Stig, Moderna kommuner. Malmö. Liber AB, 2004.
Regeringens proposition 2002/03:122, Gemensamt ansvar – Sveriges politik för global utveckling. Regeringens skrivelse 2007/08:89, Sveriges politik för global utveckling.
Riksrevisionen, Oegentligheter inom bistånd – Är Sidas kontroll av biståndsinsatser via enskilda organisationer tillräcklig? (RiR 2007:20). Stockholm. 2007.
Sandberg, Bo & Faugert, Sven, Perspektiv på utvärdering. Lund. Studentlitteratur, 2007.
Sida, Slutrapport för SEKAs resultatredovisningsprojekt. Effektivt utvecklingssamarbete – via lärande och förtroende. 2006.
Sida, Årsredovisning 2007. 2008.
Starrin, Bengt & Svensson, Per Gunnar (red), Kvalitativ metod och vetenskapsteori. Lund. Studentlitteratur, 1994.
Statens offentliga utredningar 1996:169, Montin (red.), Kommunala förnyelseproblem. Stockholm. Fritzes, 1996.
Statens offentliga utredningar 1998:38, Vad får vi för pengarna? Stockholm. Fritzez, 1998. Statskontoret, Bidrag till ideella organisationer – kartläggning, analys och rekommendationer
(2004:17).
Internet:
Riksrevisionen, Inga snabba lösningar på styrning av staten. Besökt 2008-05-24. http://www.riksrevisionen.se/templib/pages/NewsPage____1759.aspx Sida, besökt 2008-05-24, http://www.sida.se/sida/jsp/sida.jsp?d=131&a=977
Intervjuer: Samtalsintervju 1, 2008-04-18, Stockholm. Samtalsintervju 2, 2008-04-18, Stockholm. Samtalsintervju 3, 2008-04-24, Stockholm. Samtalsintervju 4, 2008-04-24, Stockholm. Samtalsintervju 5, 2008-04-24, Stockholm. Samtalsintervju 6, 2008-04-25, Stockholm. Samtalsintervju 7, 2008-05-06. Per telefon.
Övriga källor:
Kurs ”Planera och utvärdera kommunikation” del II, 21-23 april 2008, Sida Civil Society Center, Härnösand.