Utvärderarna om projektens egna redovisningar

För att kunna få medel från Arvsfonden måste det finnas en verksamhetsplan redan inledningsvis, på ansökningsstadiet. I verksamhetsplanen ska den projektsökande organisationen beskriva det tilltänka projektet samt berätta hur projektet ska sprida sina resultat och fortleva efter avslut. Andra teman som förekommer i planen rör bakgrund, målgrupp, mål, metod och aspekter som är nyskapande med projektet. Frågor som

Arvsfonden vill få svar på i projektansökningarna är till exempel (Malmsten 2008, bilaga 3): x Varför är det viktigt att genomföra projektet?

x För vems nytta vill ni genomföra projektet? x Vad vill ni uppnå med projektet?

x Hur ska ni nå dit?

63 x Vilka ska vara med i aktiviteterna?

x Beskriv vad som är nyskapande och utvecklande med projektet? x Hur ska verksamheten drivas vidare efter projekttidens slut?

Samtliga projekt som beviljas medel från Arvsfonden är ålagda att följa upp och redovisa verksamheten. Efter varje avslutat projektår lämnar man från de enskilda projekten in redogörelser och ekonomiska redovisningar. Den ekonomiska redovisningen bestyrks av organisationens revisorer samt ”posterna i den kostnadskalkyl som låg till grund för beslutet om stöd”. Arvsfonden har utformat anvisningar till projekten med ett antal frågor, där de ombeds redogöra för bland annat måluppfyllelse och spridning av erfarenheter (Malmsten 2008, bilaga 3):

x Har målen som ställdes upp i ansökan uppfyllts? Om inte, varför?

x Kunde ni arbeta på det sätt ni tänkte er – fungerade det? Har ni genomfört de aktiviteter som planerades? Om inte, varför?

x Har ni nått ut till målgruppen? Om inte, varför? x Hur fortsätter verksamheten när projektet avslutats? x Hur har dokumentation/utvärdering genomförts? x Har arbete med erfarenhetsspridning påbörjats?

Ett flertal forskare uppmärksammar att det är stor variation i kvaliteten på och omfattningen av projektens egna redogörelser; de innehåller allt från enkla beskrivande redogörelser av verksamheten på några A4-sidor, till analytiska rapporter på uppåt 50 sidor som externa utvärderare har författat. Majoriteten av de redovisningar som till exempel forskaren som utvärderade regeringens särskilda satsning på insatser mot rasism, främlingsfientlighet, diskriminering och homofobi riktad till barn upp till 12 år (Barn och rasism) tog del av, var 8–10 sidor och innehåller svar på Arvsfondens frågor ovan: projektbeskrivning, genomförda aktiviteter, nådd målgrupp, metoder, arbetsprocessen och utmaningar:

”I de flesta redovisningar resonerar projekten på något sätt om resultat t.ex. genom att citera nöjda deltagare eller ge egna reflektioner som t.ex. att under konferensen fördes ”givande diskussioner”. Enstaka projekt är självkritiska och resonerar kring i vilken utsträckning de med säkerhet kan säga något om huruvida verksamheten har givit resultat. […] Några projekt gör egna enkäter till deltagarna där de får tycka till om verksamheten. Dessa visar som helhet genomgående på positiva resultat även om vissa moment i verksamheten kan få negativ kritik. Det finns emellanåt anledning att till viss del ifrågasätta dessa resultat utifrån frågeställningarna i enkäterna. Att deltagare t.ex. uppfattade en verksamhet som ”jätterolig” betyder inte att projektet lyckats med att t.ex. stärka deltagarnas självkänsla. Poängen är att dessa utvärderingar inte alltid fokuserar på det som var projektets syfte eller målsättning, utan de visar ofta snarare att deltagarna tyckte att det var trevligt att medverka.” (Malmsten, Barn och rasism, 2008:24)

En tänkbar förklaring till variationen i kvalitet när det gäller återrapporteringen till Arvsfonden skulle kunna vara projektledarnas olika erfarenheter av administrativt arbete.

64 Projekten drivs av olika aktörer – anställda professionella eller ideella krafter. Med tanke på att vissa projekt genomförs av ungdomar och andra av akademiker specialiserade inom området, är det svårt att ha samma krav och kriterier för återrapportering från projekten.

Diagram 3.1 Fördelning av arbetsuppgifter i Arvsfondsprojekten (Einarsson et al 2015)

I studien av projektledarnas arbetsvillkor i Arvsfondsprojekt konstaterar forskarna följande: ”Projektledarna är i allmänhet högutbildade kvinnor i alla åldrar med undantag för att det bara är några enstaka som är under 25 år. De flesta av projektledarna, sju av tio, har tidigare erfarenhet av organisationen där de nu är anställda som projektledare. Strax över hälften var även anställda innan de blev utsedda till projektledare. En fjärdedel av projektledarna har sedan tidigare erfarenhet av att leda Arvsfondsfinansierade projekt vilket gör att man, liksom för organisationerna, möjligen kan tala om professionella Arvsfonds-projektledare.” (Einarsson et al 2016:27)

Man konstaterar vidare att flera av de projektledare som har besvarat enkäten menar att kraven som finns på återrapportering är utmanande, både den ekonomiska och den övriga återrapporteringen:

”Dels handlar detta om den återrapportering som man från Arvsfonden kräver av projektet, där några pekar specifikt på att uppdateringarna på Arvsfondens speciella hemsida är arbetskrävande. Dels framhålls också att olika finansiärer och andra intressenter kräver olika former, format och intervall på rapportering vilket både upplevs som utmanande och till viss del frustrerande.” (Einarsson et al 2016:32) I de externa utvärderingarna skriver forskarna ibland om att det är svårt att utvärdera

projekten, eftersom det skriftliga materialet som finns tillgängligt är av så varierande kvalitet. Ofta är materialet till och med bristfälligt. Som mest påtagligt är detta i utvärderingen Stödet

16%

16% 68%

Vem sköter administration, bokföring

och liknande i projektet?

Jag som projektledare

Annan anställd i projektet

Annan, tex org kassör, ekonomiavd. eller bokföringsbyrå

65 efter flodvågen, som handlar om frivilligorganisationernas stödinsatser efter

tsunamikatastrofen. Författaren beskriver att det saknas data och att det var ”mycket som var oklart kring projektens uppdrag, syften och innehåll” (Linblad 2008:11). I denna specifika utvärdering blev även forskningsetiska dilemman om sekretess och anonymitet en utmaning.

”Flera av projektansökningarna var snabbt skrivna i ett akut läge, eftersom det för de drabbades skull var viktigt att omedelbart starta upp stödverksamheter. En

organisationsföreträdare uttrycker det så här: ’Han [person på Allmänna arvsfonden] stod vid faxen och inväntade vår ansökan, så vi skulle kunna få ett förhandsbesked och starta omedelbart.’” (Linblad, Stödet efter flodvågen., 2008:11)

Utvärderingen grundar sig främst på deltagarnas egna utsagor och dokumentation – något som gäller ett flertal av utvärderingarna. Flera forskare är medvetna om problematiken med detta, vilket de skriver om i utvärderingarna. Det är projektens egen bild av framgång och effekter som analyseras, och det medför en risk att resultat övervärderas. En annan risk är att interna problem och tillkortakommanden inte framkommer, som till exempel samarbetssvårigheter med andra aktörer. Det finns en annan risk som ofta uppstår för utvärderare som vill göra utsagor om olika insatser och satsningars effekter. Risken är att allt som inträffar efter att ett projekt har initierats tillskrivs projektet, även om inga jämförelser har gjorts med vad som hade hänt om projektet inte hade genomförts (Vedung 1998:139).

Ytterligare ett metodproblem som forskarna belyser är tiden som går mellan projektets avslut och utvärderingen. Projekten och verksamheterna är ibland avslutade sedan lång tid tillbaka när forskarna påbörjar utvärderingarna, i extrema fall så långt som 15–20 år tillbaka. Detta påverkar i sin tur möjligheterna till materialinsamling och intervjuer eftersom många av projektledarna sedan har länge slutat. Det finns också mycket få eller inga uppgifter om deltagare och projektmedarbetare. Utvärderarnas beskriver situationen:

”Det mest centrala metodproblemet i denna utvärdering har varit att få kontakt med relevanta personer att intervjua. Tolv av projekten tilldelades medel mellan 1994 och 1999 och verksamheterna ligger därmed cirka 15–20 år tillbaka i tiden. […] Detta har även fått återverkningar på den enkät som sändes ut till alla projekt. Det externa bortfallet är 31 procent (13 projekt). Bortfallet är särskilt stort i de äldre projekten och förklaringen ligger i det ovanstående, det vill säga att det inte finns någon person kvar i organisationen som kan svara på ett rimligt och rättvisande sätt eller att det är svårt att få tag på personer efter så lång tid.” (Gillberg och Bengtsson, Vägar mot arbete, 2015:11)

Bengtsson och Gillberg (2015) skriver vidare om svårigheten att göra jämförelser. De trycker på att det är mycket svårt att bedöma olika satsningars samhällsnytta.

”Till att börja med skulle en jämförelsegrupp finnas som inte fått del av den aktuella insatsen. Denna grupp skulle också ha en någorlunda likartad komposition. Ytterligare problem ligger i övriga stödformer som kan erhållas av myndigheter, organisationer, sociala nätverk m.m. Att isolera en specifik insats som rör en aktiveringspolitisk satsning är alltså svårt. Däremot kan vi i en vidare mening tolka värdet av en specifik

66 insats. Om projektmedel satsas på en idé eller modell som visar sig vara effektiv för att uppnå projektets mål och som fortsätter utvecklas efter projekttidens slut är det rimligt att anta att satsningen var samhällsekonomiskt lönsam. Men vad som skulle hänt om en grupp unga människor fått en annan form av stöd kan vi inte veta.” (Gillberg och Bengtsson, Vägar mot arbete, 2015:11)

I nästföljande kapitel låter vi fokus flytta till just frågan om nyttan med Allmänna arvsfonden, och vi gör det för två tidigare perioder i Arvsfondens verksamhet: Den filantropiska perioden (1928–1940-tal) respektive välfärdsstatseran (1950-tal till 1990-tal).

67

4. ’NYTTAN’ MED ARVSFONDEN: 1928 TILL TIDIGT 1990-TAL

existensberättigandet för Allmänna arvsfonden. Samtidigt som de kan betraktas som tre olika generationer av praktik som är tydliga och synliga i Arvsfondens verksamhet vid olika tidpunkter, menar vi att deras inflytande i verkligheten i högsta grad är överlappande, där element ur tidigare generationer fogas ihop med senare praktikgenerationer.

Vår utgångspunkt är att olika typer av föreställningar om ’nytta’ ligger centralt inbäddade i den praktik som vägleder arbetet inom det kansli som arbetar med Allmänna arvsfonden. Dessa olika föreställningar springer ur olika praktikgenerationer som överlappar varandra i Arvsfondens vardagliga arbete. Föreställningarna om nytta inverkar till exempel på vilka projekt som beviljas medel samt Arvsfondens instruktioner till utvärderarna om hur projekten skall följas upp. Vidare avspeglar det sig i de 43 olika utvärderingarna som vi har analyserat och troligen även när det gäller de cirka 2 000 underliggande projektens inramning.

Utvecklingen mot vad som betraktas som nytta i nästkommande praktikgeneration påbörjas redan i föregående period då den tidigare praktikgenerationen dominerar. Delar av de olika föreställningar om vad som är nyttan med Arvsfondens projekt lever sedan kvar i

verksamheten.

Idén om vad som är ’nytta’ varierar över tid beroende på vad som uppfattas som legitimt, men även utifrån den huvudsakliga inriktningen för Arvsfondens verksamhet under respektive generation av politikområde. Vad som definieras som nytta är beroende av såväl betraktarens perspektiv som av den historiska kontexten. Nytta kan exempelvis analyseras genom vilken form av bidrag som delas ut samt genom vilken typ av verksamhet som får bidrag.I det här kapitlet presenterar vi ett antal grundläggande idéer om vad som historiskt sett har betraktats som nyttan med Allmänna arvsfondens bidrags- och anslagsverksamhet. För att visa på den spännvidd som kännetecknar synen på nytta i Arvsfondens verksamhet inleder vi vår analys i kapitlet med en närmast rapsodisk genomgång av några viktiga exempel.

68