Uppföljningsrapporten består av fyra frågor. Fråga 4 ska bara besvaras om det område där projektet genomförs är ett konfliktområde eller ett postkonfliktområde.
Hur ni svarar på frågorna:
I uppföljningsrapporten ligger fokus på avvikelser från projektplanen och på vilka lärdomar som har dragits. När ni besvarar de öppna frågorna rekommenderar vi att ni gör en självutvärdering i grupp1, en form av självbedömning i en mindre arbetsgrupp.
I den grupp som utför självutvärderingen bör de personer som driver projektet ingå:
samordnaren eller projektledaren från er svenska organisation och projektledningen inom samarbetsorganisationen. På så sätt kan den egna utvärderingen bli en givande och viktig del av partnerskapet mellan SvEO (den svenska enskilda organisationen) och LEO (den lokala enskilda organisationen). I fall där målgruppen deltar aktivt i
genomförandet och uppföljningen av projektet bör även företrädare för målgruppen ingå i gruppen.
När ni sätter er för att göra självutvärderingen i grupp är det viktigt att se till att ni har alla väsentliga verifikationskällor tillgängliga som ni kan tänkas behöva, till exempel
rapporter från uppföljningsbesök, frågeformulär, intervjuprotokoll, närvarolistor.
Fokusera på helheten och fastna inte i detaljerna. Det viktiga i denna process är öppenhet och ärlighet och att undvika en defensiv hållning i fråga om eventuella avvikelser och anledningen till dessa.
Självutvärderingen bör vara en läroprocess med fokus på hur de mål som satts upp ska kunna nås.
Fokusera på avvikelser och lärdomar för att förbättra projektgenomförandet och säkerställa att målen uppfylls.
Med avvikelse menar vi något som skiljer sig från vad som varit planerat från början. Avvikelser kan både hämma och främja
måluppfyllelsen i projektet.
Handbok för rapportering Instruktioner för årsrapport
5 (30)
1) Gör vi det som vi sa att vi skulle göra?
[Intern validitet]
2) Gör vårt arbete någon skillnad?
[Konsekvensanalys]
3) Gör vi rätt saker?
[Strategi och lärande]
Nedan finns mer information om självutvärderingen i grupp och hur den kan användas som en metod under projektgenomförande.
Vägledning. Självutvärdering i grupp
Varför behövs självutvärdering i grupp?
Vilka är de allra största experterna på genomförande av ett visst projekt eller program?
Svar: de(n) arbetsgrupp(er) som har genomfört det. Det är oftast de som har den mest omfattande kunskapen och insikten i vad som görs och vilka konsekvenser det har, eftersom de har det dagliga ansvaret för att förverkliga projektet. De sitter inne med en mängd information, och med en egen granskning i grupp tas denna tillgång tillvara.
Vem/När:
Om självutvärderingen används i en utvärderingsprocess för ett projekt eller program utförs den vid olika tidpunkter av projektgrupperna, till exempel halvvägs genom projektet och efter slutförande. Men metoden kan också användas inom gruppernas fortgående diskussions- och läroprocess, och på så sätt ingå i gruppernas verksamhet (och utföras en gång, eller till och med två gånger, om året). Denna metod kan också tillämpas av en hel organisation, där varje avdelning, inklusive förvaltnings- och ekonomienheter, utför en självutvärdering.
Hur:
Gruppen ska avsätta en rimlig tidsperiod för utvärderingen. För mindre projekt kan några timmar räcka, medan mer komplexa projekt kan kräva sammanlagt 1–2 dagar, utspridda över några veckor. Uppgiften består i att besvara de tre allmänna
utvärderingsfrågorna:
Steg 1. Förberedelser
Inför gruppmötet ska deltagarna läsa om alla eventuella relevanta dokument som är knutna till deras ansvarsområden sedan den senaste översynen (till exempel
projektrapporter, rapporter från uppföljningsbesök, enkäter till bidragsmottagare, formulär för utvärdering av utbildning, arbetsplaner osv.).
Steg 2. Samordnare
Sedan samlas gruppen under ledning av en av deltagarna (samordnaren kan vara gruppchefen eller en annan medlem i gruppen). Gruppen ska gå igenom var och en av de tre frågorna och försöka enas om ett svar på respektive fråga. Det viktigaste här är öppenhet och ärlighet, inte att inta en försvarsställning. Samordnaren ska se till att
Handbok för rapportering Instruktioner för årsrapport
gruppen inte fastnar i detaljer. Utvärderingen ger möjlighet att se helheten och bör inte bli en diskussion om mindre aspekter beträffande projektgenomförandet.
Steg 3. Minirapport om självutvärderingen
Det fysiska resultatet av processen är en minirapport på ca 1–4 sidor om självutvärderingen (beroende på hur komplext projektet varit och hur mycket
gruppmedlemmarnas roller har skilt sig). Det är lätt att skriva en hel bunt sidor – men det är INTE syftet. Syftet är att ange några grunddrag som alla i gruppen kan enas om:
några sidor som återger om gruppen gör det som var avsikten, anledningarna till eventuella avvikelser, på vilka områden som projektet ger mest märkbara effekter (de mest betydelsefulla effekter som kan konstateras i målgrupperna eller
samarbetsorganisationerna), och gruppens bedömning av huruvida den gör rätt saker på rätt sätt. I slutsatsen i denna minirapport sammanfattas de centrala lärdomar som har framträtt vid granskningen.
Utmaningar vid självutvärdering
A. Betrakta rapporteringen som ett internt utvecklingsverktyg
Första gången man gör en självutvärdering i grupp kan man tycka att det är svårt! Det beror på att många grupper inte är vana vid att ombes ge sina åsikter på ett öppet och rättframt sätt, och på att de ofta inte vet vilka svaren på de tre frågorna är. Till och med fråga 1 är svår att besvara, eftersom det förutsätter att gruppen vet vad den föresatt sig att göra, men ofta ingår inte arbetsplaner, gruppmål och individuella mål i arbetssättet.
Fråga 2 är nästan alltid en stor utmaning, eftersom de flesta grupperna samlar in uppgifter och skriver rapporter om vad de gör men inte om effekterna. Därför måste grupperna, som en del av utvärderingsprocessen, hålla reda på vad de tyckte var svårt att svara på och varför. Är det svårt för att vissa gruppmedlemmar inte är klara över prioriteringarna? Eller för att planerna förändras, men dessa förändringar inte brukar lagras i det ”institutionella minnet”? Eller är det för att man inte anstränger sig tillräckligt för att följa upp effekterna av insatserna på målgrupperna? Listan över de problem som gruppen ställs inför vid utvärderingen utgör grunden för vad som måste förbättras under de påföljande månaderna.
B. Välj de mest betydelsefulla effekterna (most significant change)
När ni gör en bedömning av effekten av ett projekt eller program bör gruppens svar på fråga 2 bidra med värdefull information. För att göra det på ett bra sätt, behöver gruppdeltagarna föreställa sig att de sitter i en helikopter och tittar ner på projektet och tillsammans beslutar vilka som är de tre eller fyra mest betydelsefulla effekter som arbetet har medfört för den avsedda målgruppen, och vad som gör att just dessa är de mest framträdande exemplen på effekter.
C. Ägarskap
Dessa minirapporter kan förbli projektgruppernas egendom, men vi hoppas att gruppen i en anda av tillit och ömsesidigt lärande vill dela sina slutsatser med andra intressenter, som högre chefer, samarbetspartner, bidragsgivare och företrädare för målgrupperna.
När en projekt-/programutvärdering utförs av en extern konsult kan utvärderaren också
Handbok för rapportering Instruktioner för årsrapport
7 (30)
att ha organisationer med femton eller ännu fler arbetsgrupper. Detta leder till ett stort antal minirapporter. Då behöver organisationen upprätta en arbetsgrupp på tre personer som skapar ett koncentrat av rapporterna. Denna grupp läser alla minirapporter och träffas sedan för att stiga upp i helikoptern och besvara de tre allmänna
utvärderingsfrågorna för hela organisationen, utifrån minirapporternas innehåll.
Därefter skriver de organisationens samlade rapport om självutvärderingen. Detta är ett mycket värdefullt källdokument, eftersom det visar precis hur det går för organisationen med att genomföra planerna, bidra till förändring i världen utanför och granska den strategiska inriktningen. För att detta koncentrat ska bli trovärdigt måste de tre
deltagarna i gruppen vara respekterade medlemmar eller anställda i organisationen som har rätt kunskap och kompetens för att kunna få grepp om helheten.
Slutkommentar
Självutvärdering är ett kraftfullt verktyg, men grupperna måste först pröva hur
processen kan gå till och sedan reflektera över vad som varit svårt, införa förändringar, göra en andra utvärdering och slutligen göra fler förbättringar av det sätt som de förbereder och genomför utvärderingen på. Vid tredje försöket kommer de att ha ett system som möjliggör regelbunden utvärdering av arbetet och producera småskaliga rapporter som innehåller essensen av vad som görs och uppnås. Dessa rapporter kan sedan användas som källdokument gentemot bidragsgivare, utvärderare, målgrupper och andra intressegrupper.
Handbok för rapportering Instruktioner för årsrapport
Kambodja