Deltagarnas arbete med LFA-analyser har utgjort ett centralt moment i pro- jektet genom att stimulera deltagarna till djupgående analyser. LFA- instrumentet är emellertid inte enbart ett analysinstrument utan ett projekt- lednings- och uppföljningsinstrument.
Enligt riktlinjerna i LFA-manualen ska projektplanen innehålla utvalda indikatorer som sedan ska användas för att mäta effekter när projektets ut- värderas och för att projektledningen med hjälp av indikatorerna fortlöpande ska kunna bedöma hur projektet utvecklas. Detta är vad som gör LFA till ett redskap för ledning och uppföljning. I familjehemsprojektet var avsikten re- dan vid första utbildningstillfället att ”sätta upp tydliga indikatorer för lö- pande monitoring och utvärdering” (Forsberg, 2002). Någon dylik ”löpande monitoring” i betydelsen uppföljning med hjälp av indikatorer har däremot aldrig genomförts. Dessutom har projektarbetena författats under resans gång och inte i början av projekttiden. Några av projektarbetena innehåller ansatser till indikatorer men projektledningen har inte utnyttjat dessa. Där- emot har både svenska och ryska deltagarna lämnat feedback på de projekt- planer som utformats under projektets gång. Dessa har dock inte relaterat till projektmålen eller utnyttjat några indikatorer vid bedömningen av texterna.
Å ena sidan kan man nu hävda att projektet inte följer LFA och att projek- tet därmed saknat styr- och uppföljningsinstrument. Först när projektet av- slutas får man exempelvis kunskap om att den förväntade expansionen gått förhållandevis långsamt. När projektet startades tänkte man sig att en utvär- derare skulle finnas med under hela projekttiden. Denna ambition kunde, om den hade fullföljts, varit ett annat sätt att fortlöpande följa upp hur arbe- tet utvecklas.
Å andra sidan har LFA använts på ett självständigt och kreativt sätt som främjat den faktiska processen. LFA har framför allt använts som ett pedago- giskt redskap med vars hjälp deltagarna har kunnat reflektera över de pro- blem som man ska hantera. Den har också haft en pedagogisk funktion på konferenserna eftersom deltagarnas texter och berättelser har behandlats vid seminarier i ett handlednings- och oppositionsförfarande. Nämnda förhål- landen väcker emellertid frågor om LFA som styrinstrument men också frå- gor om vilken funktion utvärdering kan och bör ha inom ramen för ett bi- stånds- eller utvecklingsprojekt. Framför allt finns det anledning att fundera över relationen mellan uppföljning och utvärdering och deras respektive funktioner.
Sidas handbok för utvärdering av bistånd (Molund & Schill, 2004) och, framför allt, LFA-manualen (Sida Metodenheten, 2002) ger vid handen att medan kontinuerlig uppföljning ska utgöra redskap för ledning av ett projekt ska utvärdering eller ”kvalificerad uppföljning” (Vedung, 1998) användas
som ett redskap för ”ansvarsutkrävande” (accountability) och lärande bland dem som är relaterade till utvärderingsobjektet. Frågan är vilka problem och möjligheter som finns när dessa olika funktioner ska samsas och samspela inom ramen för ett utvecklingsprojekt?
Forss, Reiben och Carlsson (2002) pekar på att utvärderingars funktion, nytta eller användning blir så mycket kraftfullare om dess kunskapsbidrag utnyttjas under hela utvärderingsprocessen. Författarna argumenterar där- med för olika former av ”process use”. En sådan förskjutning från slutrapporten till processen innebär emellertid att utvärdering och uppföljningsfunktionerna när- mar sig varandra.
Från andra hållet (alltså med utgångspunkt i uppföljningsfunktionen) kan man med befintlig empiri som grund hävda att LFA som resurs för problem- lösning och kreativt lärande förutsätter ett självständigt bruk av uppfölj- ningsinstrumentet. I dess ortodoxa form kännetecknas LFA-modellen av en naturvetenskapligt inriktad rationalitet som knappast är till gagn för kreativa processer. Däremot passar modellen som handen i handsken i den ryska administrationen med dess tydliga hierarkier och ett utbrett instrumentellt förhållningssätt visavi individ och samhällsproblem: defekter och avvikelser ska korrigeras med teknisk rationalitet. Förhållandet bör mana till försiktig- het när metoden används i utvecklingsländer där demokratin som livsform ännu inte slagit rot i breda befolkningslager.
I dess ortodoxa form har alltså instrumentet utan tvekan klara begräns- ningar när det gäller att stimulera kreativ och kontextuell problemlösning och praxisnära lärprocesser. I själva verket vilar LFA på en problematisk fö- reställning om att analys och tillämpning, teoretisk reflektion och praktiskt handlande genomförs som två sekventiellt åtskilda moment. Med utgångs- punkt i pragmatismen som filosofisk tradition kan man hävda att dessa två moment i själva verket är omöjliga att separera (Biesta & Burbules, 2003). En annan problematisk föreställning hos LFA-instrumentet är att det skulle gå att blottlägga en orsakskedja som döljer sig bakom ett samhällsproblem. Där- till ska detta blottläggande ske under loppet av en eller ett par LFA- seminarier. Frågor som engagerar forskare i månader och år ska avhandlas på en eftermiddag. Ett tredje problematiskt grundantagande är att samhälls- problem alltid skulle kunna lösas genom att man angriper orsaken till dem. Med en kanske väl drastisk jämförelse: en skogsbrand släcker man inte ge- nom att leta rätt på mannen som lämnat en falnande brasa utan tillsyn. Fram- för allt finns det anledning att fråga sig om den instrumentella rationalitet och den sekventiella strategi som kännetecknar LFA främjar kreativ problem- lösning som antagligen är nödvändig i ett utvecklingsprojekt.
Ett alternativ till LFA-instrumentet skulle kunna vara att man gifter sam- man uppföljnings- och utvärderingsbehoven och likaledes deras tre funktio- ner (kontroll, ledning och lärande) i en och samma utvärderingsprocess. För-
utsättningen är att man tillämpar vad Forss et al. (2002) kallar ”process use” och vad Karlsson (2003) kallar praktikbaserad utvärdering. Som både Forss et al. och Karlsson påpekar, finns en rad olika varianter av utvärderingar som har det gemensamt att de genomförs i nära samspel med dem som deltar i den intervention som ska utvärderas. På samma sätt argumenterar Sander- son (2004) för att utvärdering bör ske i nära anslutning till en given praktik som redskap för lärande och verksamhetsutveckling, i kontrast till utvärde- ring som en fristående kontrollaktivitet tydligt åtskild från praxissamman- hanget.
Vinsten skulle vara flerfaldig. Projektledningen skulle få tillgång till en pedagogisk resurs som bättre förmår samspela med deltagarnas kreativitet och förmåga till problemlösning och som i förlängningen äger potential för verksamhetsutveckling. Samtidigt som utvärderingsarbetet skulle bli mer meningsfullt och effektivt eftersom dess insikter kommer projektet till del och möjligheten till lärande blir större.
För Sidas del förutsätter emellertid en sådan strategi för ”utilization” ett samtal och utvecklandet av en samsyn mellan två enheter som tycks arbeta relativt oberoende av varandra, nämligen utvärderings- och metodenheten och deras respektive policyer för uppföljning och utvärdering.
6.6 Utvärderingens metod och trovärdighet