I detta avsnitt byter framställningen fokus från att ha handlat om utvärdering- en av utbildningsprogrammet, till att istället handla om själva utvärderingen. Som framgår av den femte frågan i utvärderingens syfte är uppgiften också att göra en bedömning av vilka lärande- och förändringsprocesser som utvärde- ringen bidrar till på olika nivåer inom socialtjänsten. Därför har utvärderingen utformats enligt en formativ modell som innebär att resultat presenteras för de berörda under pågående utvärdering så att man kan ta lärdom av resultatet. Efter varje möte med personalgrupper och andra informanter har utvärderaren givit en preliminär rapport om sina intryck. En mer systematisk analys har också genomförts efter halva projektperioden och redovisats i form av en delrapport med titeln ”Gränsöverskridande lärande”. Rapporten översattes till ryska och skickades till samtliga kommuner för synpunkter i december år 2000. (Se Kapitel 4, avsnitt 4.4.2).
6.5.1 Synpunkter på utvärderingen
Följande sex punkter är en kort sammanfattning av kommunernas synpunkter på utvärderingsrapportens innehåll och utformning.
1. Utvärderingsrapporten bör kortas ned för att kunna tjäna som metod- bok
2. Namnen på de kommuner som deltar i fallstudien bör anges i utvärde- ringsrapporten
3. Beskrivningarna av de fyra fallstudierna bör vara mer detaljerade och beskriva mål, innehåll och arbetssätt
4. Utvärderingen bör ange alternativa lösningar och även ge rekommen- dationer på länsnivå
5. Utvärderingen bör ge en tydligare kritik mot den statliga politiken i so- ciala frågor
6. Utvärderingen bör ge mer utrymme åt att beskriva det ryska folkets mentalitet.
Kommentarer
Det finns ett stort behov av metodlitteratur inte minst i utvärdering. Det är dock viktigt att påpeka att syftet med denna rapport inte är i första hand att vara en lärobok i metod, även om det givetvis inte är någon nackdel om rap- porten också kan ge sådana kunskaper.
Beträffande namnen på de kommuner som ingår i fallstudierna är det viktigt att understryka att ett avgörande skäl till att inte publicera namnen är principen om sekretess för uppgiftslämnare. Det är också viktigt att komma ihåg att syftet inte har varit att göra jämförelser eller att rangordna mellan kommunerna. Meningen med fallstudierna har varit att få goda exempel på projektarbeten som ger kunskaper om hur det praktiska projektarbetet kan bedrivas. För att ta del av dessa kunskaper anser jag att det inte finns anled- ning att ange vilka kommuner det rör sig om. Det kan tvärtom hävdas att ett namn kan göra att läsaren fastnar i att tänka på den specifika kommunen och i att jämföra med hur han eller hon själv anser att den fungerar. Det kan göra att man inte ser de generella och principiella resultatet.
Borde fallstudierna göras mer detaljerade? Min bedömning är att detta är en fråga om avvägning mellan hur omfångsrik rapporten skall göras och vad som är nödvändigt att beskriva för att göra fallstudierna rättvisa. Om den valda avvägningen är den rätta kan alltid diskuteras. För de som vill har mer information om projekten vill jag peka på att en sådan kommer att redovisas från Arbets- och socialskyddskommittén bland annat genom olika konferenser och projektrapportering.
Att man efterlyser förslag på konkreta lösningar på problemen i den situ- ation som råder i kommunerna är ett önskemål som är lätta att förstå. Som framgår av utvärderingens resultat är det en komplex problematik som kom- munerna har att hantera och det finns knappast några enkla lösningar på problemen. Det som utvärderingen kan bidra med är att visa om en av åtgär- derna – att satsa på internationellt erfarenhetsutbyte och utbildning av social- tjänstens personal – kan vara en strategiskt riktig väg. På den punkten visar resultatet av utvärderingen att det finns goda skäl för en sådan strategi. När det sedan gäller en rad ytterligare åtgärder som behöver göras har jag valt att endast peka på några mer principiella rekommendationer som redovisas i kapitel sju.
Skall utvärderingen ge en tydligare kritik mot den statliga politiken i so- ciala frågor? Min bedömning är att det ligger utanför utvärderingens uppgift att genomföra en mer ingående analys av den ryska kulturen och politiken. Det betyder inte att dessa frågor saknar betydelse för att förstå de problem som
utvärderingen behandlar. Ur ett politiskt perspektiv uppmärksammas makt- frågan och förhållanden och problem som gäller behovet av minskad byråkra- ti, ökad öppenhet och förändringar av otidsenliga regelverk i det ryska samhäl- let för att för att underlätta arbetet med att utveckla socialtjänsten i länet och i landet. Några av dessa frågor tas upp i kapitel sju.
6.5.2 Har utvärderingen uppfyllt sitt lärande syfte?
Som konstaterades i kapitel tre så kan en utvärdering kan ha olika funktioner. En vanlig funktion är att producera information som ger beslutsfattarna ”feed- back” för att kontrollera att de nya anvisningarna följs och att brister rättas till. En annan funktion är när utvärderingen är upplysande och förväntas stimule- ra till kunskaps- och idéutveckling. En tredje funktion är den när utvärdering- ens uppgift är att vara en del i denna lärande- och granskningsprocess genom att skapa tillfällen för möten och dialog mellan olika parter där olika åsikter kan brytas (van Knaap, 1995). Med dessa utgångspunkter kan denna utvärde- ring granskas. En sådan uppgift bör givetvis helst ske av en oberoende grans- kare och följande kommentarer får därför ses som ett diskussionsinlägg.
Bedömning
I genomförandet av utvärderingen har ett lärande syfte betonats i kontakterna med olika respondenter. Syftet har varit att utvärderingen skall fungera som idégivare och bidra till lärande. Det har bland annat tagit sig uttryck i att ut- värderaren har medverkat vid samtliga utbildningsomgångar och föreläst om utvärdering som metod, samt informerat om den aktuella utvärderingen. Vid dessa tillfällen har deltagarna kunnat ställa frågor och diskutera olika utvärde- ringsresultat och ge synpunkter på det pågående utvärderingsarbetet. Utvär- deringen har haft en upplysande funktion för att sprida idéer mellan olika kommuner och deltagare. Den har också fungerat som forum för kritisk granskning och dialog genom att utvärderaren har pekat på vilka styrkor och svagheter som kan finnas i utbildningsprogrammet och hur resultatet har använts. Utvärderingen har så sätt stimulerat till reflektion och självkritik hos deltagarna och de ansvariga för utbildningsprogrammet och för den sociala verksamheten i Leningrads län.
7 DISKUSSION
I detta avslutande kapitel ska några behov av förändring inom det ryska sam- hällssystemet diskuteras. I kommunernas synpunkter på den första utvärde- ringsrapporten ansåg en del att rapporten borde innehålla en mer kritisk granskning av den statliga politiken i sociala frågor. Kapitlet kan ses som ett försök att delvis uppfylla det önskemålet. Med utgångspunkt från utvärde- ringens resultat, men också från intryck vid studiebesök i olika sociala verk- samheter och från samtal med olika företrädare för socialtjänsten i Leningrads län, vill jag peka på följande problem som kan vara viktiga att beakta i det fortsatt utveckling av samarbetet och av socialtjänsten.