Utvärderingsverkstad
för att få stöd med att utvärdera sitt eget arbete
- redogörelse från den första utvärderingsverkstaden
Per-Åke Karlsson
Laila Värnestig
Januari 2001
1. Introduktion
En inbjudan från FoU i Väst till kommunerna och stadsdelarna i Göteborgsregionen som sändes ut i slutet av våren 1999 inleddes så här:
”Utvärderingsverkstad – för handledning och samskapande.
I denna ”verkstad för utvärdering träffas ett antal personer från olika verksamheter regelbundet ca en gång per månad under ett halvår för att tillsammans diskutera och få stöd för interna utvärderingar och ”självutvärderingar”. …”
Inbjudan hörsammades av åtta projekt1 varav fem kom att delta i utvärderingsverkstaden under hösten 1999 och våren 2000. I denna rapport beskrivs denna första utvärderingsverkstad i FoU i Västs regi.
Rapportens syfte är att beskriva verkstadens upplägg och genomförande samt att ur deltagarnas perspektiv värdera den och sprida erfarenheter om utvärderingsverkstaden som arbetsform för interna utvärderingar med metodstöd.
Rapporten beskriver verkstadens sammanhang avseende FoU-arbete inom utvärderings- området, berättar vilka som medverkade i verkstaden och vad som skedde i verkstaden samt summerar och tar upp några värderande erfarenheter och förslag för framtida verkstäder. De projekt som deltog redovisas i ett avslutande avsnitt. Utvärderingarna från de olika projekt som deltog i verkstaden redovisas inte i rapporten.
2. FoU som stöd för utvärdering och kvalitetsutveckling
”Kvalitetsutveckling genom uppföljning och utvärdering.
”FoU i Väst har som ett av sina uppdrag att bidra till kunskap för att utveckla det sociala arbetets kvalitet genom olika former av stöd för uppföljning och utvärdering.
…”
Även detta citat är hämtat från inbjudan till utvärderingsverkstaden. FoU i Väst arbetar på olika sätt för att öka kunskaperna om det sociala arbetets kvalitet och värde. Inom ett temaområde arbetar vi särskilt med att i olika former bidra till kvalitetsutveckling genom utvärderingar och uppföljningar. Förutom utvärderingsverkstaden, som här är i fokus, anordnas t ex seminarier, ges stöd till vardagligt utvecklingsarbete inom utvärderings- och kvalitetsområdet, stöds utvärderingsprojekt och bedrivs utvärderingar.
1 Vi benämner för enkelhetens skull de verksamheter som deltog i verkstaden “projekt” även om inte alla organiserats som projekt i egentlig bemärkelse.
Att utvärderings- och kvalitetsarbete är centralt inom FoU i Väst är naturligt med tanke på den betoning som ges i lagstiftningen att det sociala arbetet i kommunerna ska vara av god kvalitet (SoL § 7). Detta stadgande har av statsmakterna på olika sätt understrukits: Till exempel genom allmänna råd från socialstyrelsen om kvalitetssystem. Genom ett regeringsuppdrag till socialstyrelsen om att kartlägga och föreslå hur stöd för kunskapsutveckling inom social- tjänsten kan förstärkas. Satsningen på regionala FoU-enheter, varav FoU i Väst är en, kan ses i detta sammanhang.
Utvärderingar av olika slag är ofta ett viktigt led i nämnda strävanden efter god kvalitet.
Utvärderingsverkstaden har ju som ett syfte att bidra till ökad förmåga att genomföra utvärderingar i anslutning till det egna arbetet. Det kan därför vara på sin plats att här kort ta upp något om utvärderingsbegreppet2.
Att utvärdera handlar om att söka bedöma värdet av någonting t ex ett projekt, en arbetsmetod eller en insats. Utvärderingen är bakåtblickande på så sätt att den söker bedöma det som inträffat, om än helt nyligen, medan den är framåtsyftande genom att den ska ge underlag för det framtida (helst bättre) handlandet. Att systematiskt lära av erfarenheten för att kunna göra bättre, kan sägas vara utvärderingens måtto. Motiven för att utvärdera kan vara många, t ex att utvärdering ska ge underlag för kontroll, utveckling och främjande eller kritik beträffande granskade verksamheter. Ofta är dessa motiv blandade i praktiken; t ex att socialarbetare ser utvärdering som en möjlighet för att utveckla arbetet samtidigt som den innebär möjligheter för kontroll av ändamålsenlighet, resursförbrukning, mm.
Utvärderingsarbete är expanderande inom såväl praktik som forskning. Inom allt fler verksamheter efterfrågas utvärdering och utvecklingen av metoder för utvärdering är snabb.
För översikter av olika modeller och tekniker hänvisas till litteraturen. Här ska enbart två grundbegrepp kort beröras: process och effekt. När man söker utröna effekten av något är man intresserad av i vilken mån insatsen bidragit till den förändring – det utfall som kan identifieras. I verkligheten är detta ofta komplicerat då utfallet kan bero av mycket och socialtjänsten egentligen ”råder över” eller kan styra tämligen få faktorer. När fokus ligger på processen intresserar man sig snarast för insatsen – det sociala arbetet; vari det består, hur det utförs och om det utförs så som man tänkt sig. I utvärderingsarbete, som är nära kopplat till praktiken, är det naturligt att söka koppla dessa ansatser till varandra, samtidigt som man måste vara medveten om att resurs- och kunskapsrestriktioner innebär klara begränsningar. I de projekt som deltog i utvärderingsverkstaden intresserade man sig oftast för såväl process- som effektaspekter. I några projekt sökte man kunskap om effekten i olika avseenden; t ex om förändrad livssituation och ökad livskvalitet för mammor blev följden av medverkan i en föräldragrupp, om snabbare inslussning i arbete för arbetslösa uppnåddes genom en speciell arbetsmetodik. För samtliga deltagande projekt gällde att man sökte ökade kunskaper om sina insatser och hur man utifrån vunna erfarenheter kan utveckla arbetsmetoder.
Lite mer utförligt ska behandlas vem som utför utvärderingar. Grovt sett skiljes på externa eller interna utvärderingar. Med externa menas oftast att de utförs av någon/några utanför och
2 Det finns åtskilliga skrifter på svenska om utvärdering, såväl allmänna liksom skrifter som kopplar utvärdering till socialt arbete. Ett “standardverk” för en allmän översikt om utvärdering i offentlig sektor är statsvetaren Evert Vedungs bok “Utvärdering i politik och förvaltning” (andra upplagan 1998, Studentlitteratur). För en översikt där utvärderingen kopplas till kommunal verksamhet se pedagogen Ove Karlssons bok “Utvärdering mer än bara metod” (1999, Kommentus förlag). Per-Åke Karlssons och Bengt Erikssons bok “Utvärdera bättre – för kvalitetsutveckling i socialtjänsten ” (1998, Förlagshuset Gothia) kopplar utvärderingar, främst genomförda internt, till strävan efter bättre kvalitet i socialtjänsten. Sistnämnda bok har Per-Åke ofta refererat till i
utvärderingsverkstaden.
oberoende av den utvärderade verksamheten. Interna utvärderingar är å andra sidan oftast sådana som utförs av personer inne i verksamheten, men även här kan uppdragsgivaren vara intern eller extern. De projekt som medverkade i utvärderingsverkstaden kan ses som interna utvärderingar. En liknande tudelning skiljer mellan utvärdering av respektive i det sociala arbetet. Utvärderingar i arbetet är således interna och har vissa kännetecken såsom; närhet till det som utvärderas, för utveckling direkt i arbetet, involvering av de som finns i verksamheten även i rollen som utvärderare. En form av sådan utvärdering är ”självutvärdering”.
Utvärdering av har snarast motsatta kännetecken. Utvärdering av kan ses som den traditionella ansatsen för utvärdering.
Utvärderingsverkstaden kan ses som ett sätt att öka deltagarnas kompetens för utvärderingar i den egna verksamheten. Stöd ges såväl från andra deltagare i verkstaden som från oss från FoU i Väst för intern utvärdering i det egna sociala arbetet. Deltagarna svarar själva helt för innehållet i det konkreta utvärderingsarbetet.
Hur utvärderingar än utförs (av vem, på vilkens uppdrag, med vilka metoder o s v) kan de sägas ha fyra grundfrågor att brottas med. Vi avser då utvärderingar som görs i syfte att vara ett stöd för att utveckla verksamheter – där man blickar bakåt och värderar i syfte att handla bättre framåt.3
Uppdragsfrågan: Vilket är syftet med utvärderingen? Vilka frågor ska den besvara? Vem ska utföraren vara? Vems perspektiv ska man utgå från? Vilka ekonomiska och andra ramar finns? är exempel på frågeställningar.
Kunskapsfrågan: Hur ska man gå tillväga för att ge en ”sann beskrivning” av objektet – föremålet för utvärderingen? Frågor som urval, utvärderingsmodell, datainsamlingstekniker, analys och tolkning av insamlad information kommer in här.
Bedömningsfrågan: Hur värdera den inhämtade kunskapen? Mot vad görs denna bedömning;
mot t ex norm, ideal, mål, teori? Vem skall göra denna bedömning?
Funktionsfrågan: Hur kommer utvärderingen att användas? Vilken funktion avses den få respektive får den faktiskt? Hur kan man påverka utvärderingens användning?
De fyra frågorna kan vidare utvecklas och systematiseras, men den korta presentationen torde ge en bild av vad som avses.
Dessa frågor kan även ses som en (renodlad och förenklad) bild av utvärderingsprocessen4. Frågorna har i verkstaden, åtminstone under de sista träffarna, tjänat som utgångspunkt för att ge struktur åt träffarna.
3. Deltagarna och projekten
Vilka var då projekten som deltog i utvärderingsverkstaden och vilka var personerna som regelbundet träffades?
Av inbjudan framgår att ”projekten” kan vara av olika slag och karaktär: Det kan handla om avgränsade utvecklingsprojekt inom speciella verksamheter men även om att utveckla
3 Indelningen är inspirerad av Jan-Ove Åberg som i sin doktorsavhandling “Det rationella och det legitima. En studie av utvärderingars teori och praktik” (1997) gör en indelning i tre grundproblem.
4 Det finna andra och mer detaljerade beskrivningar av utvärderingsprocessen – t ex i den litteratur som vi hänvisat till.
metoder för utvärdering/uppföljning i det vardagliga sociala arbetet. De projekt som deltog presenteras kortfattat i avsnitt 6. Här presenteras deltagarna från de olika projekten.
Resursteamet
Från resursteamet deltog enhetschefen, socionom Karin Reinhardt och psykolog Anette Norling.
Projekt Strömmen.
Från projektet deltog socionomerna Ann-Cristine Andersson och Birgitta Bergqvist.
Projekt Mellanrum.
Från projektet deltog enhetscheferna Mona Wibrån och Ankie Widén, båda socionomer.
Hemmalaget
Från projektet deltog de två socialarbetare som arbetar i projektet; Marie Jonasson och Johan Olsson, socialpedagog respektive socionom.
Projekt Dalia.
Från projektet deltog socialsekreterarna Gunilla Skoglund och Pia Waltersson.
Projekten kom från individ- och familjeomsorgen. Samtliga handlar dessutom om samverkan i olika former med andra aktörer, såsom barnomsorg, skola, arbetsförmedling. Målgruppen för samtliga, utom för Strömmen, är barn, ungdomar och familjer. För samtliga gäller att man genom tidiga och/eller intensifierade insatser vill undvika –förebygga mer ingripande och kostsamma insatser. Projekten hade vid utvärderingsverkstadens början kommit olika långt, såväl i sin verksamhet som i sitt tänkande kring utvärdering.
Från FoU i Väst medverkade Per-Åke Karlsson, socionom och fil dr i socialt arbete, forskningsledare vid FoU i Väst samt Laila Värnestig, pol. mag. från förvaltningshögskolan och projektassistent vid FoU i Väst. Per-Åke har under åtskilliga år undervisat och forskat om utvärderingar såväl i som av socialt arbete. Laila har inom ramen för sin utbildning genomfört ett par utvärderingar på uppdrag.
4. Arbetet i verkstaden
Urval och verkstadens generella uppläggning
Vid anmälningstidens utgång hade som nämnts åtta intresseanmälningar inkommit. Till dessa hade bifogats mer eller mindre utförliga ”projektbeskrivningar”. Tanken var att dessa skulle utgöra en grund för eventuellt urval. En annan grund för urval var FoU i Västs uppdrag att sprida sina tjänster någorlunda jämt bland de kommuner/stadsdelar som abonnerar på tjänsterna. Från tre kommuner/stadsdelar fanns två anmälningar. Här bad vi kom- munerna/stadsdelarna att själva avgöra vilket projekt som skulle få deltaga. Efter några telefonkontakter stod det klart vilka projekt från dessa kommuner/stadsdelar som borde medverka.
I inbjudan finns också en tanke om att projekten ska vara någorlunda i samma fas vad gäller arbetet för att underlätta utvärderingsarbetet i verkstaden. Som nämnts ovan var dock projekten i realiteten i olika faser.
En ytterligare tanke var att utvärderingsverkstaden genom sin utsträckning i tiden skulle kunna följa och ge stöd för en pågående utvärderingsprocess för projekten – en tanke om att följa ”från ax till limpa” fanns. De ovan nämnda ”fyra grundfrågorna” fanns som bakgrund för ett sådant tänkande.
Mellan träffarna i verkstaden träffades Per-Åke och Laila för uppföljning samt planering.
Inför de olika träffarna gjorde vi en grov struktur för hur de skulle disponeras. Denna struktur blev tydligare under de senare träffarna, såväl för oss som förmodligen för deltagarna.
Verkstaden var en lika ny företeelse för oss som för deltagarna, därför fanns ingen tydlig struktur från början och de första träffarna fick karaktären av ett sökande.
Mellan träffarna i verkstaden skulle deltagarna göra ”hemuppgifter”. Dessa hemuppgifter blev sedan en viktig utgångspunkt för kommande träff.
Laila antecknade vid träffarna vad som behandlats. Dessa anteckningar, som också konkretiserade hemuppgiften, skickades ut till deltagarna inför nästa träff som repetition och påminnelse.
Av inbjudan framgår att träffarna skulle bestå av diskussioner, erfarenhetsutbyte samt korta inlägg från oss om utvärderingsteori och metod/teknik. Våra förberedda inlägg kom vi att i verkstaden kalla ”miniföreläsningar”. Dessa, som blev mer tydliga och framträdande under de sista träffarna, sökte vi anpassa till vad som framkom av hemuppgifterna och utifrån önskemål som framfördes vid träffarna. Vår ambition var att varva de olika inslagen under de tretimmarspass som stod till förfogande.
De sex träffarna
Platsen för träffarna var GR:s sammanträdeslokaler på Gårdavägen i Göteborg. Träffarna ägde rum på eftermiddagarna, förutom sista gången. Verkstaden kom att samlas sex gånger mellan 30 september och 16 juni. Några av träffarna kom av olika skäl att förskjutas i förhållande till planerade datum. Verkstaden blev mer utdragen i tid än planerats, vilket var en fördel för att kunna följa ett längre utsnitt ur utvärderingsprocessen.
Träff 1
Efter att deltagarna presenterat sig berättade Per-Åke och Laila om det tänkta upplägget av verkstaden; om sina roller, om anteckningar och dokumentation, om tanken på att varva diskussioner, erfarenhetsutbyte och miniföreläsningar utifrån behov, om hemarbete mellan träffarna och om tanken att kunna följa utvärderingsprocessen.
Mesta tiden ägnades åt deltagarnas presentationer av sina projekt. Deltagarna från Projekt Dalia hade dock inte möjlighet att vara med första gången. Presentationerna fick stort utrymme och föranledde många frågor, erfarenhetsutbyte och en hel del tips och kommentarer.
Hemuppgiften formulerades: Vad är det man söker kunskap om? Vilka frågeställningar är det man vill ha besvarade genom utvärderingsarbetet?
Träff 2
Inledningsvis presenterade deltagarna från Dalia sig och sitt projekt.
Mesta tiden ägnades åt deltagarnas presentationer av hemuppgiften och åt tankar, diskussioner och kommentarer utifrån dessa. Ett brett spektrum av kunskapsintressen framkom: alltifrån att få redskap för interna uppföljningar av det egna arbetet, över att få underlag för att utveckla arbetsmetoder, till att gentemot politiker och anslagsgivare kunna presentera resultat såväl i form av förändringar för berörd målgrupp som ekonomiska resultat.
I samband med presentationerna kom också tankar och idéer fram hur man skulle kunna gå tillväga, vilka metoder som skulle kunna vara tänkbara i utvärderingsarbetet. Även här framkom många olika tankar. Vikten av att man alltid söker former för dokumentation av arbetet framhölls, t ex i form av (projekt)dagböcker eller i anteckningar utifrån arbetet med olika klienter. För samtliga var samverkan mellan olika verksamheter och personer aktuellt och önskemål framkom om att vi skulle ta upp mer om samverkan och utvärdering av samverkan.
Vid träffen konstaterades och tydliggjordes att projekten befann sig i olika ”faser”.
Resursteamet var långt kommet vad gäller utvärdering; en plan fanns och insamling av uppgifter pågick och en rapport förväntades under hösten. Även Dalia var längre kommet än de andra, som var under etablering och uppstart, särskilt vad gäller tankarna på utvärdering.
Förhoppningen uttalades om att Resursteamet kunde delge oss andra sina kunskaper och erfarenheter från sitt relativt långt framskridna utvärderingsarbete.
Hemuppgiften till nästa gång blev att skriftligt presentera sina tankar om hur man skulle gå tillväga. Tankar, funderingar och idéer skulle insändas inför nästa träff.
Träff 3
Utgångspunkt var insända tankar och förslag om hur man kunde tänka sig göra i utvärderingsarbetet. Förutom diskussioner och tankeutbyten så lades också en del miniföreläsningar in utifrån inkomna förslag om tillvägagångssätt. Dessa teman togs upp:
- Programteori, vad är det och hur kan en sådan se ut och användas i praktiken.
- Olika förslag till integrerad utvärdering i vardagsarbete.
- Vad karaktäriserar samverkan.
- Att utvärdera mot olika typer av ”värdetillskottsvariabler”.
- Dessutom kom tips om hur man strukturerar insamlat intervjumaterial att ges. Sistnämnda tema kom upp spontant under diskussioner om hur man tänkte gå tillväga.
En ”mittsummering” gjordes för att stämma av hur långt vi kommit i verkstaden och vilka förväntningar som fanns på resterande gånger. Tidigare nämnda indelning i fyra grundfrågor presenterades och vi föreslog att de sista tre frågorna skulle behandlas närmare resterande gånger.
Som hemuppgift skulle deltagarna formulera och skicka in en samlad plan för utvärderingen.
Följande punkter föreslogs ingå: Vad söker man kunskap om? Hur tänker man gå tillväga?
När ska man göra de olika sakerna? Vidare att man borde åtminstone beröra tankar om rapportering, användning och återföring.
Träff 4.
Varje grupp berättade kort om sin plan vilket följdes av frågor, diskussion och kommentarer.
Utifrån insända planer gavs en miniföreläsning om olika former av. Bland annat togs upp;
- Vad innebär det att inhämta särskilda uppgifter för att utvärdera kontra att använda de uppgifter man behöver för att göra ”det vanliga jobbet”? Tillexempel vad gäller beroende, integritet, samtycke.
- Vem samlar in och bearbetar uppgifterna? Här fanns olika förslag alltifrån en ”intern konsult” i stadsdelen till att ”projektarbetaren” ges den uppgiften. För- och nackdelar ventilerades.
- Olika metoder för insamling av uppgifter/data såsom intervjuer, dokumentstudier, enkäter, statistik introducerades. Frågor om urval, struktureringsgrad, primär- kontra sekundäruppgifter berördes.
- Tips gavs också om metodböcker för att läsa vidare.
Till nästa gång skulle de som skrivit någon form av lägesrapporter sända dessa till verkstadens deltagare. Dessutom skulle de som önskade att någon fråga skulle behandlas särskilt meddela det till oss. Nästa gång var alltså den sista av de fem planerade träffarna.
Träff 5.
Några hade sänt lägesrapporter vilka diskuterades. Resursteamet hade sänt ut en preliminär slutrapport som verkstaden fick introducerad och tillfälle att diskutera.
Miniföreläsningarna kom denna gång att behandla tre teman;
- ”Värderingsproblemet”; hur och mot vad kan man värdera det insamlade materialet, vilka olika grunder för värdering kan tänkas?
- Rapporteringen: vad brukar ingå i en skriftlig rapport men också vilka alternativa former för rapportering kan tänkas?
- Användnings- och nyttogörandeproblematiken. Exempel gavs på att utvärderingar kan användas på många olika sätt. Likaså gavs exempel på hur man kan söka påverka användningen.
Man kan säga att dessa tre miniföreläsningar gick händelserna i förväg i förhållande till var de flesta projekten befann sig. Vi bedömde det som angeläget att beröra hela utvärderings- processen även om alla projekt inte hunnit fram till dessa senare delar.
Med denna träff var den egentliga verkstaden avslutad. Dock tillkom…
Träff 6
En summerande och värderande träff som inleddes med en avstämning av var de olika projekten befann sig beträffande utvärderandet. Olika exempel gavs: Halvårs-/delrapporter hade utarbetats. Enkäter hade sänts ut till klienter. Fokusgrupper hade genomförts med olika intressenter. Extern utvärderare hade anlitats för vissa frågeställningar. Resursteamet kunde redovisa hur deras rapport presenterats och mottagits i olika sammanhang.
Efter gemensam lunch fick deltagarna besvara en av oss utformad enkät om verkstaden.
Frågorna handlade om förväntningar, huruvida verkstaden bidragit till kunskapsutveckling rörande utvärderingar, om den bidragit till metodutveckling inom arbetsområdet, om erfarenhetsförmedling och dialog på hemmaplan, om det egna arbetet i verkstaden dokumenterats samt om man tyckte att FoU i Väst fortsättningsvis bör anordna sådana här verkstäder, och i så fall vilka råd man ville ge oss.
Därefter följde en gemensam värderande diskussion och flera förslag till förbättringar av verkstadens arbetssätt framkom. Vi presenterade och fick kommentarer till några funderingar om förändringar av kommande utvärderingsverkstad. Avslutningsvis presenterade vi några tankar om hur dokumentationen från verkstaden kunde tänkas ske och vad den kunde innehålla.
5. En summerande värdering med förslag
”Jag hade förväntat mig att vi skulle arbeta mer konkret, ex vis vara ´varandras utvärderare´, och att det skulle innehållit en del jobb med andras utvärderingar emellan.
Jag tror ordet verkstad ger mig den bilden av innehåll.”
Så skrev en av deltagarna om sina förväntningar inför utvärderingsverkstaden. Deltagarnas förväntningar samlades in först vid den avslutande träffen, vilket naturligtvis är en brist.
Förväntningarna hade säkerligen ändrats och korrigerats under den tid verkstaden pågick.
Men en hel del förväntningar och noteringar huruvida utvärderingsverkstaden motsvarat dem framkom. De som uttalat att man förväntat sig stöd, synpunkter, vägledning, teoretisk struktur för utvärdering samt att få tips och idéer tyckte sig ha fått sina förväntningar infriade. Ett par personer hade hoppats på mycket praktisk hjälp och att få ”en mall” för utvärderingar. För dem hade förväntningarna delvis infriats. Deltagaren som citerades ovan insåg dock snabbt att denna förväntan var orealistisk inom de tidsramar som fanns till förfogande.
Samtliga menade att verkstaden bidragit till ökade kunskaper om utvärderingar. Man hade lärt sig en del om hur olika utvärderingar kan utformas och att de kan genomföras på olika sätt.
Kopplingen till det egna arbetet betonades som central för att utveckla kunskaper.
Hemuppgifterna betonades som centrala: ”Bra med uppgifterna! Aktivitet förutsättning för
´lärande-processen´”.
Mer osäker var man om verkstaden bidragit till metodutveckling rörande de specifika arbetsområdena för projekten. En del framhöll att man fått olika (metod)tips från deltagarna, vilka villigt delade med sig av sina olika erfarenheter av socialt arbete inom olika områden.
Några framhöll att ett utvärderande synsätt i sig innebär möjligheter till metodutveckling i arbetet.
För en del hade deltagandet i verkstaden, åtminstone hittills, inte inneburit att erfarenheter förmedlats till arbetskamrater och chefer. Andra hade kunnat delge sina kunskaper och erfarenheter och tyckte sig mer säkra i diskussioner om utvärdering på hemmaplan. För hemmadiskussionerna menade flera att man skulle komma och få god nytta av de anteckningar man gjort från träffarna. Någon hade gjort i ordning en ”FoU-pärm” med anteckningar och en deltagare hade gjort en slutsammanställning, av vad som hänt i verkstaden, för att kunna delge arbetskamraterna.
Enighet rådde om att FoU i Väst borde fortsätta med utvärderingsverkstäder. Flera reflekterade om projekten borde vara mer homogena – i så måtto att handla om likartad problematik och vara mer ”i fas” vad gäller utvärdering. Vår uppfattning är att de flesta tyckes önska mer homogenitet. Men synpunkter framkom även som pekade i riktning mot att spridningen, såväl vad gällde projekten som var de befann sig i sitt arbetet, varit av godo för arbetet i verkstaden.
Vi uppfattar att tre viktiga budskap för framtida utvärderingsverkstäder framfördes:
1. Att en tydlig(are) ram ges redan från början. En tydligare struktur för träffarna är önskvärd redan från början. Flera menade att det var först från träff tre som strukturen tydliggjordes.
2. Att hemuppgifterna är viktiga, dels för att hålla utvärderingsarbetet igång och dels som pedagogiskt grepp för att koppla träffarna till.
3. Att ”miniföreläsningarna” och våra egna erfarenheter är viktiga att förmedla i träffarna.
”Var inte för blyga, utan förmedla kunskaper, gärna i form av miniföreläsningar.” ”Bra med teoretiska inslag, men de kan komma tidigare + mer.”
Sammanfattningsvis uppfattar vi att deltagarna gav en övervägande positiv bild av utvärderingsverkstaden och sitt deltagande. En hel del viktiga synpunkter och förslag till förbättringar framkom också. Vi presenterade vid den avslutande träffen en del tankar om hur
”konceptet” skulle kunna utvecklas genom; att sträcka ut verkstaden i tid, att ha
”heldagsträffar” mer upplagda som ”work-shops” samt att presentera en tydligare struktur för såväl hela verkstaden som för de enskilda träffarna. Förslagen överensstämde väl med deltagarnas uppfattningar. Dock var man tveksam till om det skulle vara realistiskt med heldagsträffar, med tanke på tidspressen i vardagsarbetet.
* * *
I september 2000 startade vi en ny verkstad med sex projekt á två deltagare. Denna ska omfatta fem träffar och pågå höst och vår. Träffarna pågår varje gång mellan kl 9 och 15 och presentationer, grupparbeten, diskussioner och miniföreläsningar varvas. Varje träff avslutas med att en hemuppgift ges som skall besvaras via e-post till samtliga deltagare. En tydlig ram och struktur har utarbetats för samtliga träffar och presenterats. Till sista gången blir hemuppgiften att formulera ”dokument”- som t ex kan vara utvärderingen om den är klar, en presentation av metoder, en diskussion av resultaten. Dessa dokument ska ”seminarie- behandlas” vid den avslutande träffen. När denna andra verkstad avslutats ska en mer analyserande dokumentation och utvärdering göras av de båda verkstäderna.
6. Projekten
Beskrivningarna är gjorda av deltagarna från de olika projekten och redigerade av oss
.
RESURSTEAMET I BACKA Göteborgs kommun, Stadsdelen Backa
Tidsram:
Resursteamet i Backa startade som projekt i januari 1998 och efter två år blev det en ordinarie verksamhet i kommundelen.
Målgrupp och syfte:
Teamet är en resurs för grundskolorna, förskolorna samt individ- och familjeomsorgen i Backa och målgruppen är familjer med barn i åldrarna 0 – 16 år med någon form av psykosocial problematik. Målsättningen är att avhjälpa och/eller förhindra uppkomsten av psykosociala problem, vilket innebär att Resursteamet kan anlitas i ett tidigt stadium där
tecken finns på att problem kan uppkomma. Resursteamets mål är att ha ett tätt samarbete med skolorna, förskolorna och individ- och familjeomsorgen samt med övriga som arbetar med barn och barnfamiljer som t ex barnmedicin, barnavårdscentral, vuxenpsykiatrin.
Familjer kan också söka sig till teamet på egen hand.
Arbetsformer och arbetsmetoder:
Arbetet i teamet sker i samverkan med familjerna utifrån de behov och mål som de formulerar. Utgångspunkten är att ha ett helhetsperspektiv, vilket innebär en eftersträvan att ha ett samarbete med samtliga som på olika sätt har beröring med och är viktiga för familjerna. Det rör sig om lärare, släktingar, vänner, fritidsledare för att bara nämna några.
Givetvis begränsas de som blandas in i arbetet till dem som har direkt betydelse för just den problematik och den eftersträvade förändringen som familjen önskar.
Metoderna varierar efter behov. Resursteamet arbetar med nätverket, familjesamtal, konsultationer i skolor och förskolor, ger visst stöd i hemmet, lägerverksamhet i syfte att hitta möjliga vägar att gå vidare samt se hur samspelet fungerar i familjen, andra aktiviteter för familjerna för att nämna några exempel.
Personalgruppen består av nio medarbetare samt en chef. I gruppen finns specialpedagog med inriktning mot förskolan, en socialpedagog, en person med bakgrund som mentalskötare och med lång erfarenhet av arbete vid BUP samt på institution för barn. Övriga är socionomer med erfarenhet från olika områden bl a skola och individ- och familjeomsorg.
Utvärdering
Under hösten 1999 och våren 2000 gjordes en utvärdering av verksamheten. Den gjordes bl a genom att medarbetare gjorde intervjuer med familjemedlemmar i kollegors ärenden där arbete bedrivits under 1999 och avslutats senast i oktober. En en annan del utgjordes av medarbetarnas svar på frågor om bl a mål och metoder. En tredje del utfördes av en planeringssekreterare på socialkontoret som genomförde intervjuer med Resursteamets samarbetspartners. Rapporten finns att tillgå på SDF Backa alternativt på Resursteamet.
Information om Resursteamet kan fås genom kontakt med någon av medarbetarna. Adressen är Krumeluren 4, 422 52 Hisings Backa. Tel nr 031-641837 till Eric Östman, Magnus Rexmo, och Anette Norling, Tel nr 031-641836 till Ausdis Collberg och Lars Åkesson, Tel nr 031- 641831 till Birgit Andrén och Ulla Boethius samt Tel nr 031-523102 till Eva Sundberg och Linda Neeman.
PROJEKT STRÖMMEN Mölndals Kommun
Tidsram: 1999-05-01 - 2000-12-31
Målsättning och syfte med projektet:
Syftet med Projekt Strömmen är att genomföra insatser för att på sikt minska kostnaderna för försörjningsstöd i Mölndals kommun. I december 1998 uppbar 48 % av samtliga ärenden på ekonomisektionen i åldersgruppen 25-55 år försörjningsstöd relaterat till arbetslöshet.
Projektet skapades för att lyfta sammanlagt 300 personer ur bidragsberoende under
projekttiden. Biståndstiden skulle förkortas och personerna i projektet skulle få stöd i att finna ett arbete, arbetsmarknadsåtgärd, lämplig utbildning eller annan insats som bedöms vara relevant för individen. Till följd av ärendeminskning på ekonomisektionen skulle kvalitén i arbetet med de kvarvarande ärendena förbättras.
Målgrupp
Projekt Strömmen riktar sig till personer i åldern 25-55 år som uppbär försörjningsstöd till följd av arbetslöshet. För att bli aktuell för projektet bör personen ha visat dokumenterad drogfrihet under minst 6 månader samt ha barnomsorg och bostad ordnad. Invandrare bör kunna tala svenska. Kravet är dock inte uppnådd SFI-nivå.
Arbetssätt
Personer tas emot i Projekt Strömmen efter intresseanmälan från sin socialsekreterare på respektive sektion, som informerar och motiverar personen till deltagande i projektet. Projekt Strömmens socialsekreterare träffar personen i fråga och gör därefter bedömningen om vederbörande skall ingå i kartläggningsperiod eller om han/hon skall ha en individuell kontakt med projektet. Kartläggningsperioden är fr o m 2001 på fyra veckor med åtta deltagare. Syftet är att få fram en individuell handlingsplan för att bryta arbetslösheten, starta motivationen för ev studier, inventera personens egna resurser och möjligheter eller behov av insatser och upptäcka eventuella arbetshinder. I kartläggningsveckorna ingår personlig utveckling, information och tester från Komvux, information och trepartssamtal från Arbetsförmedlingen (AF) samt en kort datautbildning. Det ingår även flera pass med ”söka jobb aktiviteter” då personen har möjlighet att söka jobb på egen hand. Efter kartläggningsperiodens slut följs personens individuella handlingsplan upp av personalen i projektet. De personer som är inskrivna i Projekt Strömmen erbjuds ”drop in”- verksamhet på Arbetsförmedlingen en kväll i veckan för att söka jobb med stöd av projektets personal.
Projektmedarbetare
I projektet arbetar två socialsekreterare knutna till Ekonomisektionen samt en arbets- marknadshandläggare knuten till Arbetsmarknads- och Integrationssektionen.
Utvärdering av projektet
Statistik över deltagarna i Projekt Strömmen förs dels i form av en generell statistik över antal hushåll och antal individer som är inskrivna i projektet, dels i form av en individinriktad statistik. Syftet med den individinriktade statistiken är att dokumentera deltagarnas utbildnings- och yrkesbakgrund samt andra bakgrundsfakta följt av resultat av deltagande i Projekt Strömmen. En enkätundersökning kommer att genomföras med alla som varit inskrivna i Projekt Strömmen i syfte att ta reda på hur deltagarna upplevt deltagandet i Projekt Strömmen. I mån av tid kommer djupintervjuer att göras med ett urval deltagare i Projektet.
Utvärderingsrapporter
Projektet rapporterar regelbundet till Arbets- och Familjestödsnämnden. Följande uppföljningsrapporter föreligger:
Uppföljning/Utvärdering av Projekt Strömmen under tiden 990901-991231 Uppföljning av Projekt Strömmen under tiden 2000-01-01-2000-06-30
Kontaktpersoner för projektet
Ann-Christine Andersson, socialsekreterar, tel 031-67 72 88, e-post:
ann-christine.andersson@molndal.se
Birgitta Bergqvist, socialsekreterare, tel 031-67 72 87, e-post: birgitta.bergqvist@molndal.se
Eva-Marie Henning, arbetsmarknadshandläggare, tel 031-67 72 91, e-post:
eva-marie.henning@molndal.se
Projektets adress: Projekt Strömmen, Arbets- och Familjestödsförvaltningen, Ågatan 4 b, 431 82 Mölndal
PROJEKT MELLANRUM
Projektet startades i SDN Majorna för att fånga upp ungdomar i riskzon och löper över två år.
I projektet arbetar en socialpedagog och två fältsekreterare på halvtid. Antalet elever som riskerar att utvecklas ogynnsamt har ökat och skola och socialtjänst vill utveckla metoder för att möta detta på ett bra sätt. I projektet deltar man i kartläggningen av individuella behov av mellanvårdsinsatser för ungdomar i riskzon, man utvecklar metoder för att arbeta med ungdomar och man utvecklar former för samverkan mellan familj, skola, socialtjänst och fritidsverksamhet.
Målgruppen för Mellanrum är ungdomar som inte behöver en så omfattande insats som dagverksamheten 92:an, eller som inte bedöms passa in där eller som står i kö för att komma dit.
En mellanrumsperson kan t ex vara ett dagligt stöd för en ungdom och dennes familj i avvaktan på att en utredning skall bli klar, en kontaktperson, ett föräldrastöd, en vuxen till i familjen. Man tar dock inte över föräldrarollen, om inte familjen uttryckligen ber om det.
Uppgiften är att vägleda ungdomar i det vardagliga sociala livet i samverkan med familj, skola och andra inblandade. Mellanrumspersonen kan fungera som en brygga mellan hem och skola eller som en medlare mellan föräldrar och ungdomar. Tidsinsatsen kan variera från två till 30 timmar per vecka och familj.
Efter första projektåret gjordes en delrapport till stadsdelsnämnden 000926, Dnr 227/00, som går att beställa från Stadsdelsnämnden, tel 031-85 12 00.
För mer information kontakta:
Tony Lundén-Gallipoli, tel 031-12 63 20, e-mail: tony.lundén-gallipoli@majorna.goteborg.se eller gå in på SDN Majornas hemsida:
www.majorna.goteborg.se/stadsdelsförvaltningen/individ-och familjeomsorgen.
HEMMALAGET
Hemmalaget är ett mellanvårdsprojekt i Lundby SDF och sorterar under Barn och ungdomsenheten.
Projekttiden sträcker sig från 990801 till 010731, dvs under en tvåårsperiod.
Tanken med projektet är att i första hand medelst mellanvård förebygga institutionsplaceringar bland ungdomar i åldrarna 13-16 år, och på så sätt få ned kostnaderna för köpt vård. Meningen är inte att Hemmalaget skall vara ett direkt alternativ till institutionsvård och vård i liknande former utan komma in i ett tidigare skede innan situationen för ungdom och familj blir ohållbar.
I projektet finns tre medarbetare, en fritidsledare och två socionomer.
För att arbeta med en ungdom krävs ett biståndsbeslut av socialsekreterare. Utifrån detta tar Hemmalaget fram individuella arbetsplaner tillsammans med socialsekreterare, familj och ungdom, där man ser till skola, fritid och övrigt nätverk. Detta för att kunna stärka upp där det behövs som mest. Arbetet består i korta drag av träffar med ungdom där man samtalar och genomför aktiviteter, familjeträffar samt att man samarbetar med skola eller praktikplats.
Mycket handlar om att återskapa strukturer för den unge.
Vårt deltagande i utvärderingsverkstaden påbörjades i princip samtidigt som projektet drogs igång, vilket inledningsvis gjorde tankar kring utvärdering något förvirrande. Efterhand växte en idé om utvärdering som arbetsredskap fram. Tanken var att skapa någon form av frågeformulär eller intervjumall som man skulle använda i olika faser i ett ärende för att ev.
mäta förändringen eller utvecklingen i det enskilda ärendet. Informationen skulle sedan kunna återföras för att förbättra arbetet i det enskilda ärendet, men också tillföra ny och användbar kunskap till projektet som helhet för att utveckla nya metoder och förhållningssätt i arbetet.
Som en början beslöt vi att kalla samman till sk fokusgrupper. Detta för att få lite basal information om vad våra olika medaktörer (soc.sekr., ungdomar, föräldrar, övriga samarbetspartners). Detta skulle sedan utgöra grunden för utformandet av en första version av vår tänkta intervjumall. Detta nästa steg är vad som vi nu tillsammans med vår arbetsledare står inför.
Man har inför nämnden i Lundby lagt en ”ett-års rapport” som säkert går att läsa över nätet alternativt i Lotus Notes
För information och frågor går det bra att kontakta:
Hemmalaget/Johan Olsson Barn och –ungdomsenheten Box 22006
400 72 Göteborgs Stad tel 031-641500, 0707-642069
E-post:johan.olsson@lundby.goteborg.se
FÖRÄLDRAGRUPPEN DALIA Göteborgs Stad Centrum
Familjegruppen
Tidsramar Föräldragruppen påbörjades hösten-96 och avslutades hösten –99
Målsättning och syfte Syftet var att så tidigt som möjligt ge barn och föräldrar i utsatta sociala situationer stöd. Genom föräldragruppen ge stöd och hjälp till dessa barn och föräldrar för att deras livssituation skulle förbättras/utvecklas.
Målgrupp Föräldragruppen vände sig till föräldrar med små barn under två år.
Arbetssätt i projektet En förskollärare från öppna förskolan och en socialsekreterare från familjegruppen arbetade tillsammans med en liten grupp föräldrar och barn i öppna förskolans lokaler. Föräldrarna deltog mellan sex månader upp till ett år. Under tiden Dalia pågick har 30 föräldrar deltagit tillsammans med 35 barn. Efterhand har en del föräldrar slutat i gruppen och nya har börjat så gruppen har förändrats under tiden. I varje grupp har två till tre föräldrar
haft deltagandet i Dalia som ett bistånd enligt socialtjänstlagen. Föräldragruppen träffades till att börja med en dag i veckan under sex timmar och efter ett år utökades tiden till två dagar i veckan.
Projektmedarbetare Elsie Nilsson var metodhandledare i familjegruppen och initierade projektet. Inger Bernander socialsekreterare i familjegruppen och förskollärare Britt Fredén från öppna förskolan.
Utvärderingen Familjegruppens praktikant gjorde hösten -98 de första intervjuerna med sju föräldrar som nyligen börjat i Dalia. Den andra intervjuomgången gjordes hösten -99 en tid efter att föräldrarna slutet i föräldragruppen. Intervjuerna sammanställdes i olika frågeområden för att kunna jämföras. Syftet var att utifrån likheter och skillnader i intervjuerna finna gemensamma mönster för att bedöma om insatsen haft en positiv effekt på livssituationen. Intervjuerna sammanställdes i olika frågeområden med hjälp av stödord ( bra/dåligt, nöjd/missnöjd, ja/nej, säker/osäker). Detta för att kunna bearbeta svaren och se mönster av förändring/förbättring kring frågeområdena ekonomi, boende, sysselsättning, föräldrarollen, socialt nätverk, relation till barnets far, psykisk och fysisk hälsa, stöd föräldern fått från föräldragruppen.
Utvärderingsrapport En utvärdering med stöd av utvärderingsverkstaden har gjorts av socialsekreterare Gunilla Skoglund och Pia Waltersson som arbetar i familjegruppen inom Barn och Ungdomsenheten i centrum.
Gunilla.Skoglund@centrum.goteborg.se tel 031-851109 Pia.Waltersson@centrum.goteborg.se tel 031-851116
Information om projektet
Inger Bernander Socialsekreterare
Inger.Bernander@centrum.goteborg.se tel 031-851126 förskollärare Britt Fredén tel 854006
