Denna bilaga är den utvärderingsplanering som diskuterats med beställaren till utvärderingen innan starten.
Inför starten av en utvärdering är det viktigt att få kunskap om verksamhetens innehåll och om vilka delar som det är viktigt att studera närmare. För att få en kunskap om verksamheten och för att kunna göra en bakgrundsbeskrivning till programmet granskas tillgängligt material i form av protokoll och skriftligt dokumenterad planering. Kunskap om verksamheten som ingår i programmet erhålls också genom studiebesök.
Efter en granskning av dokumentation måste den mera detaljerade utvärderingen planeras. I detta skede augusti/september är erhållen dokumentation för pro- grammet studerad och tre träffar med beställarna genomförda för att komma överens om material som ska samlas in och för att starta enkätundersökningen. En kortfattad skiss är överlämnad till beställarna för att ge ett dokumenterat material som vi är överens om. Det är viktigt vid utvärdering att göra en skriftlig överens- kommelse så att båda parter är överens.
Under de tre följande rubrikerna deltagarna och programmet, deltagarnas situation och samverkan presenteras den empiriska delen i utvärderingen i enlighet med målsättningen för utvärderingen.
Deltagarna och programmet
För att beskriva vilka som deltar i programmet, bakgrundsfakta, olika vägar i programmet, typ av arbetsträning och var de fortsätter efter avslutningen, används befintlig data från beställaren. Detta för att se om beställarens syfte är uppnått med att fler arbetshandikappade ska beredas plats i utbildning eller arbete på den öppna marknaden. Arbetsmarknadsinstitutet i Eskilstuna redovisar elevernas bakgrunds- fakta i en datafil skapad i Excel. Den information som är insamlad via beställaren används för att göra en statistisk bearbetning. Information som överlämnades i datafilen ska bland annat omfatta deltagarnas ålder, kön, utbildning, tidigare arbete, handikappkod, försörjningssätt, när och var de startade i programmet, vilka arbeten de prövat i programmet samt vilken verksamhet eller situation de möter efter avslutat program. Eftersom statistiken finns tillgänglig är valet av metod kvantitativ där alla som genomgått eller som kommer att erhålla plats i programmet finns med. Det ger en möjlighet att studera deltagarnas väg i programmet.
Deltagarnas situation
För att se hur deltagarnas situation förändras under programmets gång genomförs en enkätundersökning av alla som är antagna till programmet eller slutar i program- met mellan 15 juni 1999 och 15 december 1999 (enkäter se bilaga 5). Handläggare i programmet delar ut och samlar in enkäten vid två tillfällen dels vid ”inskolningssamtalet” och dels vid ”avslutningssamtalet”. Det innebär att myndig- hetens närvaro kan påverka deltagarnas svar. Hänsyn till denna bias måste tas i värderingen av enkäten samt vid utformningen. Eftersom det är en undersökning både före och efter programmet är det viktigt att det är ungefär samma situation vid
båda tillfällena som enkätundersökningen genomförs vilket jag bedömer att det är vid dessa två tillfällen. Den situation som kunderna befinner sig i vid enkättillfället kommer att påverka resultatet, dvs. om de har klart med fortsatt försörjning, arbete eller studier.
Enkäten kodas av beställaren med nummer som motsvarade nummer för de individer som vi har erhållit i bakgrundsfakta från beställaren. På detta sätt kan samband sökas för de olika personernas situation och resultat av enkäten. Det går inte att se vilka konsekvenser det skulle ha varit för individerna om det inte hade erbjudits programmet PlusAMA vilket är en brist när konsekvenser av ett sam- verkansprogram ska mätas.
Valet av metod är enkät eftersom det ger en bredare möjlighet att erhålla information/data från många deltagare. En möjlighet hade även varit att genomföra en intervjuundersökning vilket skulle ha inneburit en begränsning i urvalet (av kostnadsskäl). Möjligheten att jämföra enkätresultat med bakgrundsfaktorer skulle också vid intervjuer ha inneburit att utvärderaren skulle behöva kunskap om de intervjuades bakgrund och därmed skulle det kunna leda till problem med sekretessen.
Samverkan
För att kunna mäta konsekvenser av samverkan genomförs en intervjuunder- sökning. Undersökningen är begränsad eftersom det inte är ekonomiskt möjligt att genomföra intervjuer med alla som arbetar på de olika myndigheterna samt alla deltagarna i programmet. De myndigheter som deltar i programmet ska vara representerade i urvalet (AMA, AMI och FK). Antal och detaljerat urval bestäms utifrån antalet som arbetar med programmet så att handläggare från alla berörda myndigheter blir representerade. Formen för intervju kan sägas vara enligt Annika Lantz (1993) indelning dvs. en riktat öppen intervju där frågeområdena följs upp för att i analysen försöka finna samverkans kvaliteter för de intervjuade. Eftersom det är öppna intervjuer kommer varje intervjutillfälle att variera och "trådar" som framkommer i de enskilda intervjuerna följs upp (Kvale 1997). Råmaterialet (de utskrivna intervjuerna) överlämnas till de som blivit intervjuade som kontroll- funktion så att vi är överens om vad som är sagt.
Följande frågor är skrivna i stödordsform och är riktade till styrgruppen, rekryteringsgruppen och handläggare.
Samverkan i programmet
• Vilka kontakter har du med andra myndigheter som deltar i programmet? Hur ofta och i vilket syfte? Jämförelse nu och innan?
• Vilka möjligheter ser du med samverkan? Finns det regler som under- lättar, försvårar? Resurser, finns det tillräckligt kunskapsmässigt, ekono- miskt, material? Gemensam utbildning? Förhållningssätt, finns det ett gemensamt förhållningssätt mellan myndigheterna eller är det olika, hur påverkar det samverkan? Beskriv din syn på programmets utvecklings- möjligheter? Är det olika syn om man är chef eller handläggare?
• Mål inför start av programmet stämmer de överens med det som programmet utvecklats till?
Klientarbetet
• Hur har samarbetet påverkat klientarbetet? Nya grupper? Möjlighet att lösa problem med klienter som hamnat mellan stolar? Beskriv en fiktiv klient som har fått hjälp via programmet och en fiktiv klient där åtgärder inte har gett resultat.
Myndigheter som ej är med i programmet
• Andra myndigheter som ej deltar i programmet, beskriv, vilka? Hur fungerar detta samarbete? Påverkas samarbetet med andra myndigheter av programmet? Finns det behov av ytterligare samverkanspartners i programmet?
Sammanfattning
• Kan du sammanfatta din syn på programmet? (positiva och negativa erfarenheter och vad du önskar förändra?)
• Är det något speciellt som du vill skicka med i utvärderingen? Här följer ytterligare frågor till intervjuerna med handläggarna.
Förändrat arbetssätt
• Hur har arbetet förändrats i och med samarbetet i programmet? Beskriv hur dina arbetsuppgifter har förändrats och hur detta i sin tur påverkat dina kunder/klienter? (positivt - negativt)
• Har programmet lett till en ökad tillfredsställelse i ditt arbete?
• Tas arbetsledarnas kunskaper tillvara i programmet? Jämför nu och då.
Klientarbetet
• Upplever du att du kan hjälpa kunderna/klienterna bättre? Underlättar programmet för att kunder/klienter ska hamna ”rätt” (efter genomgånget program)? Är det någon skillnad mellan manliga och kvinnliga klienter? Om ja. Hur beaktas detta?
• Hamnar kunderna/klienterna i ”rätt” programm eller åtgärd (i program- met)? Är deltagarna de som förväntats? Är det ”rätt” målgrupp för programmet? (förträning - åtgärd i programmet)
• Hur har kundernas/klienternas kontakter med myndigheterna förändrats? Till exempel har antalet handläggare för varje kund/klient minskat?
Intervjuer med deltagare i PlusAMA-programmet genomförs för att se om de upplever någon förändring i kontakterna med berörda myndigheter sen den intensifierade samverkan påbörjats. Urvalet görs genom att några arbetsplatser besöks där flera av deltagarna i PlusAMA deltar. I samband med besöken genomförs intervjuer på plats. Det innebär att det finns faktorer som påverkar och att intervjuerna inte genomförs i ”neutral” miljö. Detta har beaktas vid planering av
frågorna så att frågorna inte är för känsliga för den enskilde personen. Antalet intervjuer är begränsat av tidsskäl.
Exempel på frågor i stödordsform: • Varför deltar du i programmet?
• Vilka mål hade du innan du startade i programmet? Vilka mål har du nu? (Vad vill du få ut av programmet)?
• Kan du göra en jämförelse nu och innan du startade i programmet för din situation? Vet du idag bättre vad du vill, kan, önskar göra i framtiden? Hur är servicen för dig som deltar? Dina förväntningar kontra det du upplever? Jämförelse innan och under programmet.
• Vilka myndigheter har du kontakt med, nu under programmet? Innan programmet? Hur ofta?
• Hur många handläggare har du på de olika myndigheterna? Byten? • Upplever du att dina kontakter med myndigheterna har förändrats,
genom PlusAMA?
• Vilken information får du om vad som kommer att hända under programmet? Vad målet är för myndigheterna?
• Hur påverkar myndighetssamverkan dig?
• Vad vill du skicka med till myndigheterna? Synpunkter, idéer, önskemål?
Valet av metod för undersökningen av samverkan är en kvalitativ metod med öppna frågor efter ovanstående checklistor. Detta ger möjlighet till att utan i förväg fastställda hypoteser kunna se vad de som blir intervjuade upplever av samverkan och vad samverkan kan ha givit dem. Intervjuerna fås i form av enskilda berättelser och uppgifterna som samlas in blir olika för olika individer genom den intervjuform som valts. De olika temana kontrolleras att de är med vid varje intervjutillfälle. Undersökningen utvecklas under hela tiden utifrån den bild som de intervjuade förmedlar om samverkan.
Tidsplan för utvärderingen
Utvärderingen är planerad så att den sträcker sig över en lång tid. Det kan innebära både för- och nackdelar. Fördelen är att materialinsamlingen pågår under en längre tid och kan ge en bättre bild av verksamheten eftersom fler deltagare hinner avsluta PlusAMA programmet. Nackdelen är att när ett program blir utdraget under en längre tid och det är naturligt att verksamheten förändras under tidens gång vilket kan innebära att det material som samlats in i början kan bli inaktuellt. Total arbetstid för utvärderingen är 6 månader varav 2,5 månader är under 1999 och 3,5 månader under år 2000. Under år 2000 har utvärderingen kompletterats med ytterligare tre veckors arbetstid.
Bilaga 3: Genomförda intervjuer