Empiri för utvärderingen av Star for Life har samlats in löpande sedan hösten 2014. Metodvalet följer vad som brukar benämnas för en mixed-method design, alltså att man kombinerar olika metoder för att ringa in svaren på forskningsfrågorna. Fördelen med detta angreppssätt är att sociala företeelser har en komplex karaktär och ett metodiskt angreppssätt kan enbart belysa vissa delar. Forskarlaget13 har konstruerat och distribuerat elevenkäter i tre omgångar. Utöver detta har intervjuer (gruppintervjuer med elever och gruppintervjuer med coacher, lärare och/eller skolledare) genomförts. Några enstaka intervjuer har genomförts via mejl (främst då tid att sitta ned tillsammans med personal har saknats). Därtill har klassrumsobservationer genomförts i samtliga deltagande skolor. Observationerna har gjort i alla årskurser, dock inte i samtliga deltagande klasser. En översiktlig textanalys av det undervisningsmaterial som programmet använder har också genomförts. I vårt fall var enkäterna ett naturligt val för att kunna studera breda förändringar över tid, intervjuer och observationer tänks ge kunskap om vad programmet innebar i praktiken och diskursanalysen svarar mot att identifiera vilka idéer och antaganden om det önskvärda tillståendet samt vägen dit programmet bygger på. Det kan inte nog understrykas att resultatet ska ses som en sammanvägning mellan de olika metodernas tillskott. Enkäterna ger inte en hel bild, så inte heller de mer kvalitativa delarna. Som visas i resultatdelen är Star for Life i den utformning vi observerat behäftat med avsevärda utmaningar, där negativa effekter är minst lika framträdande som de positiva. Detta indikeras genom enkäter, men frågor hur det kan vara på detta sätt är mer en fråga för de kvalitativa inslagen att sätta ljus på. Man kan också notera att det kvalitativa inslagen över tid under utvärderingen blivit allt viktigare och att enkäten får en mer nedtonad roll, inte minst på grund av de svårigheter som är viktiga att diskutera mer grundligt.
Det är viktigt att understryka att den form av analys vi använt oss av, inte minst vid diskursanalysen och sammankopplingen till observationerna innebär en form av kritisk läsning. En anledning till detta är att vi vid sammanvägningen av de olika datakällorna blivit förvissade om att det är nödvändigt att försöka vända på olika stenar
13 Forskarlaget har bestått av Torbjörn Forkby (forskningsledare), Kristina Alstam och Lejla Mesinovic
(forskningsassistenter). Kristina har arbetat i utvärderingen åren 2016-2017 och Lejla Mesinovic under perioden 2014-2015.
och försöka ange andra tolkningar och förståelser för det som sker i praktiken och de idémässiga utgångspunkter som programmet vilar på, än dem som programmet självt använder sig av. Det framkommer allt för starka indikationer på att programmet är behäftat med avgörande svårigheter för att välja en annan strategi, är vår mening. För det andra ligger det i denna form av analys att finna underliggande mönster i det som sker om man ska kunna lyfta sig från det för givet tagna. Denna framställnings- och analysform innebär dock inte att vi skulle avfärda allt där vi för in en kritisk dimension, utan vi önskar med detta framförallt bidra till en kritisk medvetenhet även i förhållande till praktiker som låter rimliga och kan ha ett stöd i viss forskning, då det finns mycket mer som påverkar utformningen av ett program i praktiken än det man syftar till att åstadkomma. På detta sätt kan man också förstå en del av de frågor som förekommer i tolkningen. Dessa kan ha en kritisk underton, men avser att öppna upp för alternativa förståelser och reflektioner kring praktiken; reflektioner kring vilka man naturligtvis inte behöver hysa en gemensam bild eller vara helt överens. Vi önskar dock vara så tydliga att det i dessa fall går att säga på vilka sätt tolkningar och värderingar skiljer sig åt och var de sammanfaller.
För all redovisning av empiriskt material gäller att inga resultat kommer att presenteras på individnivå. När namn eller platser förekommer i citat från klassrumsobservationer, är de fingerade. När elever kallas vid namn under utdrag från observationer, är det av forskarassistenten fingerade namn. Utvärderingen i sin helhet är etikprövad och är godkänd av den regionala etikprövningsnämnden i Göteborg (dnr 467-14).
Effekterna av programmet har studerats via en elevenkät som genomförts i tre steg, medan arbetsmetoder, implementering och innehåll huvudsakligen studerats genom intervjuer av elever och coacher, klassrumsobservationer samt en textanalys av undervisningsmaterialet.
Utvärderingen har i sin helhet vägletts av följande frågor:
a. Vad innebär Star for Life i Sverige och vilka metoder kan identifieras? b. Hur kan programinnehållet förstås vad gäller dess innehållsliga struktur
och huvudsakliga budskap till deltagare?
c. Skiljer sig ungdomar i skolor som tagit del av Star for Life från ungdomar i skolor som inte tagit del av Star for Life centrala målområden för
d. Hur tas programmet emot av elever, lärare och skolledning, det vill säga hur förstår man det arbete som utförs inom programramarna?
Fråga c) och d) undersöks kvantitativt genom en serie enkäter som distribueras i tre omgångar till skolor som använder sig av Star for Life, s.k. interventionsskolor, och till två kontrollskolor som inte använder programmet. Fråga a), b) och d) undersöks kvalitativt genom flera metoder. Vad fråga d) anbelangar betyder det att mottagandet för elevernas del studeras både kvantitativt och kvalitativt medan lärare och skollednings reception granskas främst kvalitativt. Textunderlaget (Drömboken) som används som huvudsakligt undervisningsmaterial inom Star for Life studeras genom en diskursanalys, vilket innebär en fördjupad textanalys i syfte att undersöka vilka centrala idéer som programmet bygger på, hur dessa kommer till uttryck och vilka relationer som verkar finnas mellan dem. Vad Star for Life som sådant innebär och hur programmet tas emot analyseras genom deltagande klassrumsobservationer, fokusgruppsintervjuer med elever samt intervjuer med skolledning och mentorer.