Den kvantitativa delen av utvärderingen består av en strukturerad elevenkät. Frågorna i elevenkäten har till stor del formulerats utifrån de redan befintliga formulären som använts av Myndigheten för ungdoms- och civilsamhällesfrågor, Skolverket och Folkhälsoinstitutet i deras studier om barn- och ungas psykiska hälsa, samt
forskningsstudier så som LoRDIA-enkäten14 och undersökningsinstrument om
skolklimat. Baslinjemätningen utfördes i samtliga skolor som arbetar med arbetsmodellen i september/oktober 2014. För att på något sätt kunna uttala sig om arbetsmodellens effekter samtidigt nödvändigt att jämföra den grupp som tar emot arbetsmodellen med en kontrollgrupp och skolor som inte använder Star for Life.15
Enkätundersökningen är distribuerad till fyra interventionsskolor och två kontrollskolor.
Enkätens innehåll
Enkäten rör sig över flera teman som kan sammanfattas under två huvudsakliga indikatorer – en hälsoindikator och en prestationsindikator. Hälsoindikatorer
14 LoRDIA är en stor longitudinell studie om ungas tonårsutveckling vilken leds av professor Arne Gerdner, Jönköpings universitet.
innefattar bland annat teman som: Upplevd fysisk hälsa, upplevd sömnmängd, självskattad fysisk aktivitet, matvanor och bruk av tobak, alkohol och/eller droger. Därtill innefattar hälsoindikatorerna frågor om upplevd psykisk hälsa, sociala relationer (till föräldrar, klasskamrater och till lärare), självskattade psykosomatiska besvär, upplevelser av nedstämdhet, oro eller ångest samt stressnivå. Prestationsindikatorer innefattar teman om självskattad nedlagd ansträngning i skolarbete och eventuell sen ankomst/skolk, uppfattningar om skolarbetets belastning och/eller stressrelaterad till skola och frågor om utveckling och lärande. Elevenkäten består av 42 frågor som formulerats som påståenden. Till vissa påståenden finns svarsalternativ som spänner mellan att ”instämmer inte alls” till att ”instämmer helt” alternativt att genomföra en aktivitet ”i stort sett varje dag” över till ”mer sällan eller aldrig”.
Enkätens sista del rymmer för interventionsskolornas räkning en del som avser att utvärdera själva upplevelsen av Star for Life-passen. Denna del är alltså enkom riktad mot elevernas uppfattningar om hur det upplevs att arbeta med det material som Star for Life-programmet erbjuder.
Tillförlitlighet och svarsfrekvens
På Ramunderskolan i Söderköping och Bohus- och Da Vinciskolan i Ale genomfördes baslinjemätningen under oktober/november 2014. Ett år senare gjordes en uppföljande mätning. Samma period genomförde Furulunds skola i Partille samt kontrollskolorna Lexby- och Aroseniusskolan baslinjemätningen. Vissa skolor valde att låta samtliga elever få muntlig information om utvärderingen som lämnades av projektassistenten innan ifyllandet av enkäter påbörjades. I andra fall vandrade projektassistenten från klassrum till klassrum och besvarade eventuella frågor från eleverna.
Enkätdistributionen har mött vissa specifika svårigheter som inte är ovanliga vid denna typ av undersökningar. En sådan svårighet är att elever inte fyller i hela enkäten, eller att elever är sjuka eller av annan orsak inte närvarande vid distribution, vilket kan betyda att de fyllt i någon av omgångarna och uteblivit från andra. Det betyder i sin tur att deras eventuella förändring inte kan mätas. En annan svårighet ligger i det faktum att somliga elever kan använda sig av enkäten för att artikulera missnöje av olika slag. De svar som fylls i kan vara förvrängda eller skämtsamma, eller på annat vis underminera syftet med enkäten. Ytterligare kan svaren i vissa fall avspegla ett önskat
tillstånd mer än ett reellt sådant, då unga personer kan vara lyhörda för att anpassa sina svar i förhållande till det som de uppfattar som önskvärt.
Svarsfrekvens och jämförbarhet
Baslinjemätningen besvarades av 376 elever varav 254 elever i interventions- och 122 i kontrollgruppen. Tolv månader efter att baslinjemätningen genomfördes med Star For Life gruppen gjordes en uppföljningsmätning då 182 elever deltog. I Tabell X ges en översikt över elevernas deltagande i enkäten.
Översikt över elevernas deltagande i enkäten
Som framgår av tabellen fanns initialt ett bortfall i svarsgruppen då samtliga elever och deras målmän inte var villiga att delta i undersökningen. I och med att undersökningen krävde ett aktivt samtycke från föräldrar och den unge krävdes ett omfattande arbete för att få in detta och överhuvudtaget få ett svar. Trots detta var svarsfrekvensen bland interventionsskolorna rimlig, mellan 68 och 75 % vid första mättillfället. Tyvärr visade det sig vara svårt att upprätthålla denna vid efterföljande mätningar. Av anledningar som dels går att hänföra till skolans organisation, att elever var frånvarande och att en del tappat intresse kom svarsfrekvensen i interventionsgruppen sjunka till mellan 62 och 72 procent. Samma mönster går att finna i kontrollgruppen, även om att här var andelen än lägre vid start och sjönk därifrån. Man kan här tänka sig att motivationen att besvara en enkät som handlar om ett program man inte fått kan ha medverkat till tappet, förutom nämnda svårigheter som nämnts ovan relaterade till prioriteringar inom skolans ram.
Skola Totalt antal elever åk 7 Andel med samtycke % Mätning 1
Andel % Mätning 2 Andel % Mätning 3 Andel %)
Star for Lifeskolor Bohusskolan 61 69 69 59 62 Da Vinciskolan 99 76 75 67 72 Ramunderskolan 131 69 69 61 62 Furulunds skola 70 78 68 64 69 Kontrollskolor Aroseniusskola 130 60 56 52 38 Lexby skolan 115 46 43 45 38
Könsfördelningen i kontrollgruppen var jämn. I hela Star for Life gruppen (Furulunds skola inkluderad) var andel killar (52%) vilket är något högre än tjejer (48%). Det bör nämnas att frågan om kön innehöll enbart två svarsalternativ tjej respektive kille. Några elever på varje skola valde att lägga till ett tredje svarsalternativ annat och några valde att inte svara på frågan.
För jämförelse mellan interventionsgrupp och kontrollgrupp valdes 60 variabler ut från enkäten som i särskilt hög grad uppfattades motsvara målsättningar för Star for Life. Vid denna analys valdes att jämföra mätning 1 (baslinjen) med mätning 3 för att få så god kunskap om förändringar över tid som möjligt. Interventionsgrupp och kontrollgrupp jämfördes statistiskt med varandra för mätning 1 och 2 varvid att det kunde konstateras att inga signifikanta skillnader förelåg mellan fördelningen av de beroende variablerna (testat med Mann-Whitney U16). Detta innebär att förutsättningar för jämförelse mellan grupperna fanns. Den statistiska bearbetningen av jämförelsen mellan interventions- och kontrollskolorna har gjorts av fil dr Tina Olsson som har stor erfarenhet av interventionsforskning med kvantitativ data.
Mätproblem - analytiskt val
När forskningsfrågan handlar om effekter av en insats är det av vikt att grupperna som jämförs är så lika som möjligt vid insatsens början. Om grupperna som jämförs är olika i avseende på till exempel könsfördelning, socioekonomisk och etnisk bakgrund blir de slutsatser man kan dra om insatsens effektivitet mindre pålitliga. Det ideala är att grupperna ska vara så lika som möjligt och att interventionen ska vara det enda som skiljer dem åt. En slumpvis tilldelning av individer i interventions- respektive kontrollgrupp ökar möjligheten att uttala sig om den studerade insatsen orsakat en eventuell förändring. Ett sådant tillvägagångsätt är dock inte alltid möjligt. Vid utvärdering av insatser som är utformade som en social investering, som skolprogrammet Star For Life är ett exempel på, är det inte ovanligt att interventionsgruppen är given från starten. Att interventionsgruppen är given innebär att kontrollgruppen utses på basis av att den efterliknar interventionsgruppen och inte lottas fram. Studien kan därför sägas ha kvasiexperimentell design (Sveriges Kommuner och Landsting 2014).
16 Mann Whitney U är ett icke parametrisk test som används för att undersöka om två urval (SFL vs kontroll) kommer från samma population. Ett icke signifikant resultat kan tolkas som att på de undersökta variablerna verkar SFL-ungdomar och kontrollungdomar tillhör samma population vid förmättning och också vid eftermättning.
Att varken Star For Life elevgrupp eller kontrollgruppen har tillkommit genom ett slumpmässigt förfarande är utvärderingens klara begränsning. Nämnas bör att det kan finnas viktiga egenskaper hos båda grupperna som inte är observerbara men som skiljer dem åt. Det kan handla om skolornas upptagningsområde, personaltäthet, personalens kompetens eller tillgång till resurser. Dessutom har kontrollgruppen, av ovannämnda skäl, tillkommit efter att Star For Life programmet startats.
En annan begränsning är att utvärderingen pågår samtidigt som skolprogrammet Star For Life prövas och omprövas. Sedan programstarten i 2014 har programmet genomgått en rad förändringar bland annat en förändring i vilka som genomför det. Från att ha varit lett av så kallade Star For Life coacher har lärare och mentorer under läsåret 2015/2016 intagit en alltmer central roll för programmets aktiviteter. Det går därför inte med säkerhet att uttala sig om det program som undersökts vid baslinjen också är det som följs upp vid senare mätningar.
Här bör även tilläggas att i Ale kommun arbetar samtliga elever i årskurs åtta med skolprogrammet DISA17. Det innebär att elever i interventions- såväl som i kontrollgruppen från Ale kommun tar del av en annan åtgärd under den studerande perioden. Information om huruvida eleverna på de andra skolorna som ingår i utvärderingen har varit i någon form av åtgärd saknas. En titt på skolornas hemsidor avslöjar dock att det pågår aktiviteter som syftar till att skapa trygghet och trivsel och som ofta benämns som värdegrundsarbete.
Det har också varit svårt att konstruera frågor som på ett mer precist sätt fångar in vad Star for Lifes målsättningar är, då dessa (i den svenska versionen åtminstone) är tämligen omfattande och inte särskilt specifika – att allmänt förbättra hälsobeteendet är exempelvis mindre precist än den sydafrikanska förlagans antal hiv- tester och antal insjuknade i AIDS. Vid konstruktionen av enkäten hämtades inspiration från andra undersökningar som avser liknande områden. Dessa frågor och paket av frågor som hämtades in var dock inte av karaktären validetstestade instrument som brukar användas vid utvärdering av exempelvis individuella behandlingsprogram. Vid en bedömning av Star for Lifes målsättningar var det helt enkelt svårt att föra in sådana, då programmet avsåg en så bred livsförändring och även omfattade elevens skolsituation. Det skulle bli en alltför omfattande enkät, då det skulle krävas att föra in ett flertal sådana testade instrument.
17DISA – Depression in Swedish Adolescent eller Din Inre Styrka Aktiveras är ett manualbaserat skolprogram med rötterna i kognitiv
De frågor som används i enkäten är också av den karaktären att svaren indikerar grader i relation till olika förhållanden, inte en mer exakt precisering (exempelvis antal HIV-tester). Detta kan förklaras av att Star for Life i Sverige i mycket handlar om frågor som rör attityder, inställningar och uppfattningar, men begränsar samtidigt en del för den statistiska bearbetningen.
Ett viktigt val vid den jämförande analysen mellan interventions- och kontrollskolor har också varit att använda försvarbara analysmetoder i förhållande till karaktären på data. Här används ett test (Wilcoxan signed-rank18) för att undersöka
skillnader över tid. Här undersöks förändringar i medianvärden i de undersökta grupperna. Ett problem vid läsningen av resultatet av dessa är att medianvärdet i en grupp kan vara samma, även där det finns signifikanta förändringar.
Trots den relativt omfattande kvantitativa mätningen i denna utvärdering, kommer det med skäl som anges ovan ändå vara svårt att med säkerhet uttala oss om skolprogrammet Star For Life:s verkliga effekter. Vid jämförelsen mellan interventionsgrupp och kontrollgrupp kan man också notera det högre bortfallet som skett, särskilt hos kontrollgruppen för uppföljningsmätningarna. Huruvida detta har påverkat resultatet är svårt att bedöma, exempelvis om selektionseffekter spelat in. För att tolka resultatet i utvärderingen är det därför mycket viktigt att se till kombinationen av olika datakällor, och i vilken mån de verkar peka åt samma håll, eller skilja sig åt. Av rapporten framgår när det handlar om den generella inriktningen ett relativt entydigt resultat där en datakälla kan sägas förstärka det som kommer från en annan.