Att hantera den komplexa skolmiljön

De övergripande frågeställningarna i traditionella programutvärderingar bru­

kar ofta formuleras ”Fungerar programmet?”, ”Vad fungerar?” eller ”Vilken effekt har programmet?”. I Brottsförebyggande rådets metautvärdering av antimobb­

ningsprogram (Ttofi et al. 2008) var t.ex. det övergripande syftet ”att bedöma skolbaserade antimobbningsprograms effektivitet att reducera skolmobbning”. Ut­

gångspunkten för utvärderingsstudier av denna typ är en sorts föreställning om en ”ren” programkontext, fri från störande element i form av andra program eller insatser, där de utvalda programmen kan studeras isolerat. Som torde ha framgått har besöken på skolorna emellertid visat att denna ”rena” verklighet inte existerar. Därtill torde det ha framgått att de kontextuella villkoren mel­

lan de studerade skolorna varierar. Mot denna bakgrund har ett alternativt och mer verklighetsnära sätt att förhålla sig till denna problematik utvecklats. Detta förhållningssätt tar också tydligt utgångspunkt i tanken om komponenter samt idén om skolornas skilda kontextuella förutsättningar.

Den grundläggande frågeställningen i detta perspektiv är något annorlunda jämfört med det traditionella och kan formuleras: ”Vad fungerar, för vem, i

vilka avseenden och under vilka omständigheter?” (se t.ex. Pawson & Tilley 1997;

KiVa Koulu 2010). Frågeställningen implicerar inte bara vad (vilka insatser el­

ler insatstyper) som fungerar eller om förekomsten av det studerade fenomenet (mobbning) förändras över tid, utan också hur och under vilka omständigheter (kontextuella villkor) ett program har effekter på fenomenet.

3.3.1 program och komponenter

Program och dess komponenter kan i detta sammanhang likställas med teorier eller teoretiska antaganden om hur insatser fungerar och vad som antas medföra en förändring i ett specifikt beteende. Program innehåller alltså en sorts sam­

manhållen förklaring av vilka mekanismer som producerar observerbara möns­

ter eller regelbundenheter.

Av programanalysen (Skolverket 2009) framgår att program fokuserar på olika mekanismer. Inom vissa program betraktas mobbningen som ett fenomen producerat av egenskaper hos individen, inom andra som ett resultat av interak­

tioner mellan grupper eller individer, och inom ytterligare andra som en effekt av skolan som system osv. Det handlar med andra ord om olika teorier om feno­

menet och vad som antas motverka icke­önskvärda beteenden. Bryts program­

men ner i dess komponenter kan de betraktas som beskrivningar av mekanismer vilka antas påverka och förändra ett visst beteende i en viss riktning.

... mechanism refers to the ways in which any one of the components or any set of them, or any step or series of steps brings about change. Mechanisms thus explicate the logic of an intervention; they trace the destiny of a programme theory, they pin­

point the ways in which the resources on offer may permeate into the reasoning of the subjects (Pawson & Tilley: 2004:7).

Exempelvis syftar insatsen (komponenten) skolregler till att reglera vad eleverna får respektive inte får göra i olika skolsituationer och vad som bedöms vara lämpligt, rätt och önskvärt eller olämpligt, fel och förbjudet (Boostrom 1991;

Buckley & Cooper 1978; Thornberg 2008). Dessa regler kan antingen ha ut­

formats av lärarna och övrig skolpersonal eller av lärarna, övrig skolpersonal och elever tillsammans. I vissa fall kan de vara skriftliga, i andra kan de vara av mer informell karaktär, t.ex. en del av ”skolandan”. Men för att skolreglerna ska efterlevas krävs det att de har legitimitet. Det är emellertid inte reglerna och ru­

tinerna i sig som skapar effektiva arbetsformer i klassrummet eller skolan, utan lärarnas eller annan pedagogisk personals förmåga att etablera och upprätthålla tydliga regler och tillvägagångssätt (Freiberg et al. 1995). Regler är betydelse­

fulla, men behöver nödvändigtvis inte vara tillräckliga för att reducera de faror som kan finnas i skolan i form av t.ex. kränkningar och mobbning (Potts 2006).

Regler kan vara kontraproduktiva om de, som Schimmel (1997) beskriver, upp­

levs som (1) negativa, restriktiva och oförklarliga, (2) auktoritära, (3) utvecklade utan elevernas medverkan, (4) nerskrivna och distribuerade i en formell form som eleverna kanske inte förstår, och (5) brister när det gäller elevers möjlighet att ifrågasätta rättvisan i, nödvändigheten eller konsekvensen av specifika regler.

Om eleverna inte förstår meningen med reglerna tenderar de att betrakta dem som onödiga (Thornberg 2008). Mot bakgrund av detta behöver skolregler inte alltid ha samma avsedda effekter. Under vissa omständigheter fungerar de och har effekt i form av minskad förekomst av mobbning och kränkningar, under andra är effekterna begränsade. En komponents kausala potential kommer med

andra ord bara till uttryck under sådana villkor som är gynnsamma, dvs. då de inte motverkas av andra krafter, såsom bristande legitimitet eller brist på delak­

tighet för att använda exemplet med skolregler.

Av detta skäl är det också ytterst betydelsefullt att studera under vilka om­

ständigheter (kontextuella villkor) de fungerar respektive inte fungerar för att det ska vara möjligt att besvara den övergripande frågeställningen om vad som fungerar, för vem, i vilka avseenden och under vilka omständigheter.

3.3.2 Insatser och kontextuella villkor

Alla program eller insatser (komponenter) syftar i grund och botten till att minska förekomsten (förebygga, upptäcka och åtgärda) av oacceptabla hand­

lingar och i stället förstärka incitamenten för andra mer acceptabla handlingar och beteenden.

Ett sätt att illustrera och precisera resonemanget i relation till insatser (kom­

ponenter) är att ta utgångspunkt i figuren nedan. I figuren beskriver de mindre ovalerna kontexten vid olika tidpunkter (C1, C2 och C3), den horisontella linjen i respektive oval beskriver observerbara mönster eller regelbundenheter (O1, O2 och O3) (mobbningsfrekvensen) och den vertikala linjen mekanismen eller mekanismerna (M1 och M2) (komponenter) vid de aktuella tidpunkterna.⁸ Den horisontella linjen som förbinder de olika tidpunkterna beskriver empiriskt utfall (förändringar i observerbara mönster över tid).

Figur 3.2 Komponenter, förändring och kontext

Mot bakgrund av detta kan enskilda insatser, typer av insatser, grupper av skolor med liknande arbetssätt och för den skull också varje enskild skola betraktas i ljuset av dessa tankegångar, eftersom (i) enskilda skolor, såväl som grupper av skolor kan ha liknande kontextuella förutsättningar, (ii) olika mekanismer kan vara verksamma på olika skolor, samt (iii) att de observerbara mönstren skiljer sig åt mellan olika skolor.

I praktiken utgör också de studerade komponenterna en begränsad del/ak­

tivitet i ett större sammanhang (ovalen som omgärdar alltsammans, K). Detta framgår bl.a. av alla förändringar som skett inom skolans värld de senaste decen­

8 Kontext (C), mekanism (M) och observerbara mönster (O) utgör de tre grundläggande beståndsdelarna i en generativ kausal förklaring.

C1

M1

O1

Empiriskt utfall C2

M2

O2

M1

K

C3

M2

O3

M1

nierna vad gäller pedagogiskt innehåll och form, lagstiftning och regelverk, or­

ganisatoriska former, samt sist men inte minst mobbningsdiskursens förändring över tid, där bl.a. de vetenskapliga, politiska och juridiska systemen påverkat förståelsen av fenomenet och den kontext inom vilken fenomenet studeras.

Detta har i sin tur påverkat sättet vi förhåller oss till det vetenskapliga objektet och uppdraget.

Insatserna (komponenterna) och de skolor som studeras är en del av ett öp­

pet system som påverkas av faktorer som står utanför vetenskaplig kontroll. Av detta följer att det är svårt att isolera insatser från övriga aktiviteter och inter­

ventioner som enskilda elever eller grupper av elever är eller har varit föremål för på skolorna. Oförutsebara händelser, politiska förändringar, närvaron av andra programliknande interventioner, personalens lärande och reflexiva förmåga, mediebevakning, organisatoriska realiteter m.m. gör att insatserna kan luckras upp och omformas samt att sättet på vilket insatserna kommer till uttryck varie­

rar från fall till fall. Denna realitet gör det också svårt att tänka i termer av ex­

perimentell design då möjligheterna att kontrollera alla faktorer som kan tänkas påverka det studerade fenomenet är ytterst begränsade.

Redan det faktum att skolor – i enlighet med lagen (2006:67) om förbud mot diskriminering och annan kränkande behandling av barn och elever – är skyldiga att ha en likabehandlingsplan som syftar till att förebygga och förhin­

dra trakasserier och annan kränkande behandling i skolan och skapa en trygg skolmiljö gör det svårt att isolera specifika programeffekter. Skolmiljön är med andra ord kontaminerad av andra insatser (mekanismer) som i många avseenden påminner om specifika program eller programkomponenter.

Att skolorna som studerats är en del av ett öppet system har också konse­

kvenser för utvärderingsdesignen och de resultat som presenteras. Utifrån dessa förutsättningar kommer utvärderingen inte att bara att presentera kontextobe­

roende resultat, utan snarare en uppsättning resultatkonfigurationer baserade på kontextuella villkor, insatser och empiriska utfall, s.k. kontext­mekanism­utfalls­

konfigurationer (jmf. Pawson & Tilley 1997). Dessa konfigurationer kan sägas fånga kopplingen mellan kontexten, insatsen och det empiriska utfallet.

För att kunna genomföra detta har arbetet vägletts av ett antal teoretiska frå­

gor. Frågorna kan systematiseras på följande sätt:

• Mekanismer: Vilka egenskaper hos specifika komponenter producerar ett specifikt utfallsmönster i en given kontext? Annorlunda uttryckt: Vilka egen­

skaper eller specifika komponenter antas vara betydelsefulla för att förändra beteenden eller minska förekomsten av specifika beteenden?

• Kontext: Vilka kontextuella villkor måste föreligga för att insatser (komponen­

ter) eller insatstyper (komponentkluster) ska producera ett specifikt utfall?

• Utfallsmönster: Vilka effekter produceras av de aktiva kausala mekanismerna (komponenterna) i en given kontext?

• Kontext-mekanism-utfallskonfigurationer: Hur och på vilket sätt påverkar eller förändrar komponenter specifika beteenden under specifika kontextuella villkor?

Mot bakgrund av detta har det därför varit nödvändigt att utveckla och syste­

matisera kunskapen om dessa frågor, dvs. att utifrån analyserna kunna besvara frågan om vad som fungerar, för vem, i vilket avseende, under vilka villkor.

Utvärderingens empiriska arbete handlar alltså inte bara om att undersöka hur vissa beteenden förändras eller vilka statistiska samband som föreligger, utan om

att utveckla och testa antaganden om (i) mekanismer som under (ii) specifika

ringen ska förstås och ge kunskap om vad som fungerar, för vem, i vilka avseenden och under vilka omständigheter.

Figur 3.3 Mekanismer, kontextuella villkor och empiriska utfall

Mekanismer Kontextuella villkor Empiriska utfall Abstrakt

enskilda insatser och insatstyper

Mer ideala eller kontrollerade förhållanden

effekter under kvasiexperimentella förhållanden enskilda insatser och

insatstyper på grupper av skolor

Kontextuella villkor hos grupper av skolor med liknande arbetssätt

effekter för grupper av skolor med liknande arbetssätt

enskilda insatser och insatstyper på grupper av skolor

Kontextuella villkor på enskilda skolor

Hur enskilda insatser manifesterar sig och kommer till uttryck under olika villkor Konkret

I det följande redovisas de metoder och tillvägagångssätt som använts vid urval, datainsamling och analys av det empiriska materialet.