Sammanfattning
Unga med normbrytande beteende löper en relativt hög risk för en långvarig negativ utveckling. För att förhindra detta krävs tidiga effektiva insatser som i sin tur kräver tillförlitliga
bedömningsinstrument som identifierar risker och behov hos unga med, eller i riskzonen för normbrytande beteende. Just detta är syftet med ESTER-bedömning. Föreliggande studies syfte var att undersöka interbedömarreliabiliteten av ESTER-bedömning inklusive en ny kandidatskala för riskfaktorerna . Två oberoende bedömare
genomförde ESTER-bedömningar på journalmaterial tillhörande 30 tvångsomhändertagna flickor, 15-20 år. Resultaten visar en spridning mellan bristfällig till mycket bra interbedömarreliabilitet på de 19 risk- och skyddsfaktorerna i ESTER-bedömning, med få fall av total oenighet mellan bedömarna. En jämförelse mellan den befintliga skalan och kandidatskalan visade marginella skillnader. Vidare forskning av interbedömarreliabilitet för ESTER-bedömning bör testa skalorna var för sig och inkludera intervjuer som informationskälla. Nyckelord: Normbrytande beteende, interbedömmarreliabilitet, ESTER-bedömning
Eva Bergquist & Marja Rudenhed Handledare: Henrik Andershed
Psykologi, avancerad nivå Termin 10, VT 2010
Örebro universitet
Assessment of youths with or at risk for normbreaking behavior: A test of the inter-rater reliability of ESTER-assessment1
Eva Bergquist & Marja Rudenhed School of Law, Psychology and Social work
Örebro University Abstract
Youths with normbreaking behavior is at higher risk for a negative development. To prevent this, there is a need for reliable assessments that can identify risk and need for youths with, or at risk for
normbreaking behavior. This is the purpose of ESTER-assessment. This study evaluated the inter-rater reliability of two different scales in assessment. Two independent judges conducted ESTER-assessment on case files of 30 institutionalized girls, aged 15-20 years. The results revealed poor to excellent agreement and few cases of total disagreements. The two different scales showed a minimal difference. In further research of the inter-rater reliability of ESTER-assessment there is a need for testing the two scales separately and to include interviews as a source of information.
Keywords: Normbreaking behavior, inter-rater reliability, ESTER-assesment.
Vi vill tacka
Alla flickor som ställt upp och delat med sig av sina journaler
Henrik Andershed för mycket konstruktiv och inspirerande handledning Personalen på SiS-instutionen för deras hjälpsamhet
Karin Engelholm för administration bakom kulisserna Lars Johansson för ett granskande öga
Bedömning av unga med eller i riskzonen för normbrytande beteende: En studie av ESTER-bedömnings interbedömarreliabilitet
De som i unga år debuterar i normbrytande beteende löper en relativt hög risk att gå en negativ utveckling till mötes (Krohn, Thornberry, Rivera & Le Blanc, 2001; Snyder, 2001). För att förhindra detta krävs tidiga insatser och tillgång till bedömningsinstrument som kan hjälpa den professionelle att tidigt identifiera risk och behov hos unga med, eller i riskzonen för normbrytande beteende. I föreliggande studie testas den så kallade
interbedömarreliabiliteten (dvs. samstämmigheten mellan två oberoende bedömare) för bedömningsinstrumentet ESTER-bedömning (Andershed & Andershed, 2008b, in press), vars syfte är att vara ett verktyg för professionella i bedömningen av risk- och skyddsfaktorer bland barn och unga med, eller i riskzonen för normbrytande beteende.
Beteenden som bryter mot normer och regler i den miljö individen befinner sig kan definieras som normbrytande beteende (Andershed & Andershed, 2005). Normbrytande beteende kan vara aggressiva beteenden mot människor och djur; att slå andra eller plåga djur. Det kan också handla om icke-aggressiva beteenden som att bryta mot föräldrars regler, skolka, stjäla och vandalisera (Andershed & Andershed, 2005). I forskning beskrivs normbrytande beteende på olika sätt, såsom antisocialt beteende, uppförandestörning och barndomskriminalitet. I föreliggande studie benämns dessa begrepp som normbrytande beteende. För att kliniskt diagnostisera utpräglat normbrytande beteende används diagnosen Uppförandestörning enligt Diagnostic and Statistical Manual of Mental Disorders, där det görs en skillnad mellan barndoms- eller ungdomsdebuterande typ (American Psyciatric Association, 2000). Denna uppdelning grundas bland annat på att dessa grupper skiljer sig åt gällande prognos. En del personer som i sin barndom uppvisat normbrytande beteende har, i jämförelse med de som debuterar i ungdomsåren, en större risk att få svårigheter senare i livet
(Krohn et al, 2001; Snyder, 2001), till exempel i form av ökad risk för fortsatt normbrytande beteende och våldsamhet, missbruk, depression, destruktiva relationer och låg utbildning (Borum, 2000; Fontanie et al., 2008; Loeber & Farrington, 2000; 2001; Odgers et al., 2007; Snyder, 2001; Nock, Kazdin, Hipiri & Kessler, 2006). I Sverige är normbrytande beteende en av de vanligaste sökorsakerna till barn- och ungdomspsykiatrin (BUP) för barn upp till 12 år (Svensk BUP-förening, 2003).
Ett barn med svårigheter att hantera ilska, som ofta påbörjar slagsmål, förstör andras saker och vägrar följa föräldrars regler kan innebära en tung börda för föräldrar, omgivningen och inte minst svårigheter för barnet självt (Broberg, Almqvist & Tjus, 2003). Barnet kan komma att få skulden för sitt beteende och betraktas som bråkig, dum och elak, vilket kan skapa en ond cirkel med accelererande beteendeproblem. Föräldrar kan ställas inför en stor utmaning som kräver tålamod och goda resurser för att orka skydda och hjälpa sitt barn som kanske har en begränsad förmåga att ge positiva stunder tillbaka (Svensk BUP-förening, 2003).
Med tanke på att en debut av normbrytande beteende i unga år ökar risken för en
negativ utveckling, är det viktigt att sätta in preventiva insatser i ett tidigt skede (Odgers et al., 2007). Prevention kan sättas in i olika skeden, för att förebygga psykisk och fysisk ohälsa samt för att mildra negativa följder när ohälsa väl har uppstått. Preventiva insatser kan minska det aktuella lidandet för barn och ungdomar samt minska problem senare i livet (Kazdin, 1993). Exempelvis kan tidiga insatser i form av social träning hjälpa barn med aggressivt normbrytande beteende att utveckla sociala färdigheter och därigenom minska det aggressiva beteendet. På så sätt kan det förhindras att ett sådant beteende utvecklas till ett bestående beteendemönster (Webster-Stratton & Reid, 2003). Tidiga insatser har en fördel i att de ofta kräver mindre resurser jämfört med de ansträngningar som krävs för att behandla ett redan etablerat problem (Linton, 2005). Gruppen av unga med normbrytande beteende tenderar över
tid att kräva stora samhälleliga resurser (te.x. i form av stöd och behandling inom skola, socialtjänst, psykiatri samt tvångsomhändertagande och rättegångar). Detta gör att tidiga insatser inte endast kan göra nytta på individnivå, utan även på samhällelig nivå (Loeber & Farrington, 2000; Odgers et al., 2007, Snyder, 2001; Welsh, Schmidt, McKinnon, Chattha & Meyers, 2008). Att sätta in tidiga insatser tycks vara den bästa strategin för att förebygga normbrytande beteende hos unga (Powell, Lochman & Boxmeyer, 2007; Augimeri, Enebrink, Walsh & Jiang, 2010) och vikten av att göra detta lyfter såväl BUP (Svensk BUP-förening, 2003) som Socialstyrelsen fram (Socialstyrelsen, 2009). Ett första steg för att kunna sätta in effektiva och tidiga insatser är att identifiera de barn som löper risk att utveckla normbrytande beteende och deras unika behov (Powell et al., 2007).
Viktiga aspekter i bedömningsarbete
För att tidigt kunna identifiera unga i riskzonen och sätta in effektiva insatser krävs en bra bedömning som tar hänsyn till flera olika aspekter hos både den unge och hans/hennes omgivning. Mer och mer forskning visar att tre övergripande principer är viktiga att arbeta efter i bedömning och i val av insatser. Dessa kallas risk- behovs- och responsivitetsprinciperna. Riskprincipen föreslår att unga med hög risk för normbrytande beteende bör få omfattande och intensiva insatser. Behovsprincipen föreslår att fokus bör ligga på att identifiera och gradera relevanta och förändringsbara faktorer hos den unge och hans/hennes omgivning. Relevanta faktorer är sådana som direkt kan öka risken för normbrytande beteende hos den unge. Slutligen föreslår responsivitetsprincipen att insatserna bör matcha den unges
personliga egenskaper så som inlärningsstil och motivation (Andrews, Bonta & Hoge, 1990; Andrews & Bonta, 2010). Dessa tre principer utgör en generell vägledning i hur såväl
bedömning som insatser kan genomföras. Att utgå från dessa principer är något som forskning visat vara ett effektivt tillvägagångssätt för att reducera normbrytande beteende (Andrews &
Bonta, 2010). Dessa principer har haft inflytande i utvecklingen av bedömningsinstrument som ser till både risk och behov hos individen, så kallade risk-behovsbedömningsinstrument (Bonta & Andrews, 2007).
En annan aspekt i bedömningsarbetet är att man bör ta hänsyn till både risk- och skyddsfaktorer hos den unge och dess familj. En riskfaktor är något som ökar risken för normbrytande beteende och en skyddsfaktor något som minskar sannolikheten för detsamma (Andershed, Andershed & Söderholm-Carpelan, 2010). En skyddsfaktor kan även mildra inflytandet av riskfaktorer (Stattin, Romelsjö & Stenbacka, 1997; Borum, 2000). Att utöver riskfaktorer ta hänsyn till skyddsfaktorer kan bidra till mer individanpassade och effektiva insatser (Kazdin, 1993). Det bidrar även till att insatser kan riktas mot att stärka resurser och kompetenser och därmed inte enbart fokuseras på problem (Masten, 2001).
Ytterligare en viktig aspekt verkar vara att bedömningsarbetet är strukturerat. Detta betyder bland annat att det som bedöms är tydligt definierat och att bedömningen
dokumenteras på ett systematiskt och likformigt sätt (Andershed & Andershed, 2008b). Eftersom strukturen kräver att samtliga professionella administrerar bedömningen på ett likformigt sätt, skapas förutsättningar för att uppnå mer samstämmiga och mindre subjektiva bedömningar (Borum, 1996; Hoge, 2002). Inom den kliniska verksamheten genomförs bedömningar många gånger alltför godtyckligt då flertalet praktiker administrerar bedömningsinstrument utan adekvat utbildning i hur instrumentet är tänkt att användas (Lipsitz et al., 2003). Små variationer i hur ett test administreras kan ge stora skillnader i den slutgiltiga bedömningen. Att använda strukturerade bedömningsinstrument som ger detaljerad information om hur bedömningen skall genomföras är ett sätt att öka tillförlitligheten (Wood, Garb & Nezworski, 2007; Borum, 1996).
En annan viktig aspekt i bedömningsarbetet är att det finns förutsättningar för att göra uppföljande bedömningar och utvärdera insatser. En kontinuerlig uppföljning ger information om insatsen leder mot det tänkta målet och skapar möjligheten att revidera och förbättra pågående insats. Forskning har påvisat att klinikers subjektiva bedömningar kan vara alltför vinklade och osäkra som utvärderande metod. Därför krävs det tillgång till strukturerade bedömningsinstrument för att utvärdera insatser (Love, Koob & Hill, 2007). Ett
bedömningsinstrument som explicit är konstruerat så att uppföljning är möjlig, torde inspirera kliniker att kontinuerligt utvärdera sin verksamhet. En kontinuerlig utvärdering kan ge viktig information om verksamheten men kan också ha en terapeutisk effekt för klienten (Kazdin, 2005), på så sätt att det kan höja motivationen att konkret se förändringar och framsteg.
Slutligen är det en viktig aspekt att bedömningsarbetet är forsknings- eller
evidensbaserat. I arbetet med att skapa en vetenskaplig, så kallad evidensbaserad praktik, inom beteendevetenskapens område har fokus mestadels varit på evidensbaserade insatser medan evidensbaserad bedömning (Evidence-based assessment; EBA) i stor utsträckning har förbisetts (Hunsley & Mash, 2005; Barlow, 2005). Detta trots att EBA sannolikt är en viktig del för att få till stånd en effektiv behandling (Achenbach, 2005). En svensk nationell inventering har visat att merparten av de bedömningsmetoder som används inom
socialtjänsten och BUP saknar vetenskapligt stöd (Socialstyrelsen, 2009). EBA beskrivs i forskningen på en mängd olika sätt (Hunsley & Mash, 2005). Ett sätt att definiera det på är att: a) instrumenten ska baseras på den senaste forskningen, b) instrumenten ska vara kliniskt relevanta (t.ex. genom att de är lätthanterliga och att resultaten ger vägledning om lämpliga insatser) samt c) instrumenten ska ha goda psykometriska egenskaper (Hunsley & Mash, 2005; McMahon & Frick, 2005). De psykometriska egenskaperna handlar bland annat om huruvida instrumentet mäter det som avses mätas (validitet) och huruvida instrumentet är
tillförlitligt (reliabilitet). En central aspekt av reliabilitet är i vilken utsträckning två olika bedömare gör samstämmiga bedömningar; så kallad interbedömarreliabilitet (Wood et al., 2007). Interbedömmarreliablitet ger en bild av huruvida två bedömare, oberoende av varandra kommer fram till samma sak gällande en klient, exempelvis fastställande diagnos
(McDermott, 1988), eller bedömning och gradering av risk- och skyddsfaktorer. Interbedömarreliabilitet
En klinikers bedömning kan ha stor inverkan på en människas liv i till exempel form av vilken diagnos som ges och hjälp som erbjuds (McDermott, 1988). Därmed är det viktigt att en individ inte riskerar olika diagnoser beroende på vilken kliniker han/hon möter. I arbete med barn och unga med normbrytande beteende är det viktigt att det finns
bedömningsinstrument med hög interbedömarreliabilitet för att kunna garantera lika
behandling. Det finns också forskning som visat att hög interbedömarreliabilitet är kopplat till mer korrekta bedömningar av framtida benägenhet för våld (McNiel, Lam & Binder, 2000). Det tycks vara svårt att uppnå en hög interbedömarreliabilitet, något som visat sig till exempel hos psykologers bedömningar (Persons & Bertagnolli, 1999). Detta har även
uppmärksammats inom socialtjänsten. En vinjettstudie visade att socialarbetares oenighet sträckte sig från att tvångsomhänderta till att inte tvångsomhänderta samma barn (Östberg, Wåhlander & Milton, 2000). Att ett barn blir omhändertaget eller inte är beroende av vilken professionell han\hon möter exemplifierar vilka allvarliga konsekvenser frånvaro av
samstämmighet kan få.
För att statistiskt undersöka samstämmighet i form av interbedömarreliabilitet används ofta intraklasskorrelationer (Intra-Class Correlation; ICC). ICC visar graden av
samstämmighet mellan olika bedömare. Ett ICC-värde kan variera mellan -1,0 till 1,0. Ett negativt ICC-värde uppstår när variationen hos en bedömare är större än variationen mellan
bedömarna, ICC 1,0 betyder att samstämmighet mellan bedömarna är exakt (North Carolina State University, 2010). Följande definitioner av de kritiska värdena för
interbedömarreliabilitet mätt med ICC kan användas: bristfällig (poor)= <.40,
tillfredsställande (fair)=,40-,59, bra (good)= ,60-,74, mycket bra (excellent)= ,75-1,00 (Cicchetti, 1994). Det finns olika varianter av ICC som kan ge olika resultat vid analys av samma data. Man kan välja att beräkna ICC för den exakta samstämmigheten (Absolute agreement) eller för korrelationen mellan bedömningarna (Consistency). Uträkning av ICC kräver även ett val mellan tre olika modeller: One-way random effects model, Two-way random effects model och Two-way mixed model. Val av modell grundas bland annat på hur slumpmässigt urvalet av bedömare och stickprov antas vara samt antal bedömningar som genomförts av samtliga bedömare (Shrout & Fleiss, 1979; North Carolina State University, 2010; Hadzi-Pavlovic, 2010). Det är inte ovanligt att forskare saknar medvetenhet om skillnaderna mellan dessa modeller och att det inte rapporteras vilka varianter som använts i beräkningen av ICC (Shrout & Fleiss, 1979). ICC kan rapporteras för bedömarnas enskilda bedömningar (single measure) eller ICC för bedömarnas medelvärde (average measure) (North Carolina State University, 2010). Single measure utgör ett mer stringent test i
jämförelse med average measure (Tinsley & Weiss, 1975) och kräver därmed en högre grad av samstämmighet för att uppnå ett signifikant resultat. Det är inte ovanligt att studier av interbedömarreliabiliteten för bedömningsinstrument endast rapporterar ett sammanslaget ICC för samtliga faktorer (ICC total) istället för att redovisa ICC för enskilda faktorer. Då ICC total baseras på medelvärden tenderar ett sådant resultat att bli högre i jämförelse med ICC för enskilda faktorer, vilket medför en risk att interbedömarreliabiliteten överskattas. Ett annat möjligen mer praktiskt relevant sätt att studera interbedömarreliabiliteten på, är att göra procentuella jämförelser mellan de oberoende bedömningarna. Man kan då svara på frågan i
vilken utsträckning de oberoende bedömarna gör exakt samma bedömning vad gäller en viss risk- eller skyddsfaktor.
Bedömningsinstrument
Den historiska utvecklingen för riskbedömning av normbrytande beteende delas in i fyra generationer (Bonta & Andrews, 2007). Den första generationens riskbedömningar grundades på ostrukturerad bedömning utifrån samlad kunskap och erfarenhet. Den andra generationens riskbedömningar var evidensbaserade och bestod av statiska, det vill säga oföränderliga riskfaktorer (t.ex. att tidigare ha missbrukat eller tidigare kriminalitet) med påvisat samband med normbrytande beteende. Även tredje generationens riskbedömningar, så kallade risk-behovsbedömningar, var evidensbaserade. Det som skilde den andra och tredje generationen åt var att den tredje generationen var mer flexibel och tog hänsyn till dynamiska faktorer genom att undersöka det aktuella och föränderliga. Den fjärde och senaste generationen riskbedömningar grundas, liksom den tredje generationen, på evidensbaserade och dynamiska faktorer. I den fjärde generationen har det tillkommit tre nya aspekter 1) skyddande faktorer, 2) kontinuerlig uppföljning; att ett flertal bedömningar görs på ett och samma ärende från att ärendet påbörjats tills dess avslut och 3) faktorer som bedöms skall vara relevanta utifrån att åstadkomma effektiva insatser (te.x. inlärningsstil och motivation) vilket möjliggör en länk mellan bedömning och insatser (Andrews, Bonta & Wormith, 2006; Baglivio, 2009; Bonta & Andrews, 2007).
Exempel på tredje generationens risk-behovsbedömningar är Early Assessment of Risk List for Boys (EARL-20B; Augimeri, Webster, Koegl & Levene, 1998), Early Assessment of Risk List for Girls (EARL- 21G; Levene et al., 2001) och Structured Assessment of Violence Risk in Youth (SAVRY; Borum, Bartel & Forth, 2002). ESTER-bedömning (Andershed & Andershed, 2008b, in press) är ett fjärde generationens risk-behovsbedömningsinstrument.
EARL
EARL-20B (Augimeri et al., 1998) och EARL- 21G (Levene et al., 2001) är två strukturerade instrument som syftar till att bedöma och predicera framtida benägenhet för våld och
antisocialt beteende för barn under 12 år. Skillnaden mellan instrumenten är att EARL-21G för flickor har ytterligare en faktor som EARL-20B för pojkar inte har. EARL mäter
riskfaktorer som är kategoriserade i följande riskområden: familj (sex faktorer för pojkar och sju för flickor), den unge (tolv faktorer) och responsivitet (två faktorer) (Augimeri, Koegel, Levene & Webster, 2005). Samtliga riskfaktorer skattas på en tregradig skala: frånvarande (0), delvis närvarande (1) eller definitivt närvarande (2) (Augimeri et al., 1998; Levene et al., 2001). Bedömaren skall inhämta information från flera informanter exempelvis från lärare, föräldrar och skola samt även från andra källor som till exempel kliniska test och omdöme från skolan (Augimeri et al., 2005).
SAVRY
SAVRY (Borum et al., 2002) är ytterligare ett instrument som syftar till att bedöma och predicera framtida våldshandlingar. Instrumentet riktar sig till unga i åldrarna 12 till 18 år. SAVRY består av sex skyddsfaktorer och 24 riskfaktorer, de sistnämnda är i sin tur uppdelade i historiska, individuella och sociala/kontextuella kategorier. Instrumentet ger bedömaren själv möjligheten att lägga till och bedöma ytterligare risk- och skyddsfaktorer. Information inhämtas från flera olika källor så som från polis, socialtjänst och psykiatri, och bedömaren skattar allvarlighetsgraden för varje riskfaktor på en tregradig skala innehållande skalstegen: låg, medel eller hög. Skyddsfaktorerna skattas endast utifrån om de är närvarande eller inte (Borum et al., 2002).
ESTER
ESTER-bedömning (Andershed & Andershed, 2008b, in press) är ett instrument utvecklat i Sverige, för unga (0-18 år) med, eller i riskzonen för normbrytande beteende. Instrumentet syftar till strukturerad bedömning och uppföljning av forskningsbaserade risk- och
skyddsfaktorer. ESTER-bedömning är strukturerat på så vis att den kräver systematisk och enhetlig dokumentation samt att det är definierat vilka risk- och skyddsfaktorer som skall bedömas. Den innehåller också en graderings- eller skattningsskala med precisa definitioner för var och en av risk- och skyddsfaktorerna som bedöms. ESTER-bedömning är tänkt att kunna användas av alla professioner och verksamheter som arbetar med barn, exempelvis förskola, skola, barnhälsovård, BUP, Polis och Statens Institutionsstyrelse (SiS). ESTER-bedömning är utvecklat för att förbättra samarbetet mellan dessa verksamheter genom att bland annat ge gemensamma definitioner och erbjuda ett datorstöd som förenklar tolkning och presentation av bedömningens resultat. ESTER-bedömning syftar till att skapa mer
samstämmiga risk- och behovsbedömningar, effektivare insatser samt möjliggöra uppföljning för att se förändring över tid. Bedömningen syftar till att hjälpa den unge i dennes aktuella livssituation snarare än att predicera framtida riskbeteenden (Andershed & Andershed, 2008b, in press). ESTER-bedömning bidrar med identifiering och gradering av risk- och
skyddsfaktorer för normbrytande beteende. Detta kan komplettera utredningar som genomförs med stöd av andra dokumentationssystem, instrument eller diagnossystem som inte har som fokus att specifikt identifiera och gradera risk- och skyddsfaktorer för normbrytande beteende. För att använda ESTER-bedömning rekommenderas en grundutbildning i hur instrumentet skall användas (Andershed & Andershed, 2008b, in press).
ESTER-bedömning innehåller 19 faktorer varav tolv riskfaktorer och sju
familjenivå. De 19 faktorerna är uppdelade i fyra kategorier; risker hos den unge (nio faktorer), risker i familjen (tre faktorer), skydd hos den unge (fyra faktorer) samt skydd i familjen (tre faktorer). Se Tabell 1 för samtliga faktorer och Figur 1 och Figur 2 för exempel på en risk- respektive skyddsfaktor.
Tabell 1
Som framgår ur Figur 1 och Figur 2 utgör en ESTER-bedömningsfaktor flera specifika risk- respektive skyddsfaktorer. Exempelvis innehåller bedömningens första riskfaktor: "Trotsighet, ilska eller oräddhet" tre olika riskfaktorer. Detta utformande syftar till att reducera antal faktorer att bedöma och därigenom förenkla användandet av instrumentet. Faktorerna skattas på en femgradig skala (se Figur 1 och Figur 2): Inte närvarande (0), Svagt (1), Påtagligt (2), Utpräglat (3) eller Mycket utpräglat (4), där varje skalsteg omfattas av en definition. Skalan omfattas även av Inte känt (X) som markeras om information saknas, är otillräcklig eller när den aktuella faktorn inte är relevant att bedöma på grund av den unges låga ålder (Andershed & Andershed, 2010).
En ESTER-bedömning baseras på information från en avgränsad tidsperiod som kan sträcka sig mellan 1-36 månader bakåt i tiden. Den enskilda bedömaren beslutar om en tidsperiod som är relevant för syftet med bedömningen. Bedömningen bör baseras på
information från så många olika källor som möjligt (t.ex. den unge, föräldrar och lärare) samt olika typer av information (t.ex. journalmaterial och intervjuer, etc.). Informationskällan skall dokumenteras vid varje faktor (Andershed & Andershed, 2008b, in press).
För att genomföra en ESTER-bedömning används ESTER-bedömningsbok (Andershed & Andershed, 2008b). I bedömningsboken definieras varje faktor på en enskild sida och därefter följer en konkret beskrivning av de enskilda beteenden som faktorn består av (se Figur 1 och 2 för en risk- respektive skyddsfaktor). Varje faktor bedöms separat. Det första steget i bedömningen av en faktor är att undersöka om dess beteenden varit närvarande och kunnat observeras. Dessa markeras sedan med ett kryss. I nästa steg bedöms hur utpräglat beteendet är genom att ta reda på hur frekvent eller problematiskt det är, vilket skattas på den femgradiga skalan (0-4) (Andershed & Andershed, 2008b, in press).
Figur 1
Figur 2
Exempel på en skyddsfaktor i ESTER-bedömning: faktor 19, Föräldrars medvetenhet och motivation.
Sammanfattningsvis finns det flera saker som gör ESTER-bedömning unikt och utgör en skillnad jämfört med SAVRY och EARL. För det första består skalan i ESTER-bedömning av fler skalsteg än SAVRY och EARL. Med sina fem skalsteg möjliggör ESTER-bedömning uppföljning av insatser. Vidare syftar ESTER-bedömning till att bedöma aktuell livssituation och inte att predicera framtida beteende så som är syftet med EARL och SAVRY. ESTER-bedömning är även utvecklat för att kunna användas av samtliga professioner som arbetar med unga och därigenom underlätta samverkan mellan olika verksamheter. Vidare finns ett datorstöd som underlättar samarbetet inom och mellan verksamheter. Slutligen kan ESTER-bedömning användas för att bedöma så väl risk- som skyddsfaktorer för både pojkar och flickor från 0-18 år. SAVRY och EARL syftar till att bedöma ett betydligt kortare åldersspann. Interbedömarreliabilitet för EARL-20B, SAVRY och ESTER-bedömning
I en svensk studie som undersökt interbedömarreliabiliteten för EARL-20B (Enebrink, Långström, Hultén & Gumpert, 2006) rapporteras ICC total (single measure) på ,92 för samtliga faktorer sammanslagna. I en annan studie på EARL-20B (Augimeri et al., 2010; Augimeri, Desmarias, Koegl, Jiand & Webster, under review) rapporteras ICC total på ,82 och ICC för enskilda faktorer varierade ICC mellan ,17-,71, det vill säga från bristfälligt till mycket bra. Att jämföra dessa studiers resultat med andra studier som undersöker
interbedömmarreliabiliteten försvåras av att den första studien inte redovisar ICC för enskilda faktorer och det i den andra studien är oklart om ICC-värdena är baserade på single measure eller average measure. Det har inte varit möjligt att finna en studie om
interbedömarreliabiliteten för EARL-21G.
I en studie som undersökt interbedömarreliabiliteten av SAVRY (Lodewijks,
Doreleijers, de Ruiter & Borum, 2008) rapporteras att ICC total (single measure) var ,74 och för skyddsfaktorer ICC total (single measure) ,86. I ytterligare tre studier sträcker sig ICC
total för riskfaktorer mellan ,81-,97 (Catchpole, & Gretton, 2003; Dolan & Rennie, 2008; Meyers & Schmidt, 2008). Inga av dessa tre studier rapporterar ICC för enskilda faktorer och det är oklart om ICC-värdena är baserade på single measure eller average measure.
Det har tidigare genomförts en studie av interbedömarreliabilitet för ESTER-bedömning (Andershed et al., in press). Studien baseras på två oberoende bedömares
ESTER-bedömningar på 30 flickors journalmaterial (bestående av bl.a. bedömning av alkohol- och drogberoende, summering av intervjuer med flickan och hennes föräldrar, psykologiska test, bedömning från skolan, utredningar från socialtjänsten och observationer från
utredningshem). Bedömningarna genomfördes med en tidsperiod om fyra månader tillbaka i tiden. För att beräkna interbedömarreliabiliteten användes intraklasskorrelation ICC (single measure) och procentuell överensstämmelse mellan bedömningarna. ICC (single measure) sträckte sig mellan ,53-,89 för riskfaktorer hos den unge, mellan ,20-,77 för riskfaktorer hos familjen. ICC total (single measure) för samtliga riskfaktorer var ,67. För skyddsfaktorer sträckte sig ICC (single measure) mellan ,38-,64 för skyddsfaktorer hos den unge och mellan , 33-,58 för skyddsfaktorer i familjen. ICC total (single measure) för samtliga skyddsfaktorer var ,58. Samtliga skyddsfaktorer hade signifikanta ICC. Även resultaten på riskfaktorerna var signifikanta, med undantag av faktor 11: Svårigheter i föräldra-barnrelationen (ICC ,20). Vid 77-100% av bedömningarna fanns det en exakt samstämmighet (t.ex. att både bedömare A och B bedömt 4) eller samstämmighet eller skillnad i ett skalsteg på skalan 0-4, (t.ex. att
bedömare A bedömt "3" och bedömare B bedömt "2", 3" eller "4") (Andershed et al., in press). Sammanfattningsvis visade resultaten en relativt god interbedömarreliabilitet för ESTER-bedömning. Ett sätt att undersöka om resultat kan generaliseras till andra bedömare är att upprepa studien under liknande förhållanden (Barker, Pistrang & Elliott, 2002).
Syfte
Föreliggande studie avser att undersöka interbedömarreliabiliteten för ESTER-bedömning under liknande förhållanden som den tidigare studien och delvis med samma urval av
försökspersoner (Andershed et al., in press). Den femgradiga skalan (0-4) som användes i den tidigare studien, benämns i föreliggande studie som originalskalan. I syfte att potentiellt sett förbättra interbedömarreliabiliteten och att skapa mer distinkta skalsteg, är en ny femgradig skala (0-4) för riskfaktorer under utveckling (Andershed & Andershed, 2010), här kallad kandidatskalan.
Det övergripande syftet med föreliggande studie är att undersöka
interbedömarreliabiliteten för ESTER-bedömning. Mer specifikt syftar studien till att: a) undersöka interbedömarreliabiliteten för originalskalans risk- och skyddsfaktorer b) jämföra interbedömareliabiliteten för kandidatskalan med interbedömarreliabiliteten för originalskalan. Studien baseras på ESTER-bedömningar genomförda på journalmaterial tillhörande tvångsomhändertagna flickor.
Metod Försökspersoner
I studien användes journalmaterial tillhörande 30 flickor som vid tiden för studien var eller hade varit tvångsomhändertagna på ett särskilt ungdomshem tillhörande SiS. Placering på ungdomshemmet sker på uppdrag av socialtjänsten enligt Lagen om Vård av Unga, 3 § (LVU; Lag (1990:52) med särskilda bestämmelser om vård av unga). Sådan vård beslutas om den unge utsätter sin hälsa eller utveckling för en påtaglig risk att skadas genom missbruk av beroendeframkallande medel, brottslig verksamhet eller något annat socialt nedbrytande beteende. Studiens försökspersoner kom från olika delar av Sverige och var mellan 15-20 år (medelålder = 16,9, standardavvikelse = 1,2). En flicka var 20 år och två flickor var 19 år,
resterande 27 flickor var 18 år och yngre. Journalmaterial från 22 av de 30 flickorna användes även i den tidigare studien. Ytterligare åtta nya flickors journalmaterial användes i
föreliggande studie. Material
ESTER-bedömningarna genomfördes med hjälp av ESTER-manual Version 2 (Andershed & Andershed, 2008a) och ESTER-bedömningsbok Version ”kandidat 3" (Andershed &
Andershed, 2010). I ESTER-bedömningsbok Version ”kandidat 3” ingår ett antal
bedömningsprinciper som kortfattat ger riktlinjer för hur en bedömning skall genomföras. I den tidigare studien användes ESTER-bedömningsbok Version 2 (Andershed & Andershed, 2008a) där dessa principer inte ingick. ESTER-manualen ger bland annat en beskrivning av instrumentets bakgrund och dess utformning. I manualen redogörs även för forskning kring risk- och skyddsfaktorer samt hur en saklig och noggrann bedömning genomförs (se
Andershed & Andershed, 2008b). Bedömningarna av de enskilda faktorerna dokumenteras i ESTER-bedömningsbok. För varje bedömning används en ny bedömningsbok (Andershed & Andershed, 2008b). Kandidatskalan (Andershed & Andershed, 2010) som testades har, liksom originalskalan, fem skalsteg. Det som skiljer skalorna åt är definitionerna på skalstegen (se Figur 3).
Procedur
Två oberoende bedömare, vilka är desamma som föreliggande studies författare, genomförde två oberoende ESTER-bedömningar på de 30 flickornas journalmaterial.
De två bedömarna, vilka studerar psykologi på avancerad nivå, har erhållit ESTER-grundutbildning och ESTER-fortbildning. Grundutbildningen är en endagsutbildning och
Figur 3
kräver inga specifika förkunskaper. Bedömarna erhöll utbildningen tillsammans med praktiker, och har således fått motsvarande grundutbildning som en sedvanlig ESTER-användare. ESTER-fortbildning gavs enskilt till de två bedömarna och innebar repetition av kunskaper förvärvade på grundutbildningen. Båda utbildningstillfällena hölls av en av instrumentets två utvecklare.
I studien inkluderades 22 försökspersoner utifrån att de givit sitt samtycke till den tidigare studien om interbedömarreliabilitet för ESTER-bedömning (Andershed et al., in press). Ytterligare tio personer tillfrågades om medverkan. Dessa försökspersoner kontaktades först telefonledes av personal från SiS-institutionen varefter ett brev skickades för att inhämta ett skriftligt samtycke. När det skriftliga samtycket inkommit skickades flickan två biobiljetter på posten. I de fall flickan var under 18 år inhämtades även skriftligt samtycke från
vårdnadshavarna. Åtta av de tio tillfrågade valde att lämna sitt skriftliga samtycke och delta. De två bedömarna förband sig skriftligen till SiS-institutionens sekretessbestämmelser (Offentlighets- och sekretesslag (2009:400)).
Till skillnad från den tidigare studien, som använde en tidsperiod om fyra månader, användes i föreliggande studie en tidsperiod om sex månader. I de fall det fanns en utredning genomförd av SiS-institutionen sträckte sig tidsperioden tre månader framåt och tre månader bakåt i tiden beräknat från utredningens startdatum. När en sådan utredning saknades
användes istället inskrivningsdatum på SiS-institutionen som utgångspunkt för att beräkna tidsperioden. Varannan gång påbörjades en bedömning med originalskalan och varannan gång med kandidatskalan. De 30 journalerna skilde sig åt gällande vilken slags information de innehöll. I regel bestod en flickas journal av domslut gällande hennes omhändertagande samt sociala-, pedagogiska- och psykologiska utredningar. Exempel på journalens innehåll var utredning enligt Barnens Behov i Centrum (BBIC; Socialstyrelsen, 2006), Wechsler
Intelligence Scale for Children - fourth edition (WISC-IV; Wechsler, 2003, 4th ed.), Wechsler
Adult Intelligence Scale – third edition (WAIS-III; Wechsler, 1999, 3rd ed.) och Adolescent
Drug Abuse Diagnosis (ADAD; Friedman & Utada, 1989) samt intervjuer med flickan och föräldrar, avdelningsobservationer och psykologiska bedömningar. Journalmaterialet kom från flera olika myndigheter så som socialtjänst, rättsväsende, tidigare utredningshem, skola, psykiatri och SiS-institutionen. Informationen i journalerna kunde variera stort avseende mängd, datering (t.ex. icke överrensstämmande dateringar eller avsaknad av datering) och tydlighet gällande vad som var faktiska observationer eller vad som var tolkningar.
För att sträva efter ett oberoende bedömarskap gjordes bedömningarna i separata rum och det fördes ingen kommunikation rörande bedömningarna under bedömningsperioden. Vid frågor användes support, till vilken alla användare har tillgång. ESTER-support innebär möjligheten att via mejl ställa frågor till en ESTER-support som besvarades av instrumentets utvecklare. I regel erhölls skriftligt svar från supporten inom 24 timmar.
Den genomsnittliga tiden för en ESTER-bedömning var cirka 4,6 timmar för bedömare A och cirka 4,4 timmar för bedömare B.
Statistiska analyser
Interbedömarreliabiliteten undersöktes med hjälp av ICC enligt Two-way random effects model och Consistency (LeBreton & Senter, 2008; Shrout & Fleiss, 1979; North Carolina State University, 2010; Hadzi-Pavlovic, 2010). Two-way random effects model valdes utifrån att: a) båda bedömarna har bedömt samtliga försökspersoner b) båda bedömarna antas
motsvara en sedvanlig ESTER-bedömare och c) resultaten önskas generaliseras till alla ESTER-bedömare. Consistency valdes utifrån intresset att undersöka sambandet mellan bedömningarna, även om samstämmigheten inte var exakt (vilket gjordes med hjälp av
procentuell jämförelse). ICC beräknades för varje enskild faktor samt för medelvärdet på alla riskfaktorer respektive skyddsfaktorer, här kallad för ICC total.
Interbedömarreliabiliteten undersöktes även med hjälp av procentuell jämförelse mellan de två bedömarna för de enskilda faktorerna samt sammanlagt för riskfaktorer respektive skyddsfaktorer. Det gjordes beräkningar för exakt samstämmighet (t.ex. att både bedömare A och B bedömt 4), exakt samstämmighet eller skillnad i ett steg (t.ex. om bedömare A bedömt 3 och bedömare B bedömt 2, 3 eller 4) samt total oenighet i bedömningarna (t.ex. att
bedömare A bedömt 0 och bedömare B bedömt 4). Exakt samstämmighet är det mest stringenta testet av interbedömarreliabiliteten. Exakt samstämmighet eller skillnad i ett steg inkluderas eftersom denna typ av skillnad kan antas leda till marginella skillnader i beslut kring insatser i praktiken. Vid den procentuella uträkningen dividerades frekvensen med antalet bedömningar som gjorts på skalan 0-4, således exkluderades de bedömningar där en bedömare bedömt Inte känt (X) på skalan.
Den procentuella jämförelsen utgör ett komplement till ICC, då ICC har vissa
begränsningar. Exempelvis är det inte möjligt att beräkna ICC i de fall då det inte förekommer någon variation alls (t.ex. att en bedömare endast använt ett skalsteg på en faktor i samtliga 30 bedömningar).
Resultat Procentuell jämförelse
Vad gäller procentuell jämförelse är exakt samstämmighet det mest stringenta testet. Som framgår i Tabell 2 varierade exakt samstämmighet på riskfaktorer bedömda med
originalskalan mellan 28,6-80,8% och för kandidatskalan mellan 28,6-80%. Tabell 3 visar att exakt samstämmighet på skyddsfaktorer varierade mellan 24,1 -70,0%.
Det gjordes även en procentuell jämförelse mellan exakt samstämmighet eller skillnad i ett skalsteg. Resultatet för riskfaktorer (se Tabell 2) visar att exakt samstämmighet eller
skillnad i ett skalsteg varierade mellan 72,2-96,2% på originalskalan, och mellan 72,2-100,0% på kandidatskalan. Vad gäller skyddsfaktorerna (se Tabell 3) varierade exakt samstämmighet eller skillnad i ett skalsteg mellan 79,3-96,7%.
Total oenighet var sällsynt och förekom inte alls för skyddsfaktorer (se Tabell 3). Både för originalskalan och kandidatskalan (se Tabell 2), förekom fyra bedömningar med total oenighet på samma två faktorer. Dessa var faktor 3 - Svårigheter med medkänsla, skuld eller ånger och faktor 6 - Nedstämdhet eller självskadande beteende.
Jämförelse mellan kandidatskalan och originalskalan
I den procentuella jämförelsen mellan kandidatskalan och originalskalan (se Tabell 2), visar resultaten på små skillnader. På fem faktorer (faktor 6, 7, 9, 10 och 12) är exakt
samstämmighet lägre med kandidatskalan i jämförelse med originalskalan. På fyra faktorer (faktor 2, 4, 5 och 11) är exakt samstämmighet högre med kandidatskalan i jämförelse med originalskalan. På tre faktorer (faktor 1, 3 och 8) är exakt samstämmighet identisk mellan kandidatskalan och originalskalan.
Tabell 2
Interbedömarreliabilitet, beräknad med procent, frekvens och intraklasskorrelation, ICC för ESTER-bedömnings riskfaktorer, bedömda med originalskala och kandidatskala.
Riskfaktorer i ESTER-bedömning a) Exakt samstämmighet % (frekv.) b) Exakt samstämmighet eller skillnad i ett skalsteg % (frekv.) c) Total oenighet % (frekv.) ICC single measure (95% KI) ORIGINALSKALA
Riskfaktorer för den unge
1. Trotsighet, ilska eller oräddhet 41,4% (12/29) 86,2% (25/29) 0,0% (0/29) ,17 (-,20-,50) 2. Överaktivitet, impulsivitet eller
koncentrationssvårigheter 30,8% (8/26) 88,5% (23/26) 0,0% (0/26) ,83 (,66-,92)*** 3. Svårigheter med medkänsla, skuld eller ånger 38,9% (7/18) 72,2% (13/18) 16,7% (3/18) ,50 (,06-,78)* 4. Bristfälliga språkliga förmågor eller
skolprestationer 33,3% (6/18) 83,3% (15/18) 0,0% (0/18) ,76 (,47-,90)*** 5. Negativa problemlösningar, tolkningar eller
attityder 28,6% (6/21) 90,5% (19/21) 0,0% (0/21) ,69 (,38-,86)*** 6. Nedstämdhet eller självskadande beteende 37,0% (10/27) 88,9% (24/27) 3,7% (1/27) ,58 (,27-,79)** 7. Normbrytande beteende 70,0% (21/30) 93,3% (28/30) 0,0% (0/30) -,10 (-,44-,27) 8. Alkohol- eller droganvändning 80,8% (21/26) 96,2% (25/26) 0,0% (0/26) ,72 (,47-,86)*** 9. Problematiska kamratrelationer 41,7% (10/24) 75,0% (18/24) 0,0% (0/24) I.A.¹
Riskfaktorer i familjen
10. Föräldrarnas egna svårigheter 66,7% (14/21) 95,2% (20/21) 0,0% (0/21) ,91 (,79-,96)*** 11. Svårigheter I föräldra-barnrelationen 29,6% (8/27) 88,9% (24/27) 0,0% (0/27) ,37 (-,00-,66)* 12. Föräldrarnas svårigheter med
uppfostringsstrategier 42,9% (9/21) 85,7% (18/21) 0,0% (0/21) I.A.¹
Totalt 46,0% (132/288) ,38(-,08-,71)*
KANDIDATSKALA
Riskfaktorer för den unge
1. Trotsighet, ilska eller oräddhet 41,4% (12/29) 86,2% (25/29) 0,0% (0/29) ,18 (-,19-,51) 2. Överaktivitet, impulsivitet eller
koncentrationssvårigheter 42,3% (11/26) 96,2% (25/26) 0,0% (0/26) ,85 (,69-,93)*** 3. Svårigheter med medkänsla, skuld eller ånger 38,9% (7/18) 72,2% (13/18) 16,7% (3/18) ,50 (,06-,78)* 4. Bristfälliga språkliga förmågor eller
skolprestationer 44,4% (8/18) 100,0% (18/18) 0,0% (0/18) ,83 (,61-,93)*** 5. Negativa problemlösningar, tolkningar eller
attityder 33,3% (7/21) 90,5% (19/21) 0,0% (0/21) ,69 (,37-,86)*** 6. Nedstämdhet eller självskadande beteende 33,3% (9/27) 93,0% (25/27) 3,7% (1/27) ,58 (,27-,79)** 7. Normbrytande beteende 66,7% (20/30) 96,7% (29/30) 0,0% (0/30) ,09(-,28-,43) 8. Alkohol- eller droganvändning 80,8% (21/26) 100,0% (26/26) 0,0% (0/26) ,84 (,67-,92)*** 9. Problematiska kamratrelationer 33,3% (8/24) 75,0% (18/24) 0,0% (0/24) -,11 (-,49-,30) Riskfaktorer i familjen
10. Föräldrarnas egna svårigheter 57,1% (12/21) 95,2% (20/21) 0,0% (0/21) ,88 (,73-,95)*** 11. Svårigheter i föräldra-barnrelationen 33,3% (9/27) 88,9% (24/27) 0,0% (0/27) ,38 (,00-,66)* 12. Föräldrarnas svårigheter med
uppfostringsstrategier 28,6% (6/21) 85,7% (18/21) 0,0% (0/21) -,16 (-,55-,28)
Totalt 45,1% (130/288) ,53 (,11-,79)**
Not. a) Bedömare A och B har exakt samstämmighet på skalan 0-4 b) Bedömare A och B har exakt samstämmighet eller skillnad i maximalt ett steg på skalan 0-4 c) Bedömare A och B har total oenighet; en bedömare bedömt 0 och den andra 4. *p<,05; **p<,01; ***p<,001.
Tabell 3
Interbedömarreliabilitet, beräknad med procent, frekvens och intraklasskorrelation, ICC för ESTER-bedömnings skyddsfaktorer.
Skyddsfaktorer i ESTER-bedömning a) Exakt samstämmighet % (frekv.) b) Exakt samstämmighet eller skillnad i ett steg % (frekv.) c) Total oenighet
% (frekv.) single measureICC (95% KI) Skyddsfaktorer hos den unge
13. Positiv skolanknytning och prestationer 35,0% (7/20) 85,0% (17/20) 0,0% (0/20) ,42 (-,01-,72)* 14. Positiva förhållningssätt eller
problemlösningar 46,7% (14/30) 96,7% (29/30) 0,0% (0/30) ,61 (,33-,80)*** 15. Positiva umgängen och aktiviteter 29,7% (8/27) 88,9% (24/27) 0,0% (0/27) ,38 (,00-,66)* 16. Den unges medvetenhet och motivation 70,0% (21/30) 93,3% (28/30) 0,0% (0/30) ,47 (,13-,70)** Skyddsfaktorer hos familjen
17. Föräldrarnas ork, engagemang eller stöd 24,1% (7/29) 86,2% (25/29) 0,0% (0/29) ,31 (-,05-,61)* 18. Föräldrarnas positiva attityder och
uppfostringsstrategier 64,3% (9/14) 92,9% (13/14) 0,0% (0/14) ,43 (-,11-,77) 19. Föräldrarnas medvetenhet och motivation 37,9% (11/29) 79,3% (23/29) 0,0% (0/29) ,47 (,13-,71)**
Totalt för samtliga skyddsfaktorer ,37 (,01-,64)*
Not. a) Bedömare A och B har exakt samstämmighet på skalan 0-4 b) Bedömare A och B har exakt samstämmighet eller skillnad i maximalt ett steg på skalan 0-4 c) Bedömare A och B har total oenighet; en bedömare bedömt 0 och den andra 4. *p<,05; **p<,01; ***p<,001.
KI = konfidensintervall.
Intraklasskorrelation, ICC
Tabell 2 och 3 visar intraklasskorrelationer ICC (single measure), med 95% konfidensintervall för ESTER-bedömnings alla enskilda riskfaktorer och alla enskilda skyddsfaktorer samt sammanslaget ICC för riskfaktorer respektive skyddsfaktorer. Endast resultaten för ICC single measure presenteras eftersom det är ett mer stringent test i jämförelse med ICC average measure. Följande kritiska värden för ICC single measure används: bristfällig (poor)= <,40, tillfredsställande (fair)=,40-,59 och bra (good)= ,60-,74 samt mycket bra (excellent)= ,75-1,00 (Cicchetti, 1994).
ICC total ger en sammanfattande bild av interbedömarreliabiliteten. ICC total för riskfaktorer bedömda med originalskalan (se Tabell 2) visar bristfällig samstämmighet (ICC=, 38). ICC total för riskfaktorer bedömda med kandidatskalan (se Tabell 2) visar
tillfredsställande samstämmighet (ICC=,53). För skyddsfaktorer (se Tabell 3) visar ICC total bristfällig samstämmighet (ICC=,37). ICC för de enskilda faktorerna ger en mer detaljerad
bild av samstämmigheten. Ur Tabell 2 framgår att ICC för de enskilda faktorerna bedömda med originalskalan varierar mellan -,10 (faktor 7) till ,91 (faktor 10). ICC var
tillfredsställande till mycket bra på sju av de tolv riskfaktorerna (faktor 2, 3, 4, 5, 6, 8 och 10) bedömda med originalskalan. Tre faktorer (faktor 1, 7 och 11) visar en bristfällig ICC. För dessa faktorer bör den procentuella jämförelsen beaktas. Denna var 41,4% (faktor 1), 70,0% (faktor 7) och 29,6% (faktor 11) för exakt samstämmighet. Två faktorer (faktor 9 och 12) kunde inte beräknas på grund av att det inte förekom någon variation alls på skalan 0-4 hos en bedömare. Även i dessa fall bör de procentuella jämförelserna beaktas, vilken var 41,7% (faktor 9) och 42,9% (faktor 12).
Ur Tabell 2 framgår att ICC för de enskilda riskfaktorerna bedömda med kandidatskalan varierar mellan -,16 (faktor 12) till ,88 (faktor 10). Liksom för originalskalans sju faktorer (faktor 2, 3, 4, 5, 6, 8 och 10) var ICC för riskfaktorer, bedömda med kandidatskalan,
tillfredställande till mycket bra. Fem faktorer (faktor 1, 7, 9, 11 och 12) visar bristfällig ICC. Även här är det viktigt att beakta den procentuella jämförelsen. Exakt samstämmighet var 41,4% (faktor 1), 66,7% (faktor 7), 33,3% (faktor 9), 33,3% (faktor 11) och 28,6% (faktor 12).
Tabell 3 visar att ICC för de enskilda skyddsfaktorerna varierar mellan ,31 (faktor 17) till ,61 (faktor 14). ICC var tillfredsställande till bra på fem av de sju skyddsfaktorerna (faktor 13, 14, 16, 18 och 19). De två faktorer som visar en bristfällig ICC har en exakt
samstämmighet på 29,7% (faktor 15) och 24,1% (faktor 17).
ICC visar på en marginell skillnad mellan kandidatskalan och originalskalan (se Tabell 2). ICC total på kandidatskalan (ICC=,53) är bättre än ICC total på originalskalan (ICC=,38). Vid en jämförelse mellan de enskilda faktorerna tycks det finnas en viss tendens att med kandidatskalan få högre interbedömarreliabilitet. På sex faktorer (faktor 1, 2, 4, 7, 8 och 11) är
samstämmigheten bättre med kandidatskalan i jämförelse med originalskalan. På tre faktorer (faktor 3, 5 och 6) är samstämmigheten identisk mellan kandidatskalan och originalskalan. På en faktor (faktor 10) är samstämmigheten sämre med kandidatskalan i jämförelse med
originalskalan. Två faktorer kan inte jämföras då ICC inte är analyserbart (faktor 9 och 12). Diskussion
För att kunna erbjuda rättssäker och icke godtycklig hjälp till unga med, eller i riskzonen för normbrytande beteende behövs bedömningsinstrument med god samstämmighet mellan olika bedömare.
Det övergripande syftet med föreliggande studie var att undersöka
interbedömarreliabiliteten för ESTER-bedömning. Studiens specifika syften var att undersöka interbedömarreliabiliteten för originalskalans risk- och skyddsfaktorer samt att jämföra interbedömareliabiliteten för kandidatskalan med interbedömarreliabiliteten för
originalskalan.
Resultaten för interbedömarreliabiliteten på originalskalans risk- och skyddsfaktorer visar en stor spridning från faktorer med bristfällig samstämmighet till faktorer med mycket bra samstämmighet. Vid en procentuell jämförelse mellan interbedömarreliabiliteten för kandidatskalan och originalskalan visar resultaten på en minimal skillnad. Det har visat sig att en jämförelse med hjälp av ICC total har varit olämplig då faktorer med bristande varians har gett missvisande värden vid denna analys.
Hur studien bidragit till forskningslitteraturen och klinisk praktik
En måttstock för om interbedömareliabilitet är bra eller dålig är att jämföra med slumpen. Ett instrument som ESTER-bedömning förväntas definitivt ge mer samstämmiga resultat än vad som skulle erhållas om bedömningarna var slumpmässiga. Om båda bedömningarna var slumpmässiga, skulle sannolikheten för att två bedömningar är exakt samstämmiga på den
femgradiga skalan vara 4% (baserat på formeln 1/5 x 1/5=0,04, Ribe, 1998). Denna jämförelse visar tydligt att samstämmigheten mellan bedömarna på de 19 faktorerna i ESTER-bedömning är mycket bättre än vad som hade åstadkommits enbart med slumpen då exakt samstämmighet varierade mellan 24,1-80,8% på de19 faktorerna.
Att bedömningarna visade relativt hög samstämmighet på exakt samstämmighet eller skillnad i ett steg (72,2-100,0% på de 19 faktorerna) kan ses som goda resultat utifrån ett kliniskt perspektiv. Detta då det antas att denna skillnad inte är avgörande i beslut gällande kliniska insatser.
Total oenighet i bedömningar av tvångsomhändertagande är något som en vinjettstudie påvisat hos socialarbetare. Detta kan leda till att om ett barn blir omhändertaget eller inte är beroende av vilken professionell de möter (Östberg et al., 2000). Därmed borde det även vara av kliniskt intresse att resultaten i föreliggande studie visade ytterst få fall av total oenighet mellan bedömarna, vilket tyder på att användandet av ESTER-bedömning skulle kunna bidra till större rättssäkerhet för barn och unga med eller i riskzonen för normbrytande beteende.
Flera av de tidigare studierna av interbedömarereliabilitet för bedömningsinstrument för normbrytande beteende rapporterar ofta endast ICC total och utan att rapportera ICC för de enskilda faktorerena (se t.ex. Enebrink et al., 2006; Catchpole, & Gretton, 2003; Dolan & Rennie, 2008; Meyers & Schmidt, 2008). Då ICC total baseras på medelvärden tenderar dessa resultat att bli högre i jämförelse med ICC för de enskilda faktorerna, vilket medför en risk att interbedömarreliabiliteten överskattas. För att få en uppfattning om bedömningsinstruments tillförlitlighet och möjligheten att bättre jämföra instrument med varandra efterfrågas därmed studier som även rapporterar ICC för enskilda faktorer. Föreliggande studie kan vara ett led i denna efterfrågan.
En viktig aspekt som kan ha inverkat på resultaten är att bedömarna tolkat skalans definitioner på olika sätt. Bland annat skall bedömarna ta ställning till hur utpräglat ett beteende är genom att bedöma hur ofta det förekommer. I manualen saknas en definition av vad ordet ofta kan betyda, varför begreppet är något godtyckligt och olika bedömare kan ha skilda uppfattningar av dess innebörd. Exempelvis kan bedömarna skilja sig i om de betraktar alkoholanvändande en gång i veckan som ofta eller mycket ofta.
En frågeställning som är av intresse är hur förutsättningarna för samstämmighet varit hade varit ombedömningarna varit ostrukturerade och därigenom saknat riktlinjer för hur bedömningen skall utföras och dokumenteras. En hypotes är att det med ostrukturerade bedömningar är svårare att erhålla en så hög samstämmighet som föreliggande studie, med strukturerade bedömningar, visar på flera faktorer. Detta är något som är intressant för vidare forskning.
Resultaten visar inte på någon större skillnad mellan samstämmigheten på
originalskalan och kandidatskalan. En förklaring skulle kunna vara att skalstegens definitioner på de olika skalorna till stor del liknade varandra och ofta blev likvärdiga. Detta är något som därmed kan tänkas bidragit till att bedömningarna på de olika skalorna blev så lika.
Studiens koppling till annan forskning
Resultaten för originalskalan i föreliggande studie kan jämföras med resultat från den tidigare studien av interbedömarreliabilteten för ESTER-bedömning (Andershed et al., in press). Resultaten i den aktuella studien skiljer sig från den tidigare studien på så vis att
interbedömmarreliabiliteten angående några faktorer var lägre i föreliggande studie. Fyra av tolv riskfaktorer (faktor 2, 4, 10, 11) har dock högre ICC-värden i föreliggande studie. En jämförelse av de enskilda skyddsfaktorerna visar att två av de sju skyddsfaktorerna (faktor 13 och 14) är högre i den aktuella studien. I föreliggande studie var ICC total (single measure)
för riskfaktorer ,38 och ICC total (single measure) för skyddsfaktorer var , 37. I den tidigare studien var detsamma ,67 respektive ,58. Denna jämförelse blir dock något missvisande eftersom föreliggande studie inte har ICC-värden på varje enskild faktor, vilket får en negativ effekt på ICC total.
Vid en procentuell jämförelse av resultaten mellan studierna spelar det roll hur många bedömningar man dividerar med. Efter att detta tagits i beaktande visar resultaten att en riskfaktor (faktor 7- Normbrytande beteende) två skyddsfaktorer i föreliggande studie hade högre procentuella värden (faktor 14 - Positiva förhållningssätt eller problemlösning och 16 - Den unges medvetenhet och motivation) jämfört med den tidigare studien. Beroende på om en jämförelse mellan studierna görs utifrån ICC eller procent visar resultaten olika antal faktorer som varit bättre i föreliggande studie. För att få den mest heltäckande bilden av
interbedömarreliabiliteten vid en jämförelse mellan studierna krävs att båda analyserna beaktas.
Sammanfattningsvis tycks inte alla resultat från den tidigare studien kunna generaliseras till föreliggande studies bedömare, dock var resultaten på vissa faktorer högre.
Vid en jämförelse mellan studierna finns en viktig skillnad som ligger i att den
föreliggande studien har fler fall av exkluderade bedömningar på de enskilda faktorerna (dvs. att en bedömare bedömt inte känt (X) för att information varit otillräcklig). Denna skillnad är av vikt då antalet inkluderande bedömningar har en stor effekt på resultaten för ICC, på så vis att resultaten blir högre, ju fler bedömningar man har.
Det bör även nämnas att studierna skiljer sig åt gällande metod. Den aktuella studiens tidsperiod för ESTER-bedömningarna var två månader längre än tidsperioden i den tidigare studien. Detta innebär att ESTER-bedömningarna i föreliggande studie genomfördes på en större mängd material, något som innebär mer information att ta ställning till. Andra
skillnader är att föreliggande studie undersökte två skalor, originalskalan och kandidatskalan, medan den tidigare studien endast undersökte interbedömarreliabiliteten för originalskalan.
Studiens resultat för riskfaktorer på originalskalan kan även jämföras med interbedömarreliabiliteten för EARL-20B och SAVRY. Vid en sådan jämförelse tycks resultatet i föreliggande studie (ICC total för riskfaktorer = ,38) vara lägre än resultaten för EARL-20B (ICC total mellan ,82-,92) och för SAVRY (ICC total mellan ,74-,97) (Augimeri et al., 2010; Augimeri et al., under review; Enebrink et al., 2006). Denna tolkning bör göras med försiktighet utifrån att ICC total underskattas i denna studie samt att det i vissa studier av EARL-20B och SAVRY är oklart om resultaten är baserade på single measure eller average measure, där den senare varianten av ICC ger ett högre värde. Vidare bör även beaktas att både EARL-20B och SAVRY har färre skalsteg (3) än ESTER-bedömning (5), vilket statistiskt sett ökar chansen för EARL och SAVRY att få betydligt högre samstämmighet. Flera av studierna på EARL och SAVRY har använt sig både av journalmaterial och
intervjuer, vilket skulle kunna tyda på att flertalet källor (däribland intervjuer) ger en högre interbedömarreliabilitetet. En studie (Augimeri, et al., under review) som undersökt enskilda faktorer hos EARL-20B redovisar en spridning som sträcker sig mellan ICC ,17- ,71. Denna studies högsta värde för ICC (,71) är lägre än fyra ICC-värden i föreliggande studie, där det högsta värden är ICC ,91.
Studiens svagheter
Av praktiska skäl baseras ESTER-bedömningarna i föreliggande studie på information från endast en källa (journalmaterial), vilket inte är standard för hur en ESTER-bedömning bör genomföras. I ESTER-manualen påtalas vikten av att bedömningar baseras på flertalet källor (t.ex. journalmaterial, intervjuer etc.) (Andershed & Andershed, 2008b). En nackdel med att uteslutande använda journalmaterial är att bedömningssituationen försvåras avsevärt av att
det, som vid en intervju, inte finns möjlighet att reda ut oklarheter (t.ex tidpunkt för specifika händelser och vilka av dessa som var verkliga händelser eller tolkningar av beteenden). Detta skulle kunna ha till följd att studiens interbedömarreliabilitet underskattas. Därmed bör vidare forskning kring interbedömarreliabiliteten genomföras av ESTER-bedömningar baserade på flertalet källor, däribland intervjuer. Sådan forskning skulle även kunna öka resultatens generaliserbarhet till ESTER-bedömning där intervjuer utgör en stor del av
informationskällorna.
Originalskalan och kandidatskalan användes parallellt vid varje ESTER-bedömning, vilket medförde att bedömningarna på dessa skalor inte var oberoende. Detta kan ha orsakat den marginella skillnaden mellan de enskilda riskfaktorerna. För att i vidare forskning kunna dra mer säkra slutsatser vid en jämförelse av två skalors interbedömarreliabilitet, borde det därför vara av vikt att dessa testas var för sig.
Som väntat för en grupp flickor som är tvångsomhändertagna på eget riskfyllt beteende, visade föreliggande studie att bedömningarna som gjorts på faktor 7 - Normbrytande beteende och faktor 8 - Alkohol- eller droganvändning var mycket utpräglade. Detta kan förklara de höga resultaten för exakt samstämmighet på dessa faktorer (originalskala: 70,0% respektive 80,8%, kandidatskala: 66,7% respektive 80,8%). Ytterligare en aspekt av urvalet som kan förklara den höga samstämmigheten på just dessa faktorer är att dessa områden var väldokumenterade och på så vis skapade goda förutsättningar för att göra en bedömning.
Studiens begränsade urval (endast 30 flickor) har haft en negativ effekt på resultaten på så vis att några få bedömningar haft en stark påverkan på ICC.
Studiens styrkor
En styrka med föreliggande studie är att den redogör för de åtgärder som vidtagits i strävan efter ett oberoende bedömarskap, något som är centralt för att kunna dra slutsatser kring
interbedömarreliabilitet. Genom dessa åtgärder tycks föreliggande studie ha uppnått en högre grad av oberoendeskap än tidigare studier av interbedömarreliabiliteten för liknande
bedömningsinstrument (se t.ex. Dolan, & Rennie, 2008; Enebrink et al., 2006). Vidare bör urvalet av bedömare ses som en styrka då det har förekommit att
bedömninsinstrumentets utvecklare själva testat interbedömarreliabiliteten (se t.ex. Augimeri et al., under review). Detta kan tänkas leda till högre grad av samstämmighet då utvecklarna känner till sitt instrument väl och inte kan betraktas som sedvanliga användare.
Det bör även ses som en styrka att interbedömarreliabiliteten redovisas med hjälp av så väl ICC som procentuell jämförelse eftersom endast en ICC inte kunnat ge en rättvis bild av resultaten i föreliggande studie.
Att resultaten för samtliga enskilda faktorer redovisas är något som också bör ses som en styrka eftersom resultat endast baserade på medelvärden medför en risk att
interbedömarreliabiliteten överskattas.
Ytterligare en styrka med föreliggande studie är att den redogör för vilken variant av ICC som användes i analysen, något som är oklart i flera studier (se t.ex. Augimeri et al., under review; Catchpole, & Gretton, 2003; Dolan & Rennie, 2008; Meyers & Schmidt, 2008). Vidare forskning
Då ESTER-bedömning syftar till att kunna användas av flertalet professioner är det viktigt att vidare forskning av dess interbedömarreliabiliteten genomförs av olika professioner (t.ex. socionomer, lärare, poliser etc.). Att göra bedömningarna på ett annat urval så som på pojkar eller yngre flickor borde också vara av framtida intresse. Framtida forskning bör även undersöka om det nås en högre samstämmighet med ESTER-bedömning i jämförelse med ostrukturerade bedömningar utan ett bedömningsinstrument. Det är även av intresse att
undersöka om ett inkluderande av intervjuer som informationskälla har en positiv inverkan på graden av samstämmighet.
För att kunna genomföra en bra bedömning och erbjuda preventiva insatser till unga med eller riskzonen för normbrytande beteende krävs tillgång till tillförlitliga och
forskningsbaserade bedömningsinstrument. För att kunna betrakta ett bedömningsinstrument som pålitligt, och därigenom öka individers rättssäkerhet, krävs bland annat upprepade studier som visar att olika bedömare gör samstämmiga bedömningar när de använder
bedömningsinstrumentet. Föreliggande studie har varit ett led i att ge sådan kunskap om ESTER-bedömning.
Referenser
Achenbach, T. M. (2005). Advancing Assessment of Children and Adolescents:
Commentary on Evidence- Based Assessment of Child and Adolescent Disorders. Journal of Clinical Child and Adolescent Psychology, 34, 341-547.
American Psyciatric Association. (2000). Diagnostic and statistical manual of mental disorders (Fourth Edition, Text Revision). Washington, DC: American Psyciatric Association.
Andershed, H., & Andershed, A-K. (2010). ESTER-bedömningsbok: Strukturerad bedömning och uppföljning av forskningsbaserade risk- och skyddsfaktorer för unga med eller i riskzonen för normbrytande beteende. Version ”kandidat 3”. Örebro, Sverige: Centrum för kriminalpsykologisk forskning.
Andershed, H., & Andershed, A-K. (2008a). ESTER-bedömningsbok: Strukturerad bedömning och uppföljning av forskningsbaserade risk- och skyddsfaktorer för unga med eller i riskzonen för normbrytande beteende. Version 2. Örebro, Sverige: Centrum för kriminalpsykologisk forskning.
Andershed, H., & Andershed, A-K. (2008b). ESTER-manual: Strukturerad bedömning och uppföljning av forskningsbaserade risk- och skyddsfaktorer för unga med eller i riskzonen för normbrytande beteende. Version 2. Örebro, Sverige: Centrum för kriminalpsykologisk forskning.
Andershed, H., & Andershed, A-K. (2005). Normbrytande beteende i barndomen- Vad säger forskningen?. Stockholm: Gothia förlag.
Andershed, H., & Andershed, A-K. (2010). Risk-need assessment for youth with or at risk for conduct problems: Introducting the assessment system ESTER. Procedia Social and Behavioral Sciences. In press.
Andershed, H., Andershed, A-K., & Söderholm-Carpelan, K. (2010). Ungdomar som begår brott- Vilka insatser fungerar? Stockholm: Gothia förlag.
Andershed, H., Fredriksson, J., Engelholm, K., Ahlberg, R., Berggren, S., & Andershed, A-K. (2010). Initial rest of the new risk- need assessment instrument for youths with or at risk for conduct problems: ESTER-Assessment. Procedia Social and Behavioral Sciences. In press.
Andrews, D. A., & Bonta, J. (2010). Rehabilitating Criminal Justice Policy and Practice. Psychology, Public Policy, and Law, 16, 39-55.
Andrews, D. A., Bonta, J., & Hoge, R. D. (1990). Classification for effective
rehabilitation- Rediscovering Psychology. Criminal Justice and Behaviour, 17, 19-52.
Andrews, D.A, Bonta, J., & Wormith J. S. (2006). The Recent Past and Near Future of Risk and/or Need Assessment. Crime & Delinquency, 52, 7-27
Augimeri, L. K., Desmariais, S.L., Koegl, C.J., Jiang, D. & Webster, C.D. (2008). Assessing Risk for Antisocial Conduct among Young Children: Psychometric Properties of the Early Assessment Risk List for Boys (EARL-20B). Under review. Augimeri, L., Enebrink, P., Walsh, M., & Jiang, D. (2010). Gender-specific childhood
risk assessment tools: Early Assessment Risk List for Boys (EARL 20B) and girls (21B). I R. K. Otto & K. S. Douglas (Red.), Handbook of Violence Risk
Assessment (s. 43-62). New York: Routledge.
Augimeri, L., Koegl, C. J., Levene, K. S., & Webster, C. D. (2005). Early Assessment Risk Lists for Boys and Girls. I T. Grisso, G. Vincent, & D. Seagrave (Red.), Mental Health Screening and Assessment in Juvenile Justice (s.295-310). New York: The Guilford Press.
Augimeri, L. K., Webster, C. D, Koegl, C. J., & Levene, K. S. (1998). Early Assessment Risk List for Boys: EARL-20B. Version 1: Consultation edition. Toronto, Canada: Earlscourt Child and Family Centre.
Baglivio, M. T. (2009). The assessment of risk to recidivate among a juvenile offending population. Journal of Criminal Justice, 37, 596-607.
Barker, C., Pistrang, N., & Elliott, R. (2002). Research Methods in Clinical Psychology. Second edition. Chichester: John Wiley and Sons.
Barlow, H. D. (2005) What´s New About Evidence-Based Assessment?. Psychological Assessment, 17, 308-311.
Bonta, J., & Andrews, D. A. (2007). Risk-Need-Responsivity Model for Offender Assessment and Rehabilitation. Her Majesty the Queen in Right of Canada. Borum, R. (2000). Assessing Violence Risk among Youth. Journal of Clinical
Psychology. 56, 1263-1288. Borum, R. (1996). Improvning the Clinical Practice of Violence Risk Assessment. Technology, Guidlines, and Training. American
Psychologist 51, 945-956.
Borum, R., Bartel, P., & Forth, A. (2002). Manual for the Structured Assessment for Violence Risk in Youth (SAVRY), Consultation edition, Version 1. Tampa: University of South Florida.
Broberg, A., Almqvist, K., & Tjus, T. (2003). Klinisk barnpsykologi. Utveckling på avvägar. Falköping: Bokförlaget Natur och Kultur.
Catchpole, R. E. H., & Gretton, H. M. (2003). The Predictive Validity of Risk Assessment with Violent Young Offenders: A 1-Year Examination of Criminal Outcome. Criminal Justice & Behavior, 30, 688-708.
Cicchetti, D. V. (1994). Guidelines, Criteria, and Rules of Thumb for Evaluating Normed and Standardized Assessment instruments in Psychology. Psychological
Assessment, 6, 284-290.
Dolan, M. C., & Rennie, C. E. (2008). The Structured Assessment of Violence Risk in Youth as a Predictor of Recidivism in a United Kingdom Cohort of Adolescent Offenders With Conduct Disorder. Psychological Assessment, 20, 35-46.
Enebrink, P., Långström, N., Hultén A., & Gumpert, C. H. (2006). Swedish validation of the Early Assessment Risk List for Boys (EARL 20B), a decision aid for use with children presenting with conduct-disrorderd behaviour. Nord J Psychiatry, 60, 438-446.
Fontanie, N., Carbonneau, R., Edward, D. B., Vitaro, F., Hérbert, M., & Côte, M. (2008). Girls’ Hyperactivity and Physical Aggression During Childhood and Adjustment Problems in Early Adulthood. A 15-Year Longitudinal Study. Arch Gen Psychiatry, 3, 320-328.
Friedman, A.S., & Utada, A. (1989). A method for diagnosing and planning the treatment of adolescent drug abusers: The Adolescent Drug Abuse Diagnosis (ADAD)
instrument. Journal of Drug Education, 19, 285-312.
Hadzi-Pavlovic, D. (2010). Agreement: I. continuous measures. Acta Neuropsychiatrica, 22, 93–94.
Hoge, R. D. (2002). Standardized Instruments for Assessing Risk and Need in Youthful Offenders. Criminal Justice and Behaviour, 29, 380.
Hunsley, J., & Mash, E. J. (2005). Introduction to the Special Section on Developing Guidelines for the Evidence-Based Assessment (EBA) of Adult Disorders. Kazdin, A. E. (1993). Adolescent Mental Health- Prevention and Treatment Programs.
American Psychologist, 48, 127-141.
Kazdin, A. E. (2005). Evidence-Based Assessment for Children and Adolescents: Issues in Measurement Development and Clinical Application. Journal of Clinical Child and Adolescent Psychology, 34, 548-558.
Kazdin, A. E., (2009). Systematic Evaluation to Improve the Quality of Patient Care: From Hope to Hopeful. Pragmatic Case Studies in Psychotherapy, 3, 37-49. Krohn, M. D., Thornberry, T. P., Rivera, C., & Le Blanc, M. (2001). Later delinquency
careers. I R. Loeber & D. P. Farrington (Red.), Child delinquents (s. 67-94). Thousand Oaks, CA: Sage.
LeBreton, J. M., & Senter, J. L. (2008). Answers to 20 Questions About Interrater Reliability and Interrater Agreement. Organizational Research Methods, 11, 815-852.
