Hur väl olika urvalsmetoder kan predicera arbetsprestation har undersökts i ett stort antal så kallade valideringsstudier (t.ex. Schmidt & Hunter, 1998). Resultaten från enskilda studier har ofta varit osäkra vilket bland annat hänger samman med att undersökningsgrupperna varit små, ofta under hundra personer. Så kallade metaanalyser, där resultat från flera enskilda studier vägs samman, har dock bidragit till säkrare resultat avseende den generella prediktionsförmågan hos olika urvalsmetoder (Ones, Dilchert, Viswesvaran & Salgado, 2010; Schmidt & Hunter, 2004).
Schmidt och Hunter (1998) sammanställde resultatet från ett antal metaanalyser som visar generella samband mellan ett antal vanliga urvals- metoder och arbetsprestation, det vill säga metodernas prediktiva validitet. I likhet med de allra flesta studier som berör urval anger de den prediktiva validiteten med korrelationskoefficienter (r) mellan -1 och + 1. Kortfattat visar studien att arbetsprov (r = 0,54), generella begåvningstest (r = 0,51), och strukturerade intervjuer (r = 0,51), allmänt sett tillhör de urvalsmetoder som bäst predicerar arbetsprestation. Arbetsprov förutsätter dock tidigare
erfarenhet inom arbetet och fungerar därför sämre när den arbetssökande saknar sådan specifik erfarenhet (t.ex. vid rekrytering av nya poliser). Enligt studien har även provanställning förhållandevis hög prediktiv validitet (r = 0,44), men det är en kostsam och ofta praktiskt ogenomförbar metod för urval med många sökande. Däremot kan provanställning vara användbart vid rekrytering för att kunna häva en anställning efter att någon anställts. Vidare visar Schmidt och Hunters (1998) studie att bland annat integritetstest (r = 0,41) ostrukturerade intervjuer (r = 0,38), biografisk information (r = 0,35), målmedvetenhet (r = 0,31), och referenser från tidigare arbetsgivare och liknande (r = 0,26) har något lägre prediktiv validitet än de tidigare angivna metoderna.
I studien argumenterar Schmidt och Hunter (1998) för att begåvningstest bör användas som en primär urvalsmetod, då de utöver hög prognosförmåga har flera andra egenskaper som är önskvärda vid urval, bland annat god reliabilitet och att de är möjliga att använda till en låg kostnad. I sin studie redovisar de också den prediktiva validiteten då andra urvalsmetoder kombineras med generella begåvningstest. Här anges resultaten som multipla korrelationer (R). Denna analys visar att av de jämförda metod- kombinationerna gav generell begåvning och integritetstest den högsta prediktiva validiteten (R = 0,65), följt av begåvning i kombination med strukturerade intervjuer respektive arbetsprov (R = 0,63 i båda fallen) och målmedvetenhet (R = 0,60). Ökningen i prognosförmåga (s.k. inkrementell validitet), jämfört med då enbart begåvningstest används, visar på värdet av att kombinera flera urvalsmetoder jämfört med då enbart en urvalsmetod används. Vidare visar resultaten att även om personlighetstest som enskild metod har förhållandevis låg prognosförmåga, kan de vara användbara i kombination med begåvningstest. Skälet till detta är att personlighetstest, jämfört med exempelvis intervjuer, har lägre samband med begåvning. Det innebär alltså att personlighetstest tillför mer unik och samtidigt valid information.
De samband som Schmidt och Hunter (1998) rapporterar är operationella (eng. operational validity), vilket betyder att de har korrigerats statistiskt för bristande reliabilitet i kriteriet (t.ex. interbedömarreliabilitet) och för beskuren spridning (dvs. den effekt som uppstår när kriteriedata inte finns tillgängliga för alla de urspungliga kandidaterna). Sådana korrigeringar används för att undvika att de verkliga sambanden underskattas, och därmed också den nytta som organisationen har av att använda olika urvalmetoder. För korrigering av bristande reliabilitet i kriteriet krävs tillgång till uppgifter om kriteriets reliabilitet. När observerade samband korrigeras statistiskt för bristande reliabilitet i kriteriet så stiger sambanden väsentligt7. Med
7
För att korrigera samband för reliabilitets brister i kriteriet divideras det observerade sambandet med kvadratroten ur reliabilitetsestimatet för kriteriet, vilket exempelvis innebär att när ett observerat samband korrigeras för en bristande interbedömarreliabilitet på 0,52 så stiger sambandet med 39 % (Murphy & De Shon 2000).
korrigering för beskuren spridning ökar sambanden ytterligare, men för det krävs tillgång till uppgifter om den ursprungliga gruppen av sökande (Hunter & Schmidt, 2004). När uppgifter om kriteriets reliabilitet och den ursprung- liga gruppen saknas går det inte göra korrekta korrigeringar. En tumregel som dock kan användas för att bedöma styrkan av observerade samband i urvalsammanhang är att samband på 0,10 kan betraktas som låga, 0,20 som måttliga och 0,30 som höga (Ployhart et al., 2006). Ibland förkommer det också att samband korrigeras för bristande reliabilitet i prediktorer (t.ex. Gonzales-Mulé et al., 2014), vilket ger teoretiska samband (eng. construct level correlations, construct validity eller true score correlations; Hunter & Schmidt, 2004). Sådana samband överskattar dock sambanden utifrån ett operationellt perspektiv, det vill säga sambandet blir högre än det skulle vara i verklig urvalssituation där det inte är möjligt att korrigera för mätfel i prediktorer.
Aamodt (2004) har i en metananalys baserad på resultat från 339 studier belyst den prediktiva validiten för enskilda urvalsmetoder som används vid urval av poliser. Till skillnad från Schmidt och Hunter (1998) rapporterar dock Aamodt (2004) observerade (r) och teoretiska (ρ) samband, vilket måste beaktas vid jämförelser. Jämfört med Schmidt och Hunters (1998) metaanalys är det två resultat som särskilt sticker ut i Aamodts (2004) metaanalys: de förhållandevis låga sambanden mellan urvalsmetoderna begåvningstest och intervjuer och kriteriet arbetsprestation. Det låga sambandet mellan begåvning (r = 0,16; ρ = 0,27) och arbetsprestation för poliser stämmer dock överens med tidigare nordamerikansk (Hirsh et al., 1986) och europisk forskning (Salgado, Anderson, Moscoso, Bertua, De Fruyt & Rolland, 2003). Trots det förhållandevis låga sambandet visar Aamodts (2004) studie samtidigt att kognitiv förmåga är den enskilt bästa prediktorn av arbetsprestation bland poliser. Vad gäller intervjuer visar Aamodts (2004) studie att panelintervjuer kan predicera arbetsprestation (r = 0,09; ρ = 0,19), även om sambanden med arbetsprestation är klart lägre än för både strukturerade och ostrukturerade intervjuer i Schmidt och Hunters (1998) metaanalys. Det kan även noteras att kliniska intervjuer, som fokuserar på att sålla bort, i Aamodts (2004) analys har sämre prognos- förmåga än panelintervjuer (r = 0,05; ρ = 0,10).
Utifrån de låga sambanden med begåvning och arbetsprestation har det föreslagits att andra icke-kognitiva förmågor (t.ex. personlighet) relativt sett skulle kunna vara viktigare för polisers arbetsprestationer (Hirsh et al., 1986). Aamodts (2004) resultat visar dock på ett relativt blygsamt bidrag av personlighet, där i första hand personlighetsdimensionerna målmedvetenhet (r = 0,12; ρ = 0,22), och emotionell stabilitet (r = 0,09; ρ = 0,17), har viss betydelse för polisers arbetsprestation. Resultaten överensstämmer också väl med flera andra metaanalyser som berört både poliser och andra yrkes- grupper (Barrick et al., 2001; Hurtz & Dovovan, 2000; Salgado, 1998) även om resultaten är lägre än för målmedvetenhet i Schmidt och Hunters studie (1998). Aamodts (2004) metaanalys belyser även värdet av fysiska test.
Resultaten visar att det i första hand är löpning (r = 0,16; ρ = 0,26), och simuleringsövningar (där flera fysiska moment i polisarbete simuleras; r = 0,12; ρ = 0,20) som kan predicera poliser arbetsprestationer. Sammanfattningsvis visar Aamodts (2004) studie på låga samband mellan enskilda urvalsmetoder och polisers arbetsprestationer. Det är dock oklart varför i synnerhet kognitiva test och intervjuer har klart lägre samband med arbetsprestation bland poliser, jämfört med många andra yrken.
Även om arbetsprestation är ett både viktigt och vanligt kriterium på framgångsrik rekrytering, så kan också andra kriterier vara relevanta, både generellt och vid urval av poliser. Frågan om vilka kriterier som bör användas, liksom andra faktorer av betydelse för utfallet vid rekrytering, kommer att belysas härnäst.