Ratingen relativt robust för längre uppföljningshorisont och andra utfallsmått

Vi har även granskat tillförlitligheten i ratingen på två olika sätt. Det så kallade R2-värdet är det mått som Arbetsförmedlingen använder för att mäta ett lyckat utfall för en deltagare i STOM. R2 kan sägas vara en anmälan från en leverantör till Arbetsförmedlingen om att en deltagare arbetat eller studerat i tillräcklig omfattning för att leverantören ska få resultatersättning (fyra månader för arbete respektive en termins heltidsstudier vid gymnasial utbildning eller tjugo veckors heltidsstudier vid eftergymnasial utbildning). Ett godkänt R2 är avgörande både för att leverantören ska få resultatersättning och för leverantörernas rating. Arbetsförmedlingen ska verifiera resultatersättning vid arbete genom att kontrollera att deltagaren inte längre är inskriven vid myndigheten som arbetssökande, eller är inskriven i en sökandekategori som innebär att hen har fått arbete i önskad omfattning. Om den arbetssökande påbörjat en anställning som inte motsvarar önskat arbetsutbud ska dock leverantören komplettera sin begäran

79 _{Arbetsförmedlingen, ”Sök leverantör inom Stöd och matchning”, hämtad 2020-01-02.} 80 _{Arbetsförmedlingen, Växthus – Externa tjänster, arbetssökande, 2018.}

om resultatersättning med skriftliga intyg från arbetsgivaren.81 _{En deltagare skulle}

dock kunna avsluta sin inskrivning vid Arbetsförmedlingen utan att ha fått ett arbete eller påbörjat studier. Därmed skulle en leverantör kunna få ett godkänt R2 utan att ha nått målet med STOM.

Riksrevisionen har analyserat den problematiken. Sedan 2019 ska alla arbetsgivare rapportera in anställda till Skatteverket varje månad. Därför kan Riksrevisionen undersöka hur många av de STOM-deltagare som påbörjade en anställning under 2019 som ledde till ett godkänt R2, som faktiskt återfinns i Skatteverkets månadsregister.

Analysen visar att 96 procent av dessa deltagare hade minst fyra månader med en positiv inkomst under resultatperioden, eller omvänt att fyra procent som mest hade tre månader med inkomst under resultatperioden (se bilaga 5,

avsnitt 5.4.1).82 _{Eventuella periodiseringar av löneutbetalningar och andra}

bokföringsmässiga teknikaliteter samt kvaliteten på Skatteverkets data gör dock att vi inte kan uttala oss om huruvida resultatersättning därmed har betalats ut på felaktiga grunder för dem som inte hade minst fyra månader med mer än noll kronor i inkomst. Om vi istället undersöker andelen som haft minst 10 000 kronor i genomsnittsinkomst i fyra månader under resultatperioden blir andelen cirka 95 procent. Om vi höjer gränsen till 16 000 kronor, sjunker andelen som klarar gränsen till 82 procent. Det kan finnas flera orsaker till det. En är att det inte krävs att deltagarnas anställning är på heltid för att R2 ska godkännas. Hel

resultatersättning betalas ut om deltagaren har fått ett arbete som motsvarar hens arbetsutbud. Halv resultatersättning betalas ut om arbetet motsvarar minst 50 procent av deltagarens önskade arbetsutbud.83 _{Vi har vare sig uppgifter om}

individernas arbetsutbud eller om de fått hel eller halv resultatersättning, vilket gör att vi inte kan undersöka detta närmare.

Sammanfattningsvis verkar Arbetsförmedlingens mått R2 korrespondera relativt väl med Skatteverkets månadsuppgifter. Men att cirka 5 procent av deltagarna med ett godkänt R2-värde inte hade mer än 10 000 kronor i genomsnittslön under resultatperioden eller att knappt 20 procent når upp till en inkomst på en lön motsvarande 16 000 kronor i månaden skulle behöva utredas ytterligare. Om Arbetsförmedlingen hade möjlighet att använda uppgifter från Skatteverkets månadsvisa inkomstuppgifter på individnivå vid beräkningen av ratingen och vid utbetalning av resultatersättning till leverantörerna skulle detta både kunna öka ratingens tillförlitlighet och minska risken för felaktiga utbetalningar. Arbetsförmedlingen har själva påtalat detta behov till regeringen.84

81 _{Arbetsförmedlingen, Kundval – Stöd och matchning, 2018. Om vare sig ändring av sökandekategori}

eller avaktualisering skett i Arbetsförmedlingens register ska Arbetsförmedlingen ta kontakt med deltagaren för att kontrollera om arbetet har varat tillräckligt länge.

82 _{Månaderna mellan R1 och R2 plus 1 månad för att hantera att löner ofta betalas ut i efterskott.} 83 _{Arbetsförmedlingen, Kundval – Stöd och matchning, 2018.}

84 Arbetsförmedlingen, Vissa förutsättningar inför reformeringen av Arbetsförmedlingen – Rapportering

Ett annat potentiellt problem är att i ratingsystemet belönas arbeten som varar minst fyra månader, men längre arbeten belönas inte ytterligare. Det skulle därför kunna vara så att leverantörer med högre rating uppnår denna genom att i högre grad matcha deltagare mot mer kortvariga arbeten. Om kravet på varaktighet i arbete (och utbildning) skulle förlängas är det alltså möjligt att leverantörernas rating skulle se annorlunda ut. Vi har därför undersökt hur stor andel av deltagare med godkänt R2-värde hos leverantörer med olika rating som är i arbete även med en längre uppföljningshorisont (cirka ett år).85

Analysen visar inga statistiskt säkerställda skillnader mellan deltagare som under perioden juni 2016 till januari 2017 fick godkänt R2 genom en leverantör med en stjärna och deltagare som fick godkänt R2 från leverantörer med högre rating (bilaga 5, avsnitt 5.4.2). De hade alla cirka 73 procents sannolikhet att vara registrerade som förvärvsarbetande i november 2017.86 _{I denna aspekt kan därmed}

kvaliteten i matchningen betraktas som likvärdig mellan leverantörer med olika rating. Det tyder på att leverantörer med en högre rating inte uppnår denna genom att matcha deltagare mot mer kortvariga arbeten, åtminstone inte med ett års uppföljningshorisont. Huruvida 73 procents förvärvsintensitet i gruppen är att betrakta som tillräckligt bra ligger dock utanför syftet med den här granskningen. I vår utvärdering av ratingsystemet har vi däremot inte granskat den statistiska modell som korrigerar olikheter i förutsättningarna för olika leverantörer i ratingmodellen, den så kallade profileringsmodellen. Det är säkert möjligt att i vissa avseenden förbättra modellen och därmed precisionen i prediktionerna, men att det i sin tur skulle kasta om ordningen på leverantörerna på något avgörande sätt bedömer Riksrevisionen inte som troligt.