De i överenskommelsen uppsatta effektmålen är oftast inte oproblematiska. Vissa effektmål som till exempel målen om forskning eller öppen redovisning kan vara relativt enkla att följa upp. Det gäller exempelvis om antalet forskningsprojekt respektive öppna redovisningar har ökat i avsedd takt. Enklaste sättet att utvärdera dessa mått är att enbart räkna antalet forskningsprojekt och hur många kvalitetsregister som lägger ut sina årsrapporter på Internet.
I denna utvärderingsplan utvecklar vi dock effektmålen utifrån en analys av deras syften. En närmare analys av effektmålet för ”forskning” väcker mer komplexa frågor av typen ”har satsningen främjat forskning på ett effektivt sätt?”, ”hur många register publiceras det forskning från?” och ”hur citerad är forskningen?”. För målet om ”öppen redovisning” blir det till exempel mer intressant att utvärdera i vilken utsträckning öppet redovisad data används – istället för enbart räkna antal register som lägger ut sina statiska årsrapporter på Internet.
I följande stycken går vi igenom alla effektmålen enskilt. Vi redovisar syfte och problematiserar målen. Vi utvecklar också målen, där vi har ansett att det är nödvändigt, och föreslår i många fall nya mått. För varje effektmål redovisas befintliga datakällor, där så är möjligt och hittills känt. För många mål är det också nödvändigt att utföra en kvalitativ utvärderingsinsats, antingen som enda utvärdering eller som komplement till en mer kvantitativ mätning. Som avslutning föreslår vi också några områden som inte omfattas av effektmålen som också borde ingå i en utvärdering – för att omfatta alla viktigare syften och förväntade effekter av satsningen på Nationella Kvalitetsregister.
Måtten och indikatorerna kommer dock inte att vara helt och fullt utvecklade och fastställda förrän Vårdanalys prövar att mäta utifrån dem för första gången. Vid det första mättillfället kommer det antagligen att visa sig att vissa mått är svåra att genomföra mätningar på – och andra gånger kanske resultaten inte säger så mycket. Vårdanalys kommer därför att fortsätta att utveckla måtten och indikatorerna under utvärderingarna av satsningen.
Satsningen på Nationella Kvalitetsregister 44
Datakvalitet Effektmål:
2013: 60 % av de Nationella Kvalitetsregistren ha en täckningsgrad på minst 80 % 2016: 80 % av de Nationella Kvalitetsregistren ha en täckningsgrad på minst 80 % 40 % av de Nationella Kvalitetsregistren ha en täckningsgrad på minst 95 %
Att ha hög kvalitet på data i registren är en grundförutsättning för att andra mål, som förbättring av vårdens kvalitet eller forskning ska kunna uppnås. I överenskommelsen framhålls följaktligen datakvalitet som en grundförutsättning för att man ska kunna uppnå de önskade effekterna med kvalitetsregistren. Det är dock oklart vad som avses med begreppet datakvalitet och det enda effektmål som definierats är ett mål för täckningsgrad.
Som visades ovan är målet vad gäller täckningsgrad att 60 % och 80 % av registren ska ha nått en täckningsgrad om minst 80 % år 2013 respektive 2016. Kvalitetsregisterkansliet vid SKL gör prognosen att man når målet för 2013 men att det kommer att vara en utmaning att nå målet 2016. 73 register fick stöd som Nationella Kvalitetsregister 2012, av dessa har två slagits samman, ett har inte sökt nationellt stöd, och en har degraderats, nämnaren blir då 70 Nationella Kvalitetsregister totalt. Av dessa 70 register har 40 stycken en täckningsgrad över 80 %, det vill säga 57 % av alla Nationella Kvalitetsregister. Om man räknar alla de 78 Nationella Kvalitetsregistren 2013 blir andelen 58 % tack vare att nya cancerregister med mycket hög täckningsgrad har anslutit sig till satsningen (24).
Täckningsgrad kan vara ett viktigt mått på datakvalitet, men inte det enda eftersom datakvalitet har fler dimensioner än så. Täckningsgrad är också i sig ett begrepp som behöver problematiseras. Ofta görs till exempel ingen skillnad på om täckningsgrad syftar till att säkra representativitet eller fullständighet i data. Täckningsgraden i ett register kan också variera beroende på hur man väljer att gruppera den, till exempel geografiskt, per sjukhus, per klinik med mera. Vad som är viktigast beror på syftet med registret och dess användning.
Vårdanalys har därför dels valt att utveckla täckningsgradsmålet, men vi har även valt att inkludera faktorer som inmatningskontroller, kodningskvalitet, aktualitet och validering av data– för att försöka få en mer utvecklad bild av hur registren arbetar med datakvalitet och hur den utvecklas för registren.
Datakällor för att utvärdera datakvalitet i registren kommer att vara registrens egna ansökningshandlingar (som skickas årligen till kansliet för kvalitetsregistersatsningen) och årsrapporter där bland annat täckningsgrad, förekomst av inmatningskontroller och monitorering, kodningskvalitet, case-mix justering och vissa mått på aktualitet kan följas.
Registerservice vid Socialstyrelsens rapporter om täckningsgrader och valideringsstudier kommer vara en annan viktig datakälla. Dessa källor kommer att kompletteras med enkätfrågor till registerhållarna i de fall där det bedöms nödvändigt. Sannolikt kommer dessa metoder även att behöva kompletteras av en mer kvalitativt inriktad utvärdering som fokuserar på den upplevda datakvaliteten och utvecklingen av denna.
Huvudutvärdering: Nås satsningens syften och mål?
Satsningen på Nationella Kvalitetsregister 45
Utveckling av effektmålen
– Preliminära indikatorer och mått – Preliminära datakällor a) Datakvalitet
1) Täckningsgrad:
1a) Täckningsgrad med avseende på geografi 1b) Täckningsgrad m a p sjukhus
1c) Täckningsgrad m a p klinik (motsvarande) 1d) Täckningsgrad m a p patienter/ingrepp 1e) Täckningsgrad m a ap uppföljning 1f) Internt bortfall av data
1) Registerservice, Registrens årsrapporter, Registrens ansökningshandlingar, Registrens och Socialstyrelsens valideringsstudier
2) Existens av inmatningskontroller.
2a) Variabellista med variabelbeskrivning online
2b) Finns regelbunden manuell kontroll av data 2b1) Frekvenstabeller variabler
2b2) Överensstämmelse värden över tid 2c) Sjukhus och klinikkoder
2) Sammanställning ansökningar, enkät till registren, Registerservice.
3) Kodningskvalitet (följer de Snomed-CT).
Registreras diagnoser/åtgärder enligt ICD10/DSM-V och KVÅ-koder
3) Ansökningshandlingar – fråga registren.
4) Aktualitet - hur lång tid tar det innan data skrivs in i registret.
4) Ansökningshandlingar – fråga registren
5) Verksamheternas och andra intressenters bedömningar av datakvaliteten.
5) Enkät till verksamheterna, intervjuer
6) Validering av uppgifter gentemot
hälsodataregister och/eller journal 6) Enkät, registerservice, vetenskaplig publikation
Redovisning av resultat Effektmål:
2013: 95 % av de Nationella Kvalitetsregistren presentera onlinedata till verksamheterna 100 % av de Nationella Kvalitetsregistren, som har en täckningsgrad på över 80 %, ha öppen redovisning av resultatdata
2016: 100 % av de Nationella Kvalitetsregistren presentera onlinedata till verksamheterna
100 % av de Nationella Kvalitetsregistren, som har en täckningsgrad på över 80 %, ha öppen redovisning av resultatdata
En öppen och transparent redovisning av resultat är en annan viktig förutsättning för att kvalitetsregistren ska kunna användas av andra än enbart registerhållarna – till exempel för verksamhetsförbättring, forskning och öppna jämförelser. Det första effektmålet, att presentera onlinedata till verksamheterna kan dock utifrån en enkel tolkning vara ganska enkelt uppnått för registren. En lägsta nivå kan vara att enbart presentera data online till verksamheterna statiskt, till exempel vis i form av en årsrapport – i vilken utsträckning presentationen av data är anpassad till verksamheternas behov säger målet dock mycket lite om.
Satsningen på Nationella Kvalitetsregister 46 Även för det andra effektmålet om öppen redovisning av resultatdata kan en presentation av årsberättelsen utlagd på nätet sägas vara en lägsta nivå för att nå målet – inte heller i detta mål sägs något om hur pedagogiskt utformad redovisningarna av resultaten bör vara för olika intressenter.
Vårdanalys har dock valt att tolka målen om redovisning av information från registren som att den bör vara ändamålsenlig för att till exempelvis kliniker och forskare ska kunna använda sig av registrens data för att nå sina syften. Då blir det särskilt viktigt att mottagarna själva kan hantera data, att det finns data nedbruten på kliniknivå, att data är aktuell, att flera vårdgivare registrerar data, om data presenteras på ett lättillgängligt sätt, om data är jämförbar och i vilken utsträckning den används av de tänkta mottagarna.
Detta planerar vi dels att undersöka i en separat modul, eller ”ministudie”, som baseras på en analys av dels registrens ansökningshandlingar och websidor och dels en enkät (eller strukturerad telefonintervju) till registerhållare. Som komplement till detta genomförs en kvalitativt inriktad studie av användarvänlighet där slutanvändarna av data tillfrågas om sina erfarenheter.
Utveckling av effektmålen
– Preliminära indikatorer och mått – Preliminära datakällor b) Onlinedata och överbrygga professionella gränser
1) Antal register som publicerar data online i analyserabara databaser.
1) Ansöknings-handlingar, ministudie
2) Antal register som har en webmodul för utdata. 2) Ministudie av alla weblösningar (alt enkät) 3) Antal register som har access och till vad –
individ- eller aggregerade data 3a) Egna klinikens/sjukhusets data 3b) Landstingets/regionens data 3c) Hela rikets data
3) Enkät registren
4) Antal register med klinikrapporter. 4) Ansökningshandlingarna, genomgång av alla register eller enkät.
5) Aktualitet i onlinedata – tid mellan in- och utrapportering.
5) Ansökningshandlingarna, genomgång av alla register eller enkät.
6) Antal register som följer patienten över flera kliniker en vårdprocess.
6) Ansökningshandlingarna, genomgång av alla register eller enkät.
7) Antal register som följer patienten över flera olika behandlingssteg.
7a) Omfattar registret/avser att mäta, flera olika behandlingssteg/besök/ingrepp på olika kliniker
7b) Registreras information från alla relevanta behandlingssteg/besök från alla berörda kliniker
7) Ansökningshandlingarna, genomgång av alla register eller enkät.
Huvudutvärdering: Nås satsningens syften och mål?
Satsningen på Nationella Kvalitetsregister 47
Utveckling av effektmålen
– Preliminära indikatorer och mått – Preliminära datakällor c) Öppen redovisning av resultatdata
1) Antal register med öppen redovisning av resultat - riket, landsting, klinik
1a) Antal register med öppen redovisning i årsrapport el PDF
1b) Antal register med redovisning på hemsida - möjlighet att enkelt se diagram/figurer i någon modul (ej årsrapport/PDF) 1c) Antal register med dynamiska hemsidor där det går att ändra axlar/variabler/ålder – existens av en "statistikdatabas"
1) Ministudie av resultatredovisningen till verksamheterna
1a) Årsrapport 1b) Hemsidor 1c) Hemsidor
2) Hur frekvent är trafiken på resultaten 2) Enkät registren
3) Vilka loggar in för att ta del av data 3) Enkät registren
Forskning Effektmål:
2013: antalet forskningsprojekt med stöd av kvalitetsregisterdata ha ökat med 100 % 2016: antalet forskningsprojekt med stöd av kvalitetsregisterdata ha ökat med 300 %
Effektmålet för forskning är direkt och relativt oproblematiskt att mäta. Enklaste sättet att undersöka om målet har uppnåtts är genom att räkna ökningen av antal publikationer mellan åren. Ökningen av antal register och flera registers högre ”mognadsgrad” vad avser fler registrerade patienter borde rimligtvis ha understött en utveckling mot allt fler publikationer baserat på registerdata.
Under förstudien som genomförts för att ta fram utvärderingsplanen så har det dock framkommit att det finns utmaningar även med forskningsmålet. Dels har det framförts att målet kan vara lågt satt, och att forskningen på registren skulle kunna mångdubblas. Det har också framkommit att många publikationer främst är baserade på data från vissa stora register, med väl utvecklade forskargrupper knutna till sig, medan det finns en stor mängd register som har få eller inga publikationer.
Detta bekräftas om vi studerar antalet publicerade artiklar 2011 för de 73 registren som var certifierade Nationella Kvalitetsregister 2012. Sammanlagt rör det sig om 170 publikationer vilket blir i genomsnitt 2,33 publikationer per register, men en närmare analys visar att 7 register står för ca 56 % av publikationerna och ca hälften av de registren inte har några publikationer.
Satsningen på Nationella Kvalitetsregister 48 Diagram 3: Publicerade artiklar 2011, per certifierat Nationellt Kvalitetsregister 2012
Källa: Nationella kvalitetsregisterkansliet, 2013
Vårdanalys vidareutveckling av forskningsmålet syftar därför, förutom att mäta antal publikationer och hur spridda artiklar från registren blir, till att ha ett mer framåtblickande syfte och utreda möjligheterna och problemen med att stimulera forskning på registren. Vi föreslår därför bland annat att mäta hur mycket medel som läggs på forskning baserat på kvalitetsregistren och hur väl dessa medel har samordnats med andra statliga satsningar, exempelvis på klinisk forskning. Hur ofta data lämnas ut till externa forskare kan också vara ett mått på hur användbart registret anses vara och hur hög datakvalitet det har. Antal doktorander knutna till registren och om registrens innehåll validerats mot andra källor är också mått på i vilken utsträckning det forskas på registren. Det är också angeläget att mer kvalitativt undersöka i vilken utsträckning satsningen (och registerservice) ytterligare hade kunnat underlätta för forskare att ta reda på innehållet i alla register och möjligheten att ha en ansökning för att få ut data ur alla kvalitetsregister (något som även skulle gå i hand med målet om ”öppen redovisning av resultat”).
För att undersöka alla dessa olika faktorer som påverkar forskningen på registren vill vi ställa enkätfrågor till registren, genomföra dokumentstudier, intervjua Registerservice på Socialstyrelsen, gå igenom registrens ansökningshandlingar samt genomföra en biblio-metrisk mätning med hjälp av Karolinska institutets bibliotek.
Huvudutvärdering: Nås satsningens syften och mål?
Satsningen på Nationella Kvalitetsregister 49
Utveckling av effektmålen
– Preliminära indikatorer och mått – Preliminära datakällor d) Forskning
1) Tilldelade forskningsmedel till registerforskning.
1a) Statliga forskningsmedel (VR Medicinska forskningsrådet)/Landstingsmedel (ALF)/SSF/Vinnova
1b) Medel från övriga bidragsgivare i Sverige (t ex Cancerfonden)
1c) Medel från utländska bidragsgivare
1) Enkät registren
2) Antal register som lämnar ut data
2a) Antal register som har internt utlämnade - till forskare inom registret
2b) Antal register som har externt utlämnade – till fristående forskare
2c) Antal register som har gett avslag, om avslag till extern/intern forskare
2) Enkät till registren/ Ansökningshandlingar
3) Antal publicerade artiklar på registerdata 3a) Publicerade (2011-)2012 jmf (2016-) 2017 alla register
3b) Utvecklingen för topp 10 2012 till 2017 3c) Utvecklingen för tio minst publicerade 2012 till 2017
3d) Antal publicerade som open access
3) 3a) Enkät registerhållare.
Registerservice / Socialstyrelsen 3b) Enkät registerhållare.
Registerservice / Socialstyrelsen 3c) Enkät registerhållare.
3d) Ansökningshandlingar för interna artiklar.
Pubmed - Karolinska Institutets-bibliotek
4) Spridningen av publikationer från registren (citeringsgrad)
4) Bibliometrisk analys- Karolinska Institutets bibliotek
5) Antal register med doktorander kopplade till sig – och antal doktorander.
5) Enkät registerhållare
6) Antal register med tillstånd/ingrepp/data som validerats mot journal och eller hälsodataregister och publicerats vetenskapligt.
6) Enkät registerhållare
Resultatdata till patienterna Effektmål:
2013: 60 % av de Nationella Kvalitetsregistren presentera resultatdata för patienterna 2016: 80 % av de Nationella Kvalitetsregistren presenterar resultatdata för patienterna
Som ett led att göra vården mer transparent har man tagit fram ett effektmål om att registren ska presentera resultatdata till patienterna. Vårdanalys har i sin analys dock kommit fram till att enbart en statisk presentation av resultaten till patienterna inte tar tillvara patienternas möjligheter att både bidra till registren och att få ut mesta möjliga mervärde från desamma. SKL:s genomgång visar också att relativt få register idag har denna funktion - endast 28 av registren angav att de hade redovisning till patienterna under 2012 (25).
Satsningen på Nationella Kvalitetsregister 50 För att registren ska kunna utnyttja den resurs som patienterna innebär, och för att patienterna ska kunna få ut så mycket som möjligt av registren är det viktigt att patienterna ser mervärdet i de uppgifter som registreras. För att säkerställa mervärdet för patienterna är det inte bara viktigt att de får ta del av resultaten utan troligen är även faktorer som att uppgifterna i registren är aktuella och uppfattas som relevanta av patienterna centrala. Några förslag som framkommit i förstudien på hur detta kan uppnås är bland annat att låta patienterna vara involverade i att ta fram relevanta variabler och att validerade mätmetoder används.
Vårdanalys föreslår också en fördjupad analys av patientinvolvering i registren för att kartlägga i vilken utsträckning registren tar tillvara patienterna som resurser i sitt arbete – men även om registren ger patienterna det mervärde som de skulle kunna bidra med.
För att undersöka patienternas involvering i registren i den årliga uppföljningen av satsningen kommer vi att gå igenom ansökningshandlingarna, ställa enkätfrågor till registerhållarna och intervjua vissa utvalda patientorganisationer.
Utveckling av effektmålen
– Preliminära indikatorer och mått – Preliminära datakällor e) Patientdelaktighet
1) Antal register som publicerar data riktat till
patienter 1) Ansökningshandlingar och enkät till registren.
2) Antal register som tagit fram variabler i samarbete med patienter?
2) Ansökningshandlingar och enkät till registren.
Intervjuer med patientorganisationer.
3) Antal register där patienterna själva för in data 3) Ansökningshandlingar och enkät till registren.
Intervjuer med patientorganisationer.
4) 4. Antal register med PROM och PREM från validerade protokoll.
4a) Före ingrepp/åtgärd 4b) Direkt efter ingrepp/åtgärd 4c) Uppföljning i senare skede
4) Ansökningshandlingar och enkät till registren.
Intervjuer med patientorganisationer.
Används i förbättringsarbete Effektmål:
2013: 50 % av verksamhetscheferna använda kvalitetsregistren i sitt förbättrings-arbete
2016: 80 % av verksamhetscheferna använda kvalitetsregistren i sitt förbättrings-arbete
Syftet med kvalitetsregistren enligt patientdatalagen är att ligga till grund för systematisk och fortlöpande utveckling och säkring av vårdens kvalitet (patientdatalagen 7 kap 1§).
Huvudutvärdering: Nås satsningens syften och mål?
Satsningen på Nationella Kvalitetsregister 51
Effektmålet om verksamhetschefernas användning av kvalitetsregistren i sitt förbättringsarbete är därför också centralt i den utvärdering som Vårdanalys föreslår.
I intervjuerna som har genomförts för framtagandet av denna utvärderingsplan framkommer att det finns både evidens och en stark övertygelse att framförallt olika
”operationsregister”, som till exempel registren för proteser och hjärtsjukdomar, har lett till bättre vårdresultat. Den vetenskapliga litteraturen ger också stöd för kvalitetsförbättring genom att använda kvalitetsdata från till exempel register i bland annat audit & feedback (10), benchmarking och checklistor. Litteraturen ger dock mindre starkt stöd för enbart öppen publicering av jämförande data (8, 14).
Vissa kritiker framhåller att det inte går att isolera och mäta just registrens effekter på förbättringar i vårdkvaliteten. Samtidigt framhåller flera att registren kan ha andra funktioner än enbart som underlag till systematiskt förbättringsarbete, till exempel som behandlingshjälpmedel eller som verktyg för kommunikation mellan läkare och patient.
Det är också stor skillnad på olika register. Dels vad avser antalet registrerade och fullständighet, men också vad avser diagnosernas biologiska mätbarhet och antalet olika behandlingsmetoder och hur pass tydliga skillnaderna i resultat mellan olika behandlingsmetoder är.
Den samlade bedömningen är att register under rätt förutsättningar förefaller vara användbara verktyg för verksamhetsförbättring. Vi noterar att förutsättningarna och resultaten sannolikt kommer att vara så varierande mellan olika register att det knappast är meningsfullt att uttala sig om registrens effekt på hälso- och sjukvårdens kvalitet på aggregerad nivå. Vi avser att istället fokusera på att belysa vilka faktorer som är centrala för att ett register framgångsrikt ska kunna användas för förbättringsarbete.
Vårdanalys förslag på huvudutvärdering av detta effektmål inriktar sig därför på att undersöka i vilken utsträckning de grundläggande förutsättningarna för att använda registren för förbättringsarbete på kliniknivå är etablerade. Ett exempel kan vara om det går att ta ut aktuell och relevant data på kliniknivå. Vi vill också undersöka i vilken utsträckning variablerna i registren är utformade så att de går att använda i förbättringsarbete på kliniknivå. Slutligen kommer vi att utvärdera i vilken utsträckning verksamheterna använder data från registren i sitt förbättringsarbete, och i vilken utsträckning de anser den skapar värde.
För att fånga dessa faktorer kommer vi att gå igenom registrens variabler och rikta en enkät till berörda verksamhetschefer i samarbete med det nationella kvalitetsregisterkansliet.
Följeforskarna kommer att göra mer ingående djupdykningar och fallstudier av hur enskilda register har påverkat verksamhetsförbättring i praktiken. Vårdanalys utvärdering på detta område kommer även att samordnas och innefatta de slutsatser som dras från detta arbete.
Satsningen på Nationella Kvalitetsregister 52 Utveckling av effektmålen
– Preliminära indikatorer och mått – Preliminära datakällor f) Verksamhetsförbättring
1) Antal/andel verksamhetschefer som använder registren i sitt förbättringsarbete.
1) Enkät till ”verksamhetscheferna” (klinikchef, kvalitetsansvariga) via registren.
2) Hur användbart anser de att det är för att:
2a) Identifiera förbättringsområden?
2b) Bedriva förbättringsarbete?
2c) Öka intresset för kvalitetsfrågor?
2d) Ha dialog med medarbetare?
2e) Dialog med chefer/ledning?
2f) I vilken utsträckning har det lett till förändringar av processer?
2g) Hur ofta loggar verksamhetscheferna in för att ta del av data om den egna kliniken?
2) Enkät till ”verksamhetscheferna” (klinikchef, kvalitetsansvariga) via registren
3) Förutsättningar för att använda data för förbättringsarbete
3d) Om det finns evidensbaserade resultatmått 3e) Om det finns evidensbaserad processer som följs/mäts
3f) Hur ofta användarna loggar in
3) Genomgång av alla register angående deras grundförutsättningar för att användas för förbättringsarbete. Genomgång av den vetenskapliga litteraturen.
Statistiskt säkerställd förbättring för patienterna Effektmål:
2016: en statistiskt säkerställd förbättring för patienterna, inkluderat minskade skillnader i vården, kunna utläsas för 10 stora diagnosgrupper
De två sista effektmålen i överenskommelsen, ”en statistiskt säkerställd förbättring för
De två sista effektmålen i överenskommelsen, ”en statistiskt säkerställd förbättring för