Sammanställning och utvärdering av modeller
för pandemiprediktion i Sverige under 2020
Anna Jöud
Philip Gerlee
Armin Spreco
Toomas Timpka
Sammanställning och utvärdering av modeller
för pandemiprediktion i Sverige under 2020
Anna Jöud, Lunds universitet och Region SkånePhilip Gerlee, Chalmers tekniska högskola och Göteborgs universitet Armin Spreco, Linköpings universitet och Region Östergötland
Toomas Timpka, Linköpings universitet och Region Östergötland
Rapport skriven av forskare vid Lunds universitet, Chalmers tekniska högskola och Göteborgs universitet och Linköpings universitet på uppdrag av Folkhälsomyndigheten.
Om publikationen
Epidemiologiska modeller används som stöd för planering. Modellerna hjälper oss att illustrera spridning av en sjukdom som smittar mellan människor, i det här fallet covid-19. Under 2020 presenterades många modeller och många rapporter som visade olika utvecklingar av spridningen av covid-19. Modellerna skiljde sig åt avseende modelltyp, antaganden och vilka analyser som utfördes, vissa presenterade en utveckling av nya fall i närtid medan andra hade en längre tidshorisont.
Folkhälsomyndigheten gav i uppdrag till en grupp oberoende forskare vid Lunds och Linköpings
universitet att sammanställa den modellering av covid-19 som gjorts under 2020, med fokus på Sverige. I arbetet deltog även forskare vid Chalmers Tekniska högskola och Göteborgs universitet. Syftet med uppdraget, utöver att få en överblick av genomförd modellering, var att få en bedömning av kvaliteten på det som producerats och av användbarheten, liksom forskarnas kommentarer och
rekommendationer om kvalitetshöjande åtgärder. Forskarna ansvarar själva helt och hållet för innehållet i rapporten.
I rapporten presenteras resultat och bedömning av ett 20-tal modeller, de modeller som kvarstod när inklusionskriterier gällande kvalitet och dokumentation hade tillämpats. Forskarnas slutsatser är att modelleringen av covid-19, både prediktionsmodellering och scenarier, har varit av nytta för planering. Forskarna pekar vidare på brister som både var vanligt förekommande och allvarliga, såsom bristfällig validering och dokumentation. Slutligen presenterar forskarna konkreta rekommendationer till de som gör epidemiologisk modellering, i syfte att ytterligare höja kvaliteten och reproducerbarheten.
Resultaten i rapporten är ett viktigt underlag för Folkhälsomyndigheten i strävan att vidareutveckla epidemiologisk modellering.
Folkhälsomyndigheten Anders Tegnell
Sammanfattning
Mindre än två månader – så kort kan tiden enligt uppskattningar vara från upptäckten av ett virus med pandemisk potential till dess att virusets spridning över världen når exponentiell takt. Nationella regeringar och myndigheter har därför kort tid på sig för att i samråd med internationella organ planera och införa åtgärder för att hindra eller begränsa smittspridningen inom respektive land.
I det tidiga skedet av en viruspandemi är kunskapen om virusets natur och spridningsvägar låg. Detta ställer prediktion av pandemins utveckling inför metodologiska utmaningar. Under år 2020 har prediktionsmodeller legat till grund för nationellt beslutsfattande och vårdplanering inom sjukvårdsregioner i Sverige. Det är viktigt att klarlägga tillförlitligheten och precisionen i dessa modeller relaterat till den faktiska utvecklingen av covid-19 i landet. Målsättningen med den här studien var att:
1. Beskriva modeller för prediktion av spridning av covid-19 och relaterad sjukvårdsbelastning i Sverige publicerade mellan 2020-01-01 och 2020-12-31 (prediktioner, scenarion, prognoser etc.), samt
2. Utvärdera modellerna ur kvalitetssynpunkt och jämföra modellerat/predicerat utfall med det observerade utfallet under den aktuella tidsperioden.
Studien genomfördes som en systematisk litteraturgenomgång och resultatsyntes (sammanställning). För ändamålet utfördes sökningar efter vetenskapliga publikationer (vetenskapligt granskade innan publicering), preprints (artiklar av vetenskaplig karaktär som publiceras öppet utan föregående granskning) samt den grå litteraturen (rapporter och underlag publicerade av organisationer och myndigheter). Studieprotokollet är
registrerat i databasen för strukturerade litteratursynteser och metaanalyser PROSPERO (International prospective register of systematic reviews) dnr CRD42021229514 (tillgänglig:
https://www.crd.york.ac.uk/prospero/display_record.php?ID=CRD42021229514).
I litteratursökningen identifierades initialt 1478 artiklar; 892 genom systematisk sökning efter kollegialt granskade vetenskapliga artiklar, 566 genom explorativ sökning i preprint-arkiv, samt 20 rapporter via uppslagssökning i den grå litteraturen. Efter granskning av sammanfattningar och därefter hela titlar med avseende på urvalskriterierna kvarstod totalt 33. Elva av dessa uteslöts på grund av risk för påverkan från felkällor. Av de 22 titlar som ingick i den avslutande resultatsyntesen var omkring hälften vetenskapliga publikationer och de övriga var
myndighetsrapporter.
Den detaljerade analysen visade att prediktionernas faktiska precision och tillförlitlighet sällan rapporterades tillsammans med modellerna. Endast ett fåtal artiklar beskrev någon form av validering och bara två modeller hade utvärderats framåtblickande (prospektivt). När vi gjorde en sekundär utvärdering mot faktiska data fann vi att bara två modeller av beläggning på intensivvårdsavdelningar och fyra modeller av antalet dödsfall överensstämde tillfredsställande med det faktiska utfallet. Att jämföra modeller och dra slutsatser var dock svårt då somliga prediktioner publicerades avsevärt före den tidsperiod som de gällde, medan andra publicerades i anknytning till perioden eller i efterhand.
Avsaknaden av metodologiskt väl utförda utvärderingar begränsar möjligheterna att samla erfarenheter om värdet av att vid framtida pandemier använda prediktionsmodellering. Förutom brister gällande validering och
Trots dessa brister måste prediktionsmodellerna anses ha bidragit positivt till förståelsen av pandemins utveckling i Sverige under 2020 och möjligheterna att genomföra interventioner. Exempelvis visade modellerna att
smittspridningen kunde förväntas skilja sig avsevärt åt mellan de svenska sjukvårdsregionerna. Scenariomodellerna visade även hur förändringar i sociala kontaktmönster har samband med smittspridning givet olika fasta
antaganden. Bidraget skulle ha varit ännu mer värdefullt om rapporteringen av modellerna hade varit tydligare med om de ansågs vara prediktioner, eller om de skulle betraktas som en del av större scenarion med alternativa utvecklingar givet olika antaganden.
Vi drar slutsatserna att forskare, myndigheter och andra organ som publicerar pandemimodeller måste vara tydliga i sin kommunikation med avseende på avsedda mottagare (andra forskare, myndigheter, allmänheten, etc.), avsikten med modellen (scenario eller prediktion), data och antaganden som använts, samt hur tillförlitligheten i utfallet ska tolkas. I synnerhet behöver rapporteringen av pandemimodeller vara tydlig med avseende på om modellerna ska betraktas som prediktioner av en trolig utveckling, eller som scenarier som beskriver hypotetiska förlopp givet olika antaganden.
Vid framtida pandemier behöver kunskap om prediktioners tillförlitlighet grundläggas redan tidigt under spridningsförloppet. Utvärderingsprotokoll bör skapas och registreras i internationella databaser för
forskningsprotokoll före initiering av datainsamlingen. Rutiner för samarbete mellan nationella myndigheter, sjukvårdsregioner och akademiska institutioner behöver etableras för att sammanföra modelleringskompetens och data.
Fortsatt utvecklingsarbete och forskning behövs om utvärderingsmetoder för pandemimodeller. Förutom att prediktioner måste vara tillförlitliga och begripliga, ska scenariomodeller generera realistiska scenarier. Därför behöver metoder för utvärdering av scenariomodellers interna logik, rimlighet och pluralism utvecklas.
Innehållsförteckning
ORDLISTA ... 8 UPPDRAGET ... 9 BAKGRUND ... 10 METOD ... 11 Databassökningar ... 11 Urvalskriterier ... 12 Datautvinning (dataextrahering)... 12Bedömning av systematiska felkällor (bias) ... 13
Resultatsyntes – sammanställning av studieresultat ... 13
Faktiska prediktionsstudier ... 13
Scenariobaserade prediktionsstudier ... 13
RESULTAT ... 15
Inklusionsbedömning och datautvinning ... 15
Bedömning av systematiska felkällor ... 21
Resultatsyntes ... 21
Konceptuell ansats: scenario eller prediktion ... 22
Modelltyper ... 23
Dokumentation och reproducerbarhet ... 24
Modellkonstruktion ... 24
Modellkalibrering ... 24
Kvantifiering av prediktiv osäkerhet ... 25
Primär utfallsvalidering ... 25 Sekundär utfallsvalidering ... 26 RESULTATDISKUSSION ... 30 Konceptuell ansats ... 31 Modelltyper ... 31 Dokumentation ... 32
Utfallsvalidering ... 34
SAMMANFATTANDE DISKUSSION ... 36
Utfallsvalidering och utvärdering ... 37
Dokumentation av prediktionsmodeller ... 38
Modellkonstruktion och strukturell osäkerhet i prediktionsmodeller ... 38
SLUTSATSER ... 40 REKOMMENDATIONER ... 41 REFERENSER ... 42 APPENDIX ... 45 1. PROSPERO - protokoll ... 45 2. Litteratursökning - sökmatriser... 45 3. ROBOT - checklista ... 45 4. Komplett litteraturlista ... 45
ORDLISTA
Pandemi: Epidemi, vanligen av infektionssjukdom, som sprids över världsdelar.
Världshälsoorganisationen (WHO) bestämmer om en infektionssjukdom ska beskrivas som pandemi. Modell: Systematisk, förenklad och användbar beskrivning av ett fenomen i verkligheten.
Prediktion: Det mest sannolika framtida utfallet enligt en (prognos-) modell
Scenario: Beskrivning av sannolika framtida utfall givet olika förutbestämda antaganden. Projektion: Scenario
Morbiditet: Antal sjukdomsfall.
Mortalitet: Antal dödsfall bland sjukdomsfall.
Prospektiv: Framåtblickande. I detta forskningssammanhang används termen för att beskriva om antaganden redogjorda för vid ett bestämt tillfälle även gäller vid en framtida tidpunkt.
Prognos: Beräkning av en kommande händelse
Primär utfallsvalidering: Validering av prediktionsutfall rapporterad samtidigt med prediktionen. Sekundär utfallsvalidering: Validering av prediktionsutfall utförd efter att prediktionen rapporterats.
UPPDRAGET
För att studera och värdera den praktiska användbarheten (precisionen) av modeller som använts för att predicera virusspridning, resulterande morbiditet och mortalitet, samt behovet av
sjukvårdsvårdsresurser under covid-19 pandemin i Sverige under 2020 gav Folkhälsomyndigheten (Fohm) i november 2020 en oberoende grupp forskare uppdraget att sammanställa och tolka de rapporter som presenterats i den offentliga debatten och som beslutsunderlag för planeringen av interventioner samt av sjukvårdens kapacitet att ta hand om covid-19 patienter. Specifikt bestod uppdraget i att:
1. Beskriva de olika typer av modeller för pandemiprediktion som presenterats i Sverige mellan 2020-01-01 och 2020-12-31 (prediktioner, scenarion, prognoser etc.), samt
2. Analysera och utvärdera dokumenterad användbarhet (precision) i de olika typerna av modeller för pandemiprediktion som presenterats. Modelltillämpningen ska granskas ur kvalitetssynpunkt och predicerat utfall ska jämföras med det faktiska utfallet i Sverige under den aktuella
BAKGRUND
Mindre än två månader – så kort kan tiden vara från upptäckten av ett virus med pandemisk potential till dess att virusets spridning över världen når exponentiell takt, enligt uppskattningar (Epstein 2007, Leung 2020). Nationella regeringar och myndigheter har därför kort tid på sig för att i samråd med internationella organ planera och införa åtgärder för att hindra eller begränsa smittspridningen inom respektive land.
När en hotande viruspandemi upptäcks är kunskapen om virusets biologiska natur och ursprung, spridningsvägar mellan människor, tillgängligheten av antivirala läkemedel och möjligheten att utveckla vaccin ytterst begränsad. Trots det kan prediktionsmodeller ge viktigt informationsunderlag när åtgärder planeras på nationell och regional nivå mot pandemier. För att optimera tillförlitligheten modifieras prediktionerna allt eftersom mer information blir tillgänglig.
Coronaviruset SARS-CoV-2, som kan ge covid-19, konstaterades ha nått Sverige i februari 2020. Under covid-19-pandemin har olika ansatser utnyttjats för att förutse virusspridningen, resulterande
sjukdomsfall och dödsfall i befolkningen, och behovet av sjukvårdsresurser. Dessa metoder och modeller har baserats på olika datamaterial, grundantaganden och teoretiska perspektiv.
I det tidiga skedet av en viruspandemi är kunskapen om virusets natur och spridningsvägar låg. Detta ställer prediktion av pandemins utveckling inför metodologiska utmaningar. Under år 2020 har prediktionsmodeller legat till grund för nationellt beslutsfattande och vårdplanering inom
sjukvårdsregioner i Sverige. Det är angeläget att klarlägga tillförlitligheten och precisionen i dessa modeller relaterat till den faktiska utvecklingen av covid-19 i landet. Det är också viktigt att studera modellernas teoretiska kvalitet och praktiska användbarhet med den övergripande ansatsen att utveckla kunskapen inför kommande pandemier. Målsättningen med den här studien är att:
1. Beskriva modeller för prediktion av spridning av covid-19 och relaterad sjukvårdsbelastning i Sverige publicerade mellan 2020-01-01 och 2020-12-31 (prediktioner, scenarion, prognoser etc.), samt
2. Utvärdera modellerna ur kvalitetssynpunkt och jämföra modellerat/predicerat utfall med det observerade utfallet under den aktuella tidsperioden.
Rapporten är strukturerad på följande vis: vi presenterar först metoden med vilken vi sökt efter studier och hur dessa studier analyserats. Därefter beskrivs resultaten av analyserna. I den påföljande
diskussionen tas först resultaten upp punktvis, vilket följs av ett sammanfattande resonemang. Rapporten avslutas med redovisning av slutsatser och rekommendationer.
METOD
Studien genomfördes som en systematisk genomgång och syntes (sammanställning) av publicerad litteratur (Gusenbauer 2020, Page 2021). För ändamålet utfördes sökningar efter vetenskapliga publikationer (vetenskapligt granskade innan publicering), preprints (dvs artiklar av vetenskaplig
karaktär som publiceras öppet utan föregående granskning) samt den grå litteraturen (dvs rapporter och underlag publicerade av organisationer och myndigheter). Studieprotokollet är registrerat i databasen för strukturerade litteratursynteser och metaanalyser PROSPERO (International prospective register of systematic reviews) dnr CRD42021229514 (tillgänglig:
https://www.crd.york.ac.uk/prospero/display_record.php?ID=CRD42021229514), appendix 1.
Databassökningar
Litteratursökningarna utgick ifrån söktriangel-modellen (Gusenbaum 2006). Systematiska sökningar genomfördes mellan 2021-01-22 och 2021-01-29 av databaser (PubMed, Cochrane Library, Embase, Love platform / Epistemikos), innehållande kollegialt bedömda vetenskapliga publikationer inom områden relevanta för granskningsfrågan, explorativa sökningar utfördes av preprint-arkiv, medan
uppslagssökningar utfördes av den grå litteraturen. Litteratursökningarna rapporterades enligt
PRISMA-S protokollet (version september 2020/januari 2021), appendix 2.
Den systematiska sökningen (sökord: prediction, Nowcast, Forecast, Simulation model, Model, modelling, estimation, scenario, surveillance, Epidemiology, covid-19, SARS-cov-2, swed*) av den kollegialt bedömda vetenskapliga litteraturen hade målsättningen att identifiera alla relevanta publikationer (inom studiens kriterier) på ett transparent och reproducerbart sätt.
De explorativa sökningarna i preprint-arkiven initierades genom att ställa en preliminär fråga via ett verktyg särskilt utformat för sökningar i dessa arkiv (search.biopreprint) och sedan granska de
återhämtade posterna. Därefter upprepades sökningarna iterativt tills justeringar inte längre ledde till betydande förändringar i uppsättningen identifierade preprint. Mot de två största preprintsdatabaserna medRxiv och arXiv utfördes en separat kompletterande sökning.
Slutligen utfördes en uppslagssökning (riktad sökning) av den grå litteraturen. Sökningen – även kallad sökning efter kända dokument – genomfördes med målet att inhämta dokument från webbplatserna för relevanta svenska och internationella myndigheter verksamma inom området (Folkhälsomyndigheten (Fohm), Socialstyrelsen (SoS), Myndigheten för samhällsberedskap (MSB) samt European Centre for Disease Prevention and Control (ECDC). Lokala och regionala framtagna prognosunderlag inom olika sjukvårdsregioner ingår inte i denna rapport, eftersom dessa är att betrakta som internt arbetsmaterial då de inte är publicerade.
Urvalskriterier
Inklusionskriterier var artiklar som rapporterar epidemiologiska resultat gällande faktiska eller
scenariobaserade prediktioner av morbiditet, mortalitet, eller sjukvårdsbelastning orsakad av covid-19 i Sverige eller delar av Sverige under 2020. För att inkluderas måste studien predicera ett framtida hälsoutfall i befolkningen. Följande exklusionskriterier tillämpades:
Studien inkluderar inte
• Icke-originalanalyser (t.ex. sammanställningsartiklar, perspektivartiklar, ledare, rekommendationer och riktlinjer)
• Dubblettstudier
• In silico-studier (rena simuleringar)
• Beskrivande epidemiologiska publikationer (t.ex. beskrivning av proportioner av positiva fall, totalt antal fall, beskrivande kartläggning av geografisk incidens)
• Modeller som endast undersöker effekten av interventioner (snarare än att predicera risk eller sjukdomsbörda)
• Artiklar eller rapporter som främst presenterar matematiska modeller eller
programvaruverktyg, såvida inte ett uttryckligt centralt syfte med studien är att förutse covid-19-fenomen
Datautvinning (dataextrahering)
De systematiska sökningarna i den kollegialt bedömda vetenskapliga litteraturen, de explorativa
sökningarna av preprint-arkiv och uppslagssökningarna i den grå litteraturen resulterade i att
dokumentmaterial granskades inför datautvinning. I detta inklusionsbekräftande steg granskades titlar och sammanfattningar av de inhämtade dokumenten gentemot studiekriterierna (inklusion/exklusion) av två oberoende granskare. Dokument som båda granskarna ansåg skulle ingå inkluderades och de som båda uteslöt exkluderades från ytterligare analys. I fall av oenighet hämtades artiklarna i fulltext och ny bedömning gjordes. Om oenigheten kvarstod löstes detta genom diskussioner mellan granskarna samt, om det behövdes, med forskargruppen.
För datautvinning från den slutliga uppsättningen dokument utvecklades ett verktyg för inhämtning av uppgifter från varje artikel i fulltext. Verktyget tog in data om författarnas ursprungsland, studiedesign, prognosmetodik (typ av modell), studiepopulation, datakällor, prognosperiod, prognostiserade resultat, mått på prediktionsnoggrannhet/prestanda (i förekommande fall) och modelldokumentation. En granskare extraherade initialt data från varje inkluderad artikel och därefter kontrollerade två andra granskare de utvunna uppgifterna. De utvunna data från artiklarna dokumenterades i ett kalkylark.
Bedömning av systematiska felkällor (bias)
Samtliga modeller bedömdes med avseende på systematiska felkällor (bias). I artiklar som tog upp flera modeller bedömdes varje modell separat. För bedömningen utvecklades ett formulär, ROBOT (Risk of Bias Opinion Tool), baserat på tidigare riktlinjer för utvärderingar av prognosstudier.
Sammanfattningsvis granskades följande ämnen på modellnivå: relevans och kvalitet på data, tidsram för prediktionen, antaganden och modellutvecklingsmetoder (verifiering och validering). Bedömningen av antaganden omfattade reproduktionstal, latensperiod, inkubationsperiod, serieintervall, infektiös period, populationers immunitet och inverkan av interventioner under prediktionsperioden.
Modellvalidering klassificerades som retrospektiv/intern validering, extern validering eller ingen validering.
Skattningen av systematiska felkällor utfördes av två oberoende bedömare, där ytterligare en bedömare bistod vid oenighet. Varje delaspekt gavs en poänggradering i ett bedömningsformulär, ROBOT (Risk of Bias Opinion Tool) (appendix 3). Delbedömningarna räknades samman till en totalpoäng för varje modell. För kvalificering till vidare resultatsyntes krävdes en totalpoäng under ett heuristiskt definierat gränsvärde (ROBOT<4).
Resultatsyntes – sammanställning av studieresultat
Sammanställningen av studiernas resultat inriktades främst mot aspekter relevanta för praktisk tillämpning av prediktionsmodeller och motsvarande scenarier. Resultatsyntesen byggde på ett av oss uppsatt protokoll som täckte områden från teoretisk modellvalidering till utvärdering av prediktionerna mot verkligt utfall.
Faktiska prediktionsstudier
Datautvärdering – Utvärdering av kvaliteten på numeriska data och antaganden som används för att parametrisera modellen och källor som användes för att utforma den övergripande modellstrukturen. Reproducerbarhet – Granskning av hur information om hur modellen konstruerats gjorts tillgänglig och om den tillräcklig för att återge de rapporterade resultaten.
Validering av precision och tillförlitlighet – Modellens prediktioner jämfördes med observerade utfall, även utfall som inte var kända när modellen rapporterades. Initialt genomfördes primär validering som omfattade sammanställning av rapporterade utvärderingar. Därefter utfördes en sekundär validering, där rapporterade prediktioner jämfördes med faktiska utfallsdata från den aktuella perioden inhämtade från Fohm:s hemsida.
Scenariobaserade prediktionsstudier
Konceptuell utvärdering – Bedömning av de antaganden som låg till grund för scenariot och utgjorde dess byggstenar, inklusive huruvida strukturen och väsentliga teorier om orsakssambanden var rimliga för att bilda en logiskt konsekvent modell.
Utvärdering av data – Bedömning av kvaliteten på numeriska och kvalitativa data som använts för att parametrisera prediktionsmodellerna i scenariot och de källor som används för att utforma den övergripande scenariostrukturen.
Verifiering av utdata – bedömning av hur väl scenariot motsvarar det observerade utfallet och i vilken form, samt i vilken utsträckning kalibrering används för att anpassa utdata. Målet var att granska huruvida respektive scenariomodell återspeglar virusets egenskaper, samt förhållanden i samhället och miljön, i relation till de faktiska motsvarigheterna. Data hämtades från publicerade figurer med hjälp av WebPlotDigitizer (v. 4.4, https://apps.automeris.io/wpd/).
RESULTAT
I den systematiska sökningen identifierades totalt 1086 kollegialt granskade artiklar publicerade under perioden 1 januari 2020 – 31 december 2020. Efter dubblettkontroll samt exkludering av preprints som indexerats i databaser för vetenskapliga publikationer återstod 892 artiklar.
Från den explorativa sökningen i preprint arkiv identifierades 566 artiklar. Dessutom resulterade uppslagssökningen i den gråa litteraturen i 20 ytterligare rapporter för inklusionsbedömning. Komplett förteckning över identifierade titlar återfinns i appendix 4.
Inklusionsbedömning och datautvinning
Preliminärt efter inklusionsbedömning av titlar och sammanfattningar uppfyllde 52 unika artiklar studiekriterierna (varav 4 stycken var publicerade två gånger, först som preprint och sedan granskad artikel). Dessa var fördelade mellan vetenskapliga artiklar (n=9), pre-prints (n=19), artikel med föregående pre-print (n=4 [totalt antal titlar n=8]) och grå litteratur (n=20), tabell 1.
Tabell 1. Fulltextsgranskade titlar för bedömning av vidare analys. Fetmarkerad siffra innebär att titeln inkluderades för vidare analys.
1a. Sjödin, H, Johansson A, Brännström Å, Farooq Z, Kriit HK, Wilder-Smith A, m.fl. COVID-19
healthcare demand and mortality in Sweden in response to non-pharmaceutical (NPIs) mitigation and suppression scenarios | medRxiv [Internet]. [citerad 01 mars 2021]. Tillgänglig vid:
https://www.medrxiv.org/content/10.1101/2020.03.20.20039594v3
1b. Sjödin H, Johansson AF, Brännström Å, Farooq Z, Kriit HK, Wilder-Smith A, m.fl. COVID-19 healthcare demand and mortality in Sweden in response to non-pharmaceutical mitigation and suppression scenarios. Int J Epidemiol. 01 oktober 2020;49(5):1443–53.
2. Vaid S, McAdie A, Kremer R, Khanduja V, Bhandari M. Risk of a second wave of Covid-19 infections: using artificial intelligence to investigate stringency of physical distancing policies in North America. International Orthopaedics (SICOT). 01 augusti 2020;44(8):1581–9.
3a. Ankaralı H, Erarslan N, Pasin Ö. Modeling and Short-Term Forecasts of Indicators for COVID-19 Outbreak in 25 Countries at the end of March. medRxiv. 01 maj 2020;2020.04.26.20080754.
3b. Ankaralı H, Erarslan N, Pasin Ö, Al-Mahmood AK. Modeling and short-term forecasts of indicators for COVID-19 outbreak in 25 countries at the end of march. Bangladesh J Med Sci. 2020;6–20.
4. Bryant P, Elofsson A. Estimating the impact of mobility patterns on COVID-19 infection rates in 11 European countries. PeerJ [Internet]. 15 september 2020 [citerad 02 mars 2021];8. Tillgänglig vid: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7500353/
5a. Jung SY, Jo H, Son H, Hwang HJ. Real-World Implications of a Rapidly Responsive COVID-19 Spread Model with Time-Dependent Parameters via Deep Learning: Model Development and Validation [Internet]. JMIR Preprints. [citerad 01 mars 2021]. Tillgänglig vid:
https://preprints.jmir.org/preprint/19907
5b. Jung SY, Jo H, Son H, Hwang HJ. Real-World Implications of a Rapidly Responsive COVID-19 Spread Model with Time-Dependent Parameters via Deep Learning: Model Development and Validation. J Med Internet Res. 09 september 2020;22(9):e19907.
6. Khan YA, Abbas SZ, Truong B-C. Machine learning-based mortality rate prediction using optimized hyper-parameter. Computer Methods and Programs in Biomedicine. 01 december
2020;197:105704.
7. Kovriguine DA, Nikitenkova SP. Predictive monitoring of secondary epidemic waves of covid-19 in iran, russia and other countries. Bulletin of Russian State Medical University. 2020;27–32.
8. Verelst F, Kuylen E, Beutels P. Indications for healthcare surge capacity in European countries facing an exponential increase in coronavirus disease (COVID-19) cases, March 2020. Euro Surveill
[Internet]. 02 april 2020 [citerad 02 mars 2021];25(13). Tillgänglig vid: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7140594/
9. Fokas AS, Dikaios N, Kastis GA. Mathematical models and deep learning for predicting the number of individuals reported to be infected with SARS-CoV-2. J R Soc Interface. augusti
2020;17(169):20200494.
10. Rypdal K, Rypdal M. A Parsimonious Description and Cross-Country Analysis of COVID-19 Epidemic Curves. International Journal of Environmental Research and Public Health. januari
2020;17(18):6487.
11. Saguti F, Magnil E, Enache L, Churqui MP, Johansson A, Lumley D, m.fl. Surveillance of wastewater revealed peaks of SARS-CoV-2 preceding those of hospitalized patients with COVID-19. Water Research. 01 februari 2021;189:116620.
12. Ghisolfi S, Almås I, Sandefur JC, von Carnap T, Heitner J, Bold T. Predicted COVID-19 fatality rates based on age, sex, comorbidities and health system capacity. BMJ Glob Health. september 2020;5(9).
13a. Gardner J, Willem L, Van Der Wijngaart W, Kamerlin S, Brusselaers N, Kasson P. Intervention strategies against COVID-19 and their estimated impact on Swedish healthcare capacity | medRxiv [Internet]. [citerad 01 mars 2021]. Tillgänglig vid:
https://www.medrxiv.org/content/10.1101/2020.04.11.20062133v1
13b. Kamerlin SCL, Kasson PM. Managing Coronavirus Disease 2019 Spread With Voluntary Public Health Measures: Sweden as a Case Study for Pandemic Control. Clin Infect Dis. 15 december 2020;71(12):3174–81.
14. Kumar P, Kalita H, Patairiya S, Datt Sharma Y, Nanda C, Rani M, m.fl. Forecasting the dynamics of COVID-19 Pandemic in Top 15 countries in April 2020: ARIMA Model with Machine Learning Approach | medRxiv [Internet]. [citerad 02 mars 2021]. Tillgänglig vid:
https://www.medrxiv.org/content/10.1101/2020.03.30.20046227v2
15. Murray C. IHME. Forecasting the impact of the first wave of the COVID-19 pandemic on hospital demand and deaths for the USA and European Economic Area countries | medRxiv [Internet]. [citerad 02 mars 2021]. Tillgänglig vid:
https://www.medrxiv.org/content/10.1101/2020.04.21.20074732v1.full
16. Runvik H, Medvedev A, Eriksson R, Engblom S. Initialization of a Disease Transmission Model. arXiv:200708925 [cs, eess, q-bio] [Internet]. 17 juli 2020 [citerad 02 mars 2021]; Tillgänglig vid:
http://arxiv.org/abs/2007.08925
17. Hasan A, Susanto H, Tjahjono VR, Kusdiantara R, Putri ERM, Hadisoemarto P, m.fl. A new estimation method for COVID-19 time-varying reproduction number using active cases. medRxiv. 29 juni 2020;2020.06.28.20142158.
18. Britton T, Ball F. Summer vacation and COVID-19: effects of metropolitan people going to summer provinces. arXiv:200600579 [physics, q-bio] [Internet]. 31 maj 2020 [citerad 02 mars 2021]; Tillgänglig vid: http://arxiv.org/abs/2006.00579
19. Hult H, Favero M. Estimates of the proportion of SARS-CoV-2 infected individuals in Sweden. arXiv:200513519 [physics, q-bio] [Internet]. 25 maj 2020 [citerad 02 mars 2021]; Tillgänglig vid:
20. Qi C, Karlsson D, Sallmen K, Wyss R. Model studies on the COVID-19 pandemic in Sweden. arXiv:200401575 [physics, q-bio] [Internet]. 03 april 2020 [citerad 02 mars 2021]; Tillgänglig vid:
http://arxiv.org/abs/2004.01575
21. Kaiser A, Kretschmer D, Leszczensky L. Social network-based strategies for classroom size reduction can help limit outbreaks of SARS-CoV-2 in high schools. A simulation study in classrooms of four European countries. medRxiv. 15 februari 2021;2020.11.30.20241166.
22. Mergel D. Modelling daily infections with Covid-19 in Germany, France, and Sweden with a trend line based on day-to-day reproduction rates | medRxiv [Internet]. [citerad 02 mars 2021]. Tillgänglig vid: https://www.medrxiv.org/content/10.1101/2020.06.03.20121459v1
23. Carvalho EA de, Carvalho RA de. COVID-19: Time-Dependent Effective Reproduction Number and Sub-notification Effect Estimation Modeling. medRxiv. 01 augusti 2020;2020.07.28.20164087.
24. Furutani H, Hiroyasu T, Okuhara Y. Simple method for estimating daily and total COVID-19 deaths using a Gumbel model | Research Square [Internet]. [citerad 02 mars 2021]. Tillgänglig vid:
https://www.researchsquare.com/article/rs-120984/v1
25. Bhanot G, DeLisi C. Predictions for Europe for the Covid-19 pandemic from a SIR model. medRxiv. 28 maj; https://doi.org/10.1101/2020.05.26.20114058
26. Cherednik I. A Surprising formula for the spread of Covid-19 Under Aggressive Management. medRxiv. 07 oktober 2020;2020.04.29.20084483.
27. McCauley JL. Pandemic infection rates are deterministic but cannot be modeled. AIP Adv. november 2020;10(11):115023. https://doi.org/10.1063/5.0015303
28. Asteris PG, Douvika M, Karamani C, Skentou A, Daras T, Cavaleri L, m.fl. A Novel Heuristic Global Algorithm to Predict the COVID-19 Pandemic Trend. medRxiv. 06 maj 2020;2020.04.16.20068445.
29. Bhardwaj R. A Predictive Model for the Evolution of COVID-19. medRxiv. 17 april
2020;2020.04.13.20063271.
30. Soubeyrand S, Ribaud M, Baudrot V, Allard D, Pommeret D, Roques L. The current COVID-19 wave will likely be mitigated in the second-line European countries. medRxiv. 22 april
31. Vårdbehov - scenarier Wuhan, grafer 2020-03-20 [Internet]. 2020 mar. Tillgänglig vid:
https://www.folkhalsomyndigheten.se/contentassets/4b4dd8c7e15d48d2be744248794d1438/vard behov-scenarier-wuhan-grafer-2020-03-nn.pdf
32. Skattning av behov av slutenvårdsplatser Covid-19 (den 20 mars 2020, uppdaterad 27 mars 2020) [Internet]. 2020 mar s. 46. Tillgänglig vid:
https://www.folkhalsomyndigheten.se/contentassets/1887947af0524fd8b2c6fa71e0332a87/skat tning-av-vardplatsbehov-folkhalsomyndigheten.pdf
33. Skattning av behov av slutenvårdsplatser covid-19 (den 3 april 2020) [Internet]. 2020 apr s. 4. Tillgänglig vid:
https://www.folkhalsomyndigheten.se/contentassets/4b4dd8c7e15d48d2be744248794d1438/sk attning-av-behov-av-slutenvardsplatser-covid-lombardiet.pdf
34. Skattning av behov av slutenvårdsplatser covid-19 (den 13 maj 2020) [Internet]. 2020 maj. Tillgänglig vid:
https://www.folkhalsomyndigheten.se/contentassets/4b4dd8c7e15d48d2be744248794d1438/va rdbehov-scenarier-vardbelastning-baserat-svenska-data-20200514.pdf
35. Skattning av peakdag och antal infekterade i covid-19-utbrottet i Stockholms län februari-april 2020 [Elektronisk resurs] [Internet]. 2020. Tillgänglig vid:
http://www.folkhalsomyndigheten.se/publicerat-material/publikationsarkiv/s/skattning-av-peakdag-och-antal-infekterade-i-covid-19-utbrottet-i-stockholms-lan-februari-april-2020
36. Estimates of the number of infected individuals during the covid-19 outbreak in the Dalarna region, Skåne8 region, Stockholm region, and Västra Götaland region, Sweden [Elektronisk resurs] [Internet]. 2020. Tillgänglig vid:
http://www.folkhalsomyndigheten.se/publicerat- material/publikationsarkiv/e/estimates-of-the-number-of-infected-individuals-during-the-covid-19-outbreak
37. Effekt av ökade kontakter och ökat resande i Sverige sommaren 2020 [Elektronisk resurs] [Internet]. 2020. Tillgänglig vid:
http://www.folkhalsomyndigheten.se/publicerat- material/publikationsarkiv/e/effekt-av-okade-kontakter-och-okat-resande-i-sverige-sommaren-2020
38. Scenarier – Tre smittspridningsscenarier inom regeringsuppdraget ”Plan inför eventuella nya utbrott av covid-19” [Elektronisk resurs] [Internet]. 2020. Tillgänglig vid:
http://www.folkhalsomyndigheten.se/publicerat-material/publikationsarkiv/s/scenarier--tre-smittspridningsscenarier-inom-regeringsuppdraget-plan-infor-eventuella-nya-utbrott-av-covid-19
39. Utvärdering av åldersgräns för särskilda råd till personer 70 år eller äldre [Elektronisk resurs] [Internet]. 2020. Tillgänglig vid:
http://www.folkhalsomyndigheten.se/publicerat- material/publikationsarkiv/u/utvardering-av-aldersgrans-for-sarskilda-rad-till-personer-70-ar-eller-aldre
40. Scenarier för fortsatt spridning (delrapport 2) [Elektronisk resurs] [Internet]. 2021. Tillgänglig vid:
http://www.folkhalsomyndigheten.se/publicerat-material/publikationsarkiv/s/scenarier-for-fortsatt-spridning-delrapport-2
41. Prognoser-inlaggningar-pa-sjukhusens-vanlig-vardavdelningar-vecka-53 [Internet]. [citerad 30 december 2020]. Tillgänglig vid:
https://www.folkhalsomyndigheten.se/contentassets/4b4dd8c7e15d48d2be744248794d1438/pr ognoser-inlaggningar-pa-sjukhusens-vanlig-vardavdelningar-vecka-53.pdf
42. Trendanalys_region_2020-12-29 [Internet]. [citerad 29 december 2020]. Tillgänglig vid:
https://www.folkhalsomyndigheten.se/contentassets/4b4dd8c7e15d48d2be744248794d1438/tre ndanalys_region_2020-12-29.pdf
43. Socialstyrelsen. Socialstyrelsens plan inför eventuella nya utbrott av covid-19 [Internet]. s. 30. Tillgänglig vid:
https://www.socialstyrelsen.se/globalassets/sharepoint-dokument/artikelkatalog/ovrigt/2020-9-6886.pdf
44. MSB. Scenarier som förstärkning till befintlig analys och planering under coronapandemin [Internet]. s. 36. Tillgänglig vid: https://rib.msb.se/filer/pdf/29401.pdf
45. ECDC. Projected baselines of COVID-19 in the EU/EEA and the UK for assessing the impact of de-escalation of measures [Internet]. s. 31. Tillgänglig vid:
https://www.ecdc.europa.eu/sites/default/files/documents/Projected-baselines-COVID-19-for-assessing-impact-measures.pdf
46. ECDC. Baseline projections of COVID-19 in the EU/EEA and the UK: update [Internet]. s. 34. Tillgänglig vid: https://www.ecdc.europa.eu/sites/default/files/documents/ECDC-30-day-projections-Sept-2020.pdf
47. ECDC. Updated projections of COVID-19 in the EU/EEA and the UK [Internet]. 2020 nov. Tillgänglig
vid:
48. ECDC. Strategies for the surveillance of COVID-19 [Internet]. s. 7. Tillgänglig vid:
https://www.ecdc.europa.eu/sites/default/files/documents/COVID-19-surveillance-strategy-9-Apr-2020.pdf
49. ECDC. Surveillance of COVID-19 at long-term care facilities in the EU/EEA. covid-forecasts-modelling-november-2020.pdf [Internet]. [citerad 04 mars 2021]. Tillgänglig vid:
https://www.ecdc.europa.eu/sites/default/files/documents/covid-forecasts-modelling-november-2020.pdf
50. ECDC. ECDC report on response Covid-19 [Internet]. [citerad 04 mars 2021] Tillgänglig vid:
https://www.ecdc.europa.eu/sites/default/files/documents/ECDC_report_on_response_Covid-19.pdf
51. Britton T. Basic estimation-prediction techniques for Covid-19, and a prediction for Stockholm | medRxiv [Internet]. [citerad 04 mars 2021]. Tillgänglig vid:
https://www.medrxiv.org/content/10.1101/2020.04.15.20066050v2
52. Altmejd A, Rocklöv J, Wallin J. Nowcasting Covid-19 statistics reported withdelay: a case-study of Sweden. arXiv:200606840 [physics, q-bio] [Internet]. 11 juni 2020 [citerad 04 mars 2021]; Tillgänglig vid: http://arxiv.org/abs/2006.06840
Efter fulltextgranskning exkluderades 23 titlar. De främsta orsakerna till exkludering var att inga prediktioner eller scenarion presenterades, dessa inte omfattade Sverige, eller att inga svenska data användes i analysen. Totalt återstod 29 titlar.
Bedömning av systematiska felkällor
Utvärdering av de kvarvarande 29 titlarna med avseende på påverkan från systematiska felkällor visade att 18 klarade ROBOT-gränsvärdet (dvs. fick 3 poäng eller färre). Dessa 18 titlar samt 4 av de rapporter som publicerats av Fohm inkluderades i den slutgiltiga resultatsyntesen, n=22 (markerade i fet stil i tabell 1).
Resultatsyntes
Syntesen redovisas uppdelat i följande områden: konceptuell ansats (faktisk prediktion, scenario), modelltyp, modellkonstruktion, kalibrering, redovisning av osäkerhet i modellen (parametrar, struktur), samt utfallsvalidering.
För att illustrera kronologin bland de detaljgranskade titlarna har vi skapat en tidslinje där de centralt placerade siffrorna svarar mot publikationsdatum för de titlar vi granskat (Figur 1). Illustrationen visar även deras relation till viktiga händelser under pandemins utveckling.
Konceptuell ansats: scenario eller prediktion
Titlarna som ingick i resultatsyntesen var ofta otydliga med avseende på den konceptuella ansatsen, dvs. om modelleringen avsåg prediktion eller scenarioanalys. Exempelvis beskrivs i (1b Sjödin et al.) den övergripande ambitionen som ett försök att skapa scenarier för pandemiutvecklingen, men samtidigt används orden “predict/prediction” 16 gånger, tex. i bildtexten som beskriver figur 1: “Predicted number of total deaths from COVID-19 in the whole population in Sweden”. I personlig kommunikation med författarna framkom att ett av scenarierna (d) erhållits genom att anpassa modellen mot
observerade data. Övriga scenarier har genererats från scenario d genom att justera värdena på parametrar som beskriver social distansering och förkortning av smittsam period.
Liknande otydlighet återfinns i (13b Kamerlin et al.) som använder båda begreppen utan att göra en tydlig åtskillnad, och även i (15 Murray et al.) används prediktion och projektion utbytbart. Även i ECDC:s rapporter är det oklart vad som avses. I den första rapporten (45) används “scenario”, “prediction” och “projection” till synes som synonymer. I de två senare rapporterna (46 och 47) är
Figur 1. Tidslinje över pandemins utveckling under 2020 där publikationsdatum
för de detaljgranskade publikationerna är markerade.
Fohm använder både ‘prediktion’ och ‘scenario’. I vissa fall är distinktionen tydlig (35, 37, 38, 41, 42) medan i andra fall finns oklarheter: i (36) kalibreras modellen till data och genererar kortsiktiga
prediktioner av antalet fall. Därefter används samma modell (med skattade parametrar) för att generera långsiktiga scenarier där infektiviteten antas öka på olika sätt. Ordet scenario används i inledningen till rapporten, men inte för att beskriva graferna. I (40) tas scenarier fram, men återigen kalibreras
modellen mot riktiga data och dessutom beskrivs framtida utfall som “simulerade antal fall”, vilket ökar risken för begreppsförvirring. Ytterligare ett fall av möjlig begreppsförvirring förekommer i (32,33,34) där skattning och scenario används synonymt. Begreppet skattning används vanligen inom statistik för att givet data bestämma värdet på en parameter och har ingen tydlig betydelse i denna kontext.
Modelltyper
De modeller som användes för prediktioner och scenarier för spridning av covid-19 i Sverige under 2020 kunde kategoriseras i tillståndsmodeller (eller fackmodeller), statistiska modeller och agentbaserade modeller.
I tillståndsmodeller delas populationen upp i två eller flera tillstånd som representerar olika
hälsotillstånd (exempelvis mottaglig, infekterad och tillfrisknad, som i den klassiska SIR-modellen). I dessa modeller specificeras också hur individer flyttas mellan olika tillstånd vilket både kan ske med en viss inverkan av slump eller helt enligt förutbestämda kriterier.
Statistiska modeller skapar prognoser genom att anta att framtida data (exempelvis antalet dagliga fall eller IVA-beläggningen) kommer att följa ett visst mönster i tid (och eventuellt rum). Det kan till exempel handla om att kurvan av antalet dagliga fall kommer ha en generell form vars exakta form bestäms genom att jämföra modellen med historiska data.
Agentbaserade modeller liknar tillståndsmodeller, men istället för att sammanföra alla individer med samma sjukdomstillstånd i en homogen grupp beskrivs varje individ för sig. Detta gör det möjligt att i större detalj spegla populationens demografi och även att fånga eventuell heterogenitet i
sjukdomsförloppet.
Bland de modeller som inkluderades i det slutgiltiga urvalet återfinns tillståndsmodeller (fackmodeller) (n=11), statistiska modeller (n=8) och en agentbaserad modell. Tidsmässigt är de olika modelltyperna utspridda över hela den betraktade perioden, med en viss övervikt för statistiska modeller under pandemins tidiga fas.
Fohm har använt sig både av tillståndsmodeller (35, 36, 37, 38, 40) och statistiska modeller (32, 33, 34,
41, 42). Här har vi valt att hänföra Fohm:s tidiga rapporter (32, 33, 34) till statistiska modeller i brist på detaljerad öppet tillgänglig dokumentation vid tidpunkt för publicering.
Dokumentation och reproducerbarhet
Bland titlarna återfinns hela spektrat av modelldokumentation. För ett fåtal studier finns programkoden tillgänglig (35, 4 Bryant et al., 13b Kamelin et al.) medan i merparten av titlarna är modellen beskriven med varierande noggrannhet i text. ECDC:s samtliga rapporter lider av denna brist på dokumentation och medföljande reproducerbarhet.
Fohm:s rapporter under 2020 sträcker sig från väldokumenterade, exempelvis (35) vars kod finns på GitHub, till prognoser med bristande dokumentation (323334363738) och prognoser som helt saknar grundläggande beskrivning (42). För (323334) finns tydlig beskrivning av antaganden, men ingen dokumentation av den beräkningsmodell som genererat scenarierna.
Modellkonstruktion
Urvalet av variabler och deras relationer (strukturell osäkerhet) i modellen diskuteras i en majoritet av de detaljgranskade titlarna (n=12/22). Det finns dock en stor spännvidd i omfattningen av diskussionen. Vissa studier nämner osäkerheten i enskilda antaganden (30 Soubeyrand et al.) medan andra har en principiell diskussion om strukturell osäkerhet och hur den bör hanteras, såsom ECDC:s första rapport (45).
Fohm:s rapporter faller huvudsakligen i den undre delen av skalan över omfattning av diskussion av strukturell osäkerhet. I de tidiga rapporterna skrivs det att “Osäkerheten kring de epidemiologiska parametrarna är fortfarande stor och det är därför riskabelt att väva in antaganden i modelleringen så att de döljs." (32, 33, 34). I (35) diskuteras osäkerhet i antaganden om en homogen kontaktstruktur och att detta inte inkluderas i de rapporterade konfidensintervallen. En känslighetsanalys av detta
antagande utförs i (37) där prediktioner för modeller med och utan åldersfördelning (och motsvarande kontaktstruktur) jämförs. I (42) som använder en statistisk modell för att skatta trender i antalet fall i regionerna sägs att “Den skattade trenden bör tolkas med extra stor försiktighet på grund av osäker datakvalitet under jul- och nyårshelgerna” vilket är ett påstående om osäkerhet som ligger utanför den valda modellen. I övriga rapporter (35373841) diskuteras inte strukturell osäkerhet.
Modellkalibrering
De granskade titlarna använde svenska data från både primära svenska och utländska källor för att kalibrera sina modeller. Vi identifierade sju unika källor: Folkhälsomyndigheten, Region Stockholm, c19.se, SmiNet, ECDC (Epidemic Intelligence Dataset), Svenska Intensivvårdsregistret och Johns Hopkins University. I ett fall gick det inte att utläsa vilken eller vilka källor som använts (15 Murray et al.). Bland titlarna finns tre metoder för modellkalibrering representerade: bayesiansk skattning där parametrar antas ha en viss statistisk spridning som justeras med hjälp av data, maximum
likelihood-exponentiell kurva anpassades ur vilken en dubbleringstid erhölls som sedan jämfördes med faktiska data. Det är värt att notera att endast en av modellens nästan hundra parametrar kalibreras vilket gör den faktiska anpassningen osäker.
Det finns också en grupp studier som inte tydligt anger hur kalibreringen har utförts. Här återfinner vi (1a och b Sjödin et al.) som kalibrerar ett stort antal parametrar men endast anger “...model
parameterization was iteratively calibrated against these data with the objective to narrow down parameter-values to fit the dynamics of one of the five scenarios to these data.” utan att specificera vilken metod som använts. Efter personlig kommunikation med författarna har vi fått en mer detaljerad beskrivning av kalibreringsmetoden, som består av en kombination av litteraturstudie, expertkunskap och manuell justering av parametrar.
Även bland Fohm:s rapporter finns vissa oklarheter vilken kalibreringsmetod som använts. I flera rapporter sägs det att modellen är kalibrerad mot rapporterade fall, men vilken metod som använts är inte specificerat (37, 38, 40). Likaså i (41, 42) är det oklart vilken slags kalibreringsmetod som använts. Bland Fohm:s rapporter sticker också (32, 33, 34) ut där ingen formell kalibreringsmetod använts utan istället anges: “En arbetsgrupp bestående av infektionsläkare, epidemiologer och analytiker vid Folkhälsomyndigheten har bedömt vilka parametervärden som är rimliga att använda för denna skattning...”.
Kvantifiering av prediktiv osäkerhet
Bland de titlar som säger sig presentera prediktioner (n=8) anges grafiska konfidensintervall i alla utom (13b Kamerlin et al) där dessa endast anges för prediktioner av dödsfall. Detta trots att författarna beskriver en redundans i parameterrummet som innebär en stor osäkerhet kring exakta
parametervärden, vilket borde avspeglas i prediktionerna.
Fohm:s tidiga modeller (32, 33, 34) beskrivs både som skattningar av vårdbehov och scenarier för vårdbehovsutveckling. I rapporterna beskrivs kunskapsläget som dåligt och de skriver
“... Folkhälsomyndigheten har bedömt vilka parametervärden [som beskriver clinical attack rate och allvarlighetsgrad av sjukdom i olika åldersgrupper] som är rimliga att använda för denna skattning...”. I denna situation är det befogat att med hjälp av känslighetsanalys redovisa någon slags kvantifiering av osäkerheten i skattningarna (Saltelli 2013), men ingen sådan information presenteras. I de senare rapporterna (35, 36, 37) förekommer dock känslighetsanalys med avseende på parametrar med stor osäkerhet. I (40) anpassas en tillståndsmodell mot data på faktiska fall genom att kalibrera infektiviteten i modellen. En sådan anpassning ger information om osäkerheten i kalibreringen och eftersom den skattade infektiviteten används i scenariot borde motsvarande konfidensintervall rapporteras.
Primär utfallsvalidering
Bland de studier som detaljgranskats utförs i fyra (35, 46, 4 Bryant et al., 30 Soubeyrand et al.) någon
Soubeyrand et al.). Bland Fohm:s rapporter används primär validering endast i (35) där Fohm studerar hur väl den kalibrerade modellen kan prediktera antalet fall tre och fem dagar fram i tiden. För (38) har utfallet validerats i en separat publikation som jämför utfallet från två av scenarierna med det verkliga utfallet under 15 veckor.
Sekundär utfallsvalidering
Skillnaderna i ansats, modellerat utfall och predikterad tidsperiod gör att det inte går att jämföra utfallet för alla studier som valts för resultatsyntes samtidigt. Vi har därför här brutit ner jämförelsen i mindre grupper baserat på utfallsvariabler, population och tidsperiod.
IVA-beläggning (Region Stockholm): Figur 2 visar olika scenarier för IVA-beläggningen i Region Stockholm tillsammans med det verkliga utfallet under våren 2020. För att kunna jämföra resultaten från (13a Gardner et al.) och (13b Kamerlin et al) har vi multiplicerat deras scenario för riket med andelen av Sveriges befolkning som bor i Stockholms län.
I (1a Sjödin et al.) och (1b Sjödin et al.) behandlas också IVA-beläggningen i Region Stockholm, men eftersom dessa studier använde en betydande del av utfallet för att kalibrera modellen presenterar vi dem i en separat (figur 3). Notera att (1a Sjödin et al.) publicerades 10 maj som preprint och (1b Sjödin et al.) accepterades den 19 juni för publikation (bägge datumen efter tidsperioden som modelleringen gällde).
Incidens av covid-19-fall (Region Stockholm): För att kunna jämföra prediktioner av incidensen av sjukdomsfall av covid-19 var vi tvungna att justera prediktionerna från Fohm som i sina rapporter gör prediktioner av antal rapporterade fall. I dessa rapporter skattar de också andelen obekräftade fall, vilket gör det möjligt att skala om prediktionerna så att de istället gäller det totala antalet fall. En sådan jämförelse visas i figur 4, som också innehåller prediktioner för (19 Hult et al.).
Incidens av dödsfall i covid-19 (Sverige): För att kunna presentera en jämförelse för hela riket har vi jämfört antalet dödsfall i covid-19 under våren 2020 (figur 5). Fohm har inte gjort några prognoser för dödsfall utan här jämför vi prediktioner från ECDC (45) och (1b Sjödin et al.), (4 Bryant et al.) och (30 Soubeyrand et al.). Data på verkligt utfall hämtades från Fohm. Trots avvikelserna mellan prediktion och verkligt utfall visade alla fyra modellerna en tillfredsställande överensstämmelse med faktiska data .
Figur 2. Modellerat och verkligt utfall för IVA-beläggning i Region Stockholm.
Cirklarna placerade på kurvorna visar det datum fram till vilket data
användes för att kalibrera modellen. Då Fohm inte kalibrerade dessa
modeller mot data har vi visat publikationsdatum för respektive rapport.
Figur 3. Jämförelse av modellerat och verkligt utfall på IVA-beläggningen i
Region Stockholm. Cirklarna placerade på kurvorna visar det datum fram till
vilket data användes för att kalibrera modellen.
Figur 4. Jämförelse av modellerat antal fall/dag i Region Stockholm. Cirklarna
placerade på kurvorna visar det datum fram till vilket data användes för att
kalibrera modellen. Då inga konsistenta data över antalet fall finns i den visade
tidsperioden har vi avstått från att visa det verkliga utfallet.
RESULTATDISKUSSION
I litteratursökningen identifierades initialt 1478 artiklar; 892 genom systematisk sökning efter kollegialt granskade vetenskapliga artiklar, 566 genom explorativ sökning i preprint-arkiv, samt 20 rapporter via uppslagssökning i den grå litteraturen. Efter granskning av sammanfattningar och därefter hela titlar med avseende på urvalskriterierna kvarstod totalt 33. Elva av dessa uteslöts på grund av risk för påverkan från felkällor.
Av de 22 titlar som ingick i den avslutande resultatsyntesen var omkring hälften vetenskapliga publikationer och de övriga var myndighetsrapporter. Det låga antalet vetenskapliga publikationer är överraskande. Den vetenskapliga kompetensen inom modellering och epidemiologi i Sverige måste anses vara tillfredsställande i ett internationellt perspektiv. Likaså måste tillgången till data anses ha
Figur 5. Jämförelse av modellerat och verkligt antal dödsfall i Sverige under
2020. Cirklarna placerade på kurvorna visar det datum fram till vilket data
användes för att kalibrera modellen.
förklaring till det relativt låga antalet vetenskapliga publikationer under 2020 är att få forskargrupper hade tillgång till samtliga nödvändiga resurser, det vill säga att forskarna med modellerings- och epidemiologisk metodkompetens hade tillgång till hälso- och sjukvårdsdata. Belägg för hypotesen kan ses i redovisningen av urvalsprocessen i denna studie. Åtskilliga artiklar uteslöts på grund av att deras främsta syfte var metodutveckling till skillnad från praktisk prediktion. Av artiklarna som hade
pandemiprediktion som huvudmålsättning exkluderades en tredjedel (11/33) i det sista
granskningssteget av metodskäl, det vill säga på grund av risk för påverkan från systematiska felkällor. Antalet identifierade publicerade artiklar kan också ha påverkats av långa publiceringsprocesser för dessa. Dock har vetenskapliga tidskrifter siktat på korta processer för artiklar som fokuserar på covid-19.
Konceptuell ansats
Bland de granskade titlarna finns modeller som uttryckligen använts för att generera prediktioner eller scenarier, men flertalet modeller har presenteras i en gråzon där målsättningen och ansatsen är oklar. När man talar om prediktion inom modellering brukar man normalt syfta på att fastställa den mest troliga utvecklingen av ett studerat fenomen. Med begreppet scenario brukar man däremot mena en förenklad beskrivning av hur fenomenet kan komma att utvecklas i framtiden beroende på vilka olika antaganden som görs (Maier 2016). Scenariomodellering riktas således inte mot en unik trolig framtid, utan varje enskilt scenario ger en möjlig bild av hur framtiden kan komma att utvecklas. Ett relaterat begrepp är projektion, som ofta används synonymt med scenario.
I litteratursyntesen observerade vi att terminologin som används för beskrivning av framtida pandemiutveckling ibland inte heller var konsekvent inom en enskild rapport, det vill säga,
beskrivningen växlade mellan att modellen skulle tolkas som prediktion eller som ett scenario (1b Sjödin et al., 15 Murray et al., 45 ECDC). Framtida analyser av en pandemis utveckling kan alltså förbättras när det gäller att klargöra distinktionen mellan prediktion av den troliga utvecklingen och presentation av möjliga scenarion.
Modelltyper
Vi observerade en tendens till förskjutning mot användning av statistiska modeller under pandemins inledande skeden. En möjlig förklaring är att kunskapsläget om coronaviruset och covid-19 har
förändrats under pandemin. De statistiska modeller som granskades i studien krävde ingen information om virusets underliggande biologiska egenskaper och förlitade sig på insamlade (empiriska) data från geografiska områden där spridningen av pandemin redan pågick. På ytan framstår det som att dessa modeller kräver färre antaganden om hur spridningen faktiskt sker. Men i själva verket finns en mängd dolda antaganden om att spridningen i Sverige kommer att likna den i andra länder, trots att
demografisk sammansättning av befolkningen och villkor inom sjukvården skiljer sig åt. Ur ett epidemiologiskt perspektiv är dessa dolda antaganden nödvändiga att ta hänsyn till för att inte missbedöma effekten av en exponering på ett senare utfall genom så kallade störfaktorer.
Tillståndsmodeller och agentbaserade modeller är mer explicita om antaganden, men är samtidigt svårare att använda tidigt i en pandemi. Det beror på att numeriska värden på modellens parametrar (exempelvis längden på smittsamheten eller andelen asymtomatiska fall) måste bestämmas trots det osäkra kunskapsläget.
Resultatsyntesen visade således att samtliga av de mest kända modelltyperna har använts för
pandemiprediktioner i Sverige under 2020. Då alla modelltyperna hade generiska för- och nackdelar är det svårt att dra slutsatser om huruvida någon av dessa typer skulle vara mest lämplig för ändamålet.
Dokumentation
Dokumentationen av de modeller som granskades i resultatsyntesen varierade från mycket sparsam till utförlig. Ett grundkrav vid rapportering av modellering är att läsaren ges möjlighet att bilda sig en uppfattning om hur modellen är konstruerad och därmed hur prediktioner har tagits fram.
Modellbeskrivning ska även kunna göra det möjligt för andra forskare att reproducera resultaten (Beam 2020).
För enkla modeller är frågan om reproduktion sällan problematisk. Men komplexa modeller (såsom Sjödin et al. (1a och 1b) och ECDC (45)) kan vara invecklade att förstå och därmed svåra för andra forskare och analytiker att reproducera. I praktiken är det omöjligt för utomstående forskare att omprogrammera dessa två modeller, som består av ett stort antal kopplade ekvationer. För komplexa modeller måste därför ribban för dokumentation sättas högre än för enkla modeller. I rapporteringen av komplexa modeller innebär kravet på att dokumentationen ska möjliggöra reproduktion av resultaten i praktiken att programkoden som genererat prediktionen behöver göras publikt tillgänglig, exempelvis via tjänster som GitHub.
Även om myndighetsrapporter har en annan funktion än vetenskapliga artiklar är det rimligt att tillämpa samma dokumentationskrav på dessa. Transparens är här viktig då rapporterna ska användas som beslutsunderlag vid andra myndigheter. För att prediktionerna som rapporteras ska vara praktiskt användbara måste analysunderlag och eventuella begränsningar i resultatens tillämpning vara beskrivna i en omfattning, med en terminologi och på en nivå som är förståelig för mottagarna.
Modellkonstruktion
Modeller utgör förenklade men användbara beskrivningar av verkligheten. Allt oväsentligt har skalats bort och bara de element (variabler) som konstruktören anser vara intressanta återstår. När det gäller utfall som modellerades under pandemin år 2020, omfattade de detaljgranskade studierna prediktioner av morbiditet, mortalitet och sjukvårdsbelastning. Under tidiga pandemiskeden är det intressant ur ett planeringsperspektiv med uppskattningar av antalet patienter som sjukvården behöver behandla på
samhällsinterventioner. Även om skattningar av antalet dödsfall är mindre tillämpningsbara i direkt åtgärdsplanering, är sådana skattningar av intresse för att förstå allvarlighetsgraden av en pandemi. Vilka variabler som krävs för att göra dessa prediktioner i olika situationer är inte givet. Dessutom kan förklaringsvariablerna som ingår i en modell representeras på olika, ibland mycket förenklade, vis. För 12 av de 22 detaljgranskade modellerna diskuteras inte urvalet av förklaringsvariabler. När det gäller pandemimodeller kan utfallet påverkas om konstruktören exempelvis väljer att inkludera populationens yrkes- eller åldersstruktur, respektive ignorerar dessa och behandlar alla individer som identiska. Brist på kunskap om vad som är viktigt att inkludera i modellen kallas strukturell osäkerhet. Till skillnad från
parametrisk osäkerhet är denna typ av osäkerhet svårare att både upptäcka och kvantifiera. En
möjlighet är att jämföra modeller med olika komponenter och undersöka hur deras prediktioner skiljer sig åt med avseende på tillförlitlighet. I de detaljstuderade artiklarna gjordes dock främst kvalitativa bedömningar där modellerna jämförs med tidigare studier.
En allmän svaghet i de studerade artiklarna var således att diskussion om den strukturella osäkerheten ofta saknades. Med andra ord gjordes inga reflektioner om element som beskriver exempelvis
ekologiska eller samhälleliga förhållanden, som uteslutits från modellen och vilka konsekvenser detta kan ha haft för resultaten.
Modellkalibrering
Många modeller innehåller parametrar vars numeriska värden är okända vid tidpunkten för modellens konstruktion och som måste justeras löpande för att modellen ska stämma överens med faktiska data. I de modeller som ingick i resultatsyntesen har exempelvis virusets smittsamhet justeras så att antalet fall stämmer med verkliga data (19 Hult, 35 Fohm). Denna process kallas för modellkalibrering och kan göras på en mängd olika sätt. För pandemimodeller som kalibreras mot historiska data är det vanligt att även kvantifiera osäkerheten i de parametrar som skattas. Denna osäkerhet fortplantar sig till prediktioner och brukar illustreras med hjälp av konfidensintervall i de grafer som visar prediktionen. Notera att denna osäkerhet är beroende av den givna modellen och att en annan modell anpassad mot samma data i regel ger andra konfidensintervall.
Effekten av osäkerhet i parametrar som inte kalibreras brukar undersökas med så kallad känslighetsanalys, som åskådliggör effekten av att ändra parametervärdet. Bland de granskade studierna var analyser av hur ändringar av parametervärden påverkar prediktionsresultaten generellt sett bristfälliga, eller saknades helt.
Även scenariomodeller som anpassats mot historiska data innehåller parametrisk osäkerhet. Osäkerhet i scenariomodeller kan illustreras med konfidensintervall, även om vi funnit att så inte varit fallet (36 Fohm). Osäkerhet i scenariomodeller som inte anpassats mot historiska data och som beror på bristande kunskap om specifika parametrar, eller hur parametervärden kommer att utvecklas i framtiden, kan i stället fångas genom att man simulerar och rapporterar flera olika scenarier som täcker in tänkbara
alternativ. Sådan redovisning av osäkerhet som låg utanför anpassning mot historiska data i scenariomodeller var generellt bristfällig i de granskade artiklarna.
Utfallsvalidering
Den kanske viktigaste aspekten av pandemimodeller är om deras prediktioner är träffsäkra och
tillförlitliga. Tillförlitligheten fastställs vanligtvis genom validering där modellens prediktion jämförs med utfall som modellen inte har kalibrerats mot. Ett sätt att validera tillförlitligheten är att använda faktiska data fram till ett givet datum för kalibrering, och att använda data bortom detta datum för att
framåtblickande (prospektivt) testa modellen (Collins 2015, Cramer 2021). Modellen kan även utvärderas baserat på data från en population i ett annat geografiskt område. Tillförlitligheten i
prediktioner kan mätas på flera olika sätt. De vanligast förekommande måtten är kvadratisk eller absolut avvikelse mellan prediktion och observation.
Endast fem studier (35, 38 Fohm, 46 ECDC, 4 Bryant et al., 30 Soubeyrand et al.) rapporterade någon form av validering, medan utfallet av valideringen kvantifieras i två studier (4 Bryant et al. 30
Soubeyrand et al.). Det låga antalet primärt validerade modeller är inte förvånande, med tanke på att det under en pågående pandemi finns en vilja att publicera prediktioner i stället för att invänta validering av modellen. I efterhand visar sig dock denna strategi inte vara tillfredställande, då den sekundära utfallsvalideringen mot faktiska data visade att prediktionerna hade mycket varierande träffsäkerhet.
Exempelvis avvek Fohm:s scenarier för IVA-beläggningen i Stockholm mot det verkliga utfallet både med avseende på tiden för toppen och dess storlek, eller magnitud (323334). Gardner et al. och Kamerlin et al. 13a och13b) lyckas bättre med att beskriva den tidsmässiga placeringen för toppen, men spår att toppen ska bli runt 100 gånger större än den blev i verkligheten (se figur 2).
Det tydligaste överensstämmelsen med faktiskt utfall noterades för prediktionen av IVA-beläggningar under pandemivåren 2020 (1a, 1b Sjödin et al.) (se figur 3). Här är det dock viktigt att poängtera att data som användes för att kalibrera modellen sträckte sig fram till 15 april respektive 26 maj. Den 15 april sammanfaller ungefär med toppen på IVA-beläggningen i Stockholm och den 26 maj hade toppen passerats. Det är således svårt att bedöma dessa modellers tillförlitlighet (det vill säga deras prospektiva precision) då de rapporterades under eller efter den tidsperiod som prediktionen gällde.
Gällande prediktioner av pandemiutvecklingen med avseende på antalet nya covid-19 fall finns inga tillförlitliga data att jämföra med, eftersom testningen var kraftigt begränsad under våren 2020 (se figur 4). Vi noterar dock att prediktionerna från Fohm och Hult (19 Hult et al.) är relativt samstämmiga. Av modellerna som predicerade antalet dödsfall visade alla fyra modeller tillfredsställande
(45) använder data till och med 11 maj (dag 132) och ger en prediktion fram till dag 168. (1b Sjödin et al.) använder data till och med 26 maj (dag 147) och har prediktion sträcker sig till dag 243. Slutligen använder (4 Bryant et al.) data fram till dag 89 och producerar en månadslång prediktion. Denna jämförelse visar att (4 Bryant et al.) använder minst data i förhållande till längden på prediktionen.
SAMMANFATTANDE DISKUSSION
Vår målsättning var att sammanställa och granska tillförlitligheten i modeller för prediktion av pandemiutvecklingen i Sverige under 2020. Syftet var att dra lärdom om värdet av
prediktionsmodellering för att kunna utnyttja kunskapen vid framtida utbrott av allvarliga
infektionssjukdomar. Efter urvals- och kvalitetsgranskning återstod 20 modeller för resultatsyntes. Den detaljerade sammanställningen visade att analys av prediktionernas faktiska precision och tillförlitlighet sällan rapporterades tillsammans med modellerna. Med andra ord omfattade studierna generellt inte primär utfallsvalidering. Endast ett fåtal artiklar beskrev någon form av validering och bara två modeller hade utvärderats framåtblickande, eller prospektivt.
När vi gjorde en sekundär utfallsvalidering mot faktiska data fann vi att bara två modeller av IVA-beläggning (1a,1b Sjödin et al.) och fyra modeller av antalet dödsfall (1b Sjödin et al., 4 Bryant et al., 30 Soubeyrand et al., 45 ECDC) överensstämde tillfredsställande med det faktiska utfallet. Att jämföra modeller och dra slutsatser är dock svårt då somliga modeller publicerades avsevärt före den tidsperiod som prediktionen gällde, medan andra modeller publicerades i anknytning till perioden eller i efterhand. Avsaknaden av utvärdering av modellerna begränsar möjligheterna att samla erfarenheter om värdet av att vid framtida pandemier använda prediktionsmodellering. Förutom brister gällande validering och utvärdering noterar vi att dokumentationen av modellerna, och redovisningen av de antaganden som gjorts, generellt är otillräcklig.
De studerade prediktionsmodellerna utvecklades under varierande grad av ogynnsamma
omständigheter, såsom brist på data tidigt under pandemin och tidspress. Detta har sannolikt bidragit till att insamlade (empiriska) data har ersatts med antaganden i någon form vid parametersättningen i flera av prediktionsmodellerna. Exempelvis gjordes tidigt under pandemin antaganden om att
spridningen av SARS-Cov-2 i Sverige skulle följa mönster som observerats vid spridning i andra samhällen och omständigheter, såsom i Wuhan eller Lombardiet (det vill säga, att de spridningsmönster som rapporterats därifrån även kunde tillämpas i Sverige i brist på faktiska svenska data). Generellt har redovisningen av de studerade modellerna inte varit tillfredsställande när det gäller hur antaganden av denna typ kan påverka den parametriska osäkerheten i specifika analyser.
Trots dessa brister måste prediktionsmodellerna anses ha bidragit positivt till förståelsen av pandemins utveckling i Sverige under 2020 och möjligheterna att genomföra interventioner. Exempelvis visade modellerna att smittspridningen kunde förväntas skilja sig avsevärt åt mellan de svenska
sjukvårdsregionerna. Scenariomodellerna visade även hur förändringar i sociala kontaktmönster har samband med smittspridning givet olika fasta antaganden. Bidraget skulle ha varit ännu mer värdefullt om rapporteringen av modellerna hade varit tydligare med om de ansågs vara prediktioner, eller om de skulle betraktas som en del av större scenarion med alternativa utvecklingar givet olika antaganden.
