Utvärdering av prestanda

Genomgående för de två studier som tidigare presenterats (Jacques 2011) och (Ward et al. 2008) används främst två huvudmått för att utvärdera prestandan hos ett blixtlokaliseringssystem, nämligen relativ detektionsgrad (DE) och positioneringsnoggrannhet.

Relativ detektionsgrad

Den relativa detektionsgraden defineras som antalet korrelerade urladdningar dividerade med antalet urladdningar detekterade av referenssystemet:

DE = ^{Antal korrelerade urladdningar}

Antal urladdningar SM HI (11)

Positioneringsnoggrannhet

Genom att mäta det horisontella avståndet mellan korrelerade punkter kan man bestämma positions-eringsavvikelsen mellan de två systemen. Då man kan anta att osäkerheten hos SMHI:s system är välbestämd samt homogen över Sveriges yta kan man få en uppfattning om Blitzortungs postione-ringsnoggrannhet genom att undersöka den horisontella avvikelsen mellan korrelerade urladdningar. Genom att undersöka om positioneringsavvikelsen skiljer sig beroende på vart i Sverige urladdningar-na detekterats kan man även få en uppfattning om Blitzortungsystemets positioneringsnoggrannhet är homogen över Sveriges yta eller om den är platsspecifik.

Riktningsbias

Figur 8: Definition av vinkel

Vinkelfelet mellan två urladdningar kan definieras som riktningen för positionen bestämd av SMHI i relation till positionen bestämd av Blitzortung, i grader (◦). Om man antar ett stort antal korrelerade urladdningar borde vinkelfelen i teorin anta en rektangulär fördelning, då alla vinklar har lika stor sannolikhet att inträffa om det inte finns något riktningsbias.

Riktningsbias definieras som att vissa vinkelfel är vanligare än andra. Ett exempel är om det ena systemets fastställda positioner konsekvent befinner sig nordväst om det andra systemets positioner. I (Jacques 2011) användes endast korrelerade urladdningar med avstånd större än 3 km för att be-stämma riktningsbias. Anledningen till tröskelvärdet var att eliminera det brus som uppkommer vid kortare avstånd. Därför beräknades frekvensen av alla vinkelfel för korrelerade urladdningar med ho-risontellt avstånd större än 3 km. Enligt det definierade koordinatsystemet i Figur 8 motsvarar ett vinkelfel på 0◦/ 360◦ att Blitzortung-urladdningen ligger exakt öster om SMHI-urladdningen.

8 Resultat

I detta kapitel presenteras resultat för de jämförande mätningarna mellan Blitzortung och SMHI:s blixtlokaliseringssystem. I första avsnittet 8.1 presenteras resultat för övergripande distribution av urladdningar under blixtsäsongen 2012-2016. Främst undersöks hur antalet detekterade blixtar är fördelade över Sveriges yta och vilka områden som har högst blixtintensitet i mått av frekvens. I andra avsnittet 8.2 sker en djupare analys av blixtdata från 2016 där Blitzortungsystemets prestanda utvärderas i termer som detektionsgrad, positioneringsosäkerhet samt möjlighet att uppskatta posi-tioneringsosäkerheten utifrån vissa parametrar hos Blizortungs blixtdata.

8.1 Övergripande distribution av urladdningar

Tabell 1: Totala antalet urladdningar tillgängliga från respektive blixtlokaliseringssystem

Data-ID:ÖD SMHI Blitzortung

Antal urladdningar 1 262 511 1 345 345

Tidsperiod 1 januari 2012 - 16 sept 2016 ^{1 maj - 31 sept år 2012-2015 samt}_{1 maj - 16 sept år 2016} Geografisk avgränsning Sveriges territorialgräns (11◦< lon < 24◦| 55◦< lat < 70◦)

Tabell 2: Urladdningar som använts i avsnitt 8.1

Data-ID SMHI Blitzortung

Data-ID:UD2012

Antal urladdningar 156 805 21 289 Geografisk avgränsning Sveriges territorialgräns Tidsperiod 1 maj - 31 september 2012 Data-ID:UD2013

Antal urladdningar 254 910 77 072 Geografisk avgränsning Sveriges territorialgräns Tidsperiod 1 maj - 31 september 2013 Data-ID:UD2014

Antal urladdningar 529 744 162 332 Geografisk avgränsning Sveriges territorialgräns Tidsperiod 1 maj - 31 september 2014 Data-ID:UD2015

Antal urladdningar 82 205 81 319 Geografisk avgränsning Sveriges territorialgräns Tidsperiod 1 maj - 31 september 2015 Data-ID:UD2016

Antal urladdningar 228 260 165 174 Geografisk avgränsning Sveriges territorialgräns Tidsperiod 1 maj - 16 september 2016

Figur 9: Linjär regression - nBO

n_{SM HI} som funktion av tiden. Mörkblått fält är uppskattat 95 % konfi-densintervall. De urladdningar som ligger till grund för beräkningen är alla Data-ID i Tabell 2

I Tabell 2 visas det totala antalet urladdningar som detekterats inom Sveriges territorialgräns under åsksäsongen 2012-2016. I Figur 9 illustreras en linjär regression med kvoten av antalet detekterade urladdningar mellan Blitzortung och SMHI från Tabell 2 som funktion av tiden. Vid första anblick ser det ut att finnas en trend med ökande antal urladdningar detekterade av Blitzortung i relation till antalet urladdningar detekterade av SMHI över åren. Utfallet av regressionen visade på Pearsons korrelationskoefficient ρ = 0.83, vilket innebär att det finns en tydlig positiv korrelation mellan ökande kvot med tiden. Dock är inte resultatet statistiskt signifikant då p = 0.079, vilket innebär att vi inte kan förkasta nollhypotesen att den uppvisade trenden i själva verket beror på slumpen.

I Figur 10 ges en grov fingervisning av sensortäckningen hos Blitzortungsystemet. Blå färg indikerar att det finns stationer inom 150-500 km. Mörkare blå färg indikerar god täckningsgrad med hög andel detekterade blixtar och god lokaliseringsprecision. Grön färg (kan vara svår att först urskilja mot den gröna bakgrunden) indikerar områden med mycket hög densitet av sensorer där även svaga urladdningar kan detekteras. Figur 10 illustrerar två olika versioner av täckningskartan, beroende på detection ratio. En detection ratio på 20 % innebär att de enda stationer som visas, är de som under lång tid registrerat mer än 20 % av det totala antalet detekterade blixtar som de övriga stationer i nätverket registrerat i området. Figur 10 visar att Stockholmsområdet och ett område på västkusten verkar vara de områden i Sverige med bäst täckning och därmed högst prestanda. Något som är värt att notera är att Figur 10 endast baseras på stationsstätheten, och helt utelämnar dessa stationers individuella utformning (The Coverage Map lightning maps n.d.).

Av Figur 11 framgår de datum då respektive Blitzortungstation i Sverige upprättades. I dagsläget finns 32 stycken Blitzortungstationer i Sverige. Under 2012 upprättades den första Blitzortung-stationen och under år 2016 installerades 14 av de 32 stationerna, vilket därmed är det år då flest nya stationer

Figur 10: Täckningskarta Blitzortung över Sverige 9 nov 2016. Vänster: detection ratio > 20 %, Höger: detection ratio > 60 %. Källa: Screenshot från (The Coverage Map lightning maps n.d.)

Figur 11: Antal Blitzortungstationer i Sverige (6 februari 2017). Datum för upprättandet av varje station ses i Tabell 6.