Träning
Som tidigare nämnt så har värdet för K baserats på den optimala precisionen vid träning. I Bilaga 1 som visualiserar precision beroende på K, kan man fastställa att K = 2 klassificerar effektivast och är därmed det värde som kommer användas. Figur 3.3 visualiserar klassificeringarna vid träning för valt värde av K. Notera att punkter ovanför den horisontella linjen utgör targetdatan. En röd punkt ovanför svart linje symboliserar alltså en korrekt klassificerad volatil vecka.
Figur 3.3, klassificering vid träning
Ovan figur visualiserar klassificeringarna vid träning. Notera att punkter ovanför den horisontella linjen utgör targetdatan och antar alltså värdet 1, datan nedanför antar värde 0. En röd punkt ovanför svart linje symboliserar alltså en korrekt klassificerad volatil vecka.
Vid närmare analys av ovan klassificeringar, så kan man notera hur modellen tenderar att ta bättre beslut vid bestående volatilitet. Enskilda spikar är mer svårfångade trots att resultaten från träningen är biased. Kvantitativa resultat från träning presenteras i Tabell 3.1.
22 Tabell 3.1. Träning Sann positiv 33 Falsk positiv 0 Sann negativ 104 Falsk negativ 19
Ovan tabell presenterar antalet SP, FP, SN och FN vid träning.
Samtliga av modellens predicerade volatila veckor var volatila, vilket var som väntat i och med hur algoritmen hanterar situationer vid likaläge (klassificerar 𝑦̂ = 1 enbart vid majoritet). Nitton volatila veckor fångades dock inte upp vid klassificeringen. Huvudmåtten för att bedöma tillförlitligheten presenteras i Tabell 3.2.
Tabell 3.2.
Precision Sensitivitet Specificitet
Träning 87,4 % 100 % 84,5 %
Ovan tabell presenterar precisionen, sensitiviteten och specificiteten vid träning.
Sensitiviteten blir vid träning inte tolkningsbar, på grund av hur KNN hanterar likalägen. Specificiteten är lägre, vilket främst kan förklaras av svårpredicerade volatilitetsspikar. Återigen så är det viktigt att påpeka att resultaten från träningen är biased, då KNN känner till varje koordinats klasstillhörighet vid klassificering, samt att optimalt värde av K in sample har använts. Resultaten är dock viktiga för att kunna jämföra med valideringsresultaten och bedöma huruvida modellen är robust eller inte.
23
Validering
Figur 3.4 visualiserar klassificeringar vid validering. Punkter ovanför horisontell linje utgör targetdatan och röda punkter ovanför linjen symboliserar återigen korrekt predicerade volatila veckor.
Figur 3.4 Klassificeringar vid validering
Ovan figur visualiserar klassificeringar vid validering. Punkter ovanför horisontell linje utgör targetdatan och röda punkter ovanför denna symboliserar återigen korrekt predicerade volatila veckor.
Vid granskning av ovan graf, så kan man notera liknande mönster som vid träning. Modellen ser ut att klassificera väl vid ihållande hög volatilitet. Dessutom så ser de enstaka volatilitetsspikarna ut att fångas upp också, vilket antyder att en grad av autokorrelation i datan inte är nödvändig för vald metodik. I Tabell 3.3 återfinns de kvantitativa resultaten från valideringen.
Tabell 3.3 Validering Sann positiv 10 Falsk positiv 4 Sann negativ 87 Falsk negativ 3
Ovan tabell beskriver antalet SP, FP, SN och FN vid validering.
Överlag så ser resultaten i Tabell 3.3 stabila ut. Till skillnad från vid träning, så var inte samtliga av de predicerade volatila veckorna faktiskt volatila. Vidare så missade modellen enbart tre veckor som
24
faktiskt var volatila, men klassificerades som motsatsen. I Tabell 3.4 återfinns ytterligare valideringsmått.
Tabell 3.4
Precision Sensitivitet Specificitet
Validering 93,2 % 71,4 % 96,6%
Ovan tabell presenterar precisionen, sensitiviteten och specificiteten vid validering.
Vid tolkning av ovan mått, så sticker specificiteten ut. Den höga noteringen har dock troligtvis sin förklaring i brist på volatilitet i valideringsdatan och avsaknad av volatilitetsspikar. Den låga volatiliteten ser dock ut att lura modellen något och ett förhållandevis lågt tal för sensitiviteten noteras. Den totala precisionen vid validering får dock anses vara god.
Sammanfattning totala resultat
I Tabell 3.5 presenteras de sammanställda resultaten.
Tabell 3.5
Träning Validering Total
Precision 87,4 % 93,2 % 90 %
Sensitivitet 100 % 71,4 % 91,4 %
Specificitet 84,5 % 96,6 % 89,6 %
Ovan tabell sammanfattar resultaten för Precision, sensitivitet och specificitet. Notera hur valideringen ökade vid validering jämt emot träning, vilket inte var som förväntat.
Det som främst sticker ut vid jämförelse av resultaten är hur precisionen förbättrades vid validering, vilket inte var som förväntat. Som tidigare nämnt, så beror det här troligtvis på bristen av volatilitet vid validering. Samtidigt så visar det på styrka och flexibilitet hos modellen, då valideringsdatan inte liknade det dataset som KNN tränades på. Det här bör antyda att mönster för kommande volatilitet är förhållandevis tydliga i datan.
25
Känslighetsanalys
Sensitiviteten beroende på K vid validering visualiseras i Figur 3.5 nedan.
Figur 3.5 Sensitivitet beroende på K
Ovan figur visualiserar sensitiviteten beroende på K. En negativ trend kan utläsas vilket indikerar på relativt specifika kluster i datan.
I Figur 3.5 kan noteras att K = 2, som använts, ger bäst resultat. För övriga värden på K, så varierar sensitiviteten mellan 35 – 65 %. En negativ trend kan urskiljas i resultaten, vilket antyder att volatilitetskluster i datan är förhållandevis specifika då högre värden på K leder till mer generaliserade Voronoi-celler. Däremot så presterar K = 1 dåligt, vilket antyder att det är en balansgång mellan bruseliminering och generalisering. Att sensitiviteten faller så pass kraftigt för K = 3 och K=4 till skillnad från K = 2, kan tyckas vara något oroande och återigen finns det anledning att ifrågasätta huruvida modellen är robust eller inte.
26
Specificiteten beroende på K vid validering visualiseras i Figur 3.6 nedan.
Figur 3.6 Specificitet beroende på K
Specificiteten beroende på K vid validering visualiseras i ovan figur. Intressant är att valt värde för K, gav sämst resultat. Däremot så är skillnaderna så pass små, att ett tolkning inte är särskilt informativ.
I Figur 3.6 noteras att valt värde för K, intressant nog, ger sämst resultat. Däremot så skiljer det sig mycket lite i procent och resultaten ser stabila ut till skillnad från sensitiviteten. Någon tolkning av varför just K = 2 ger sämst specificitet anser vi inte möjligt eller för den delen särskilt givande i och med de små skillnaderna. De robusta resultaten ovan, kan dock ha sin förklaring i bristen på volatilitet vid validering.
27
Precisionen beroende på K vid validering visualiseras i Figur 3.7 nedan.
Figur 3.7 Precision beroende på K
Ovan figur visualiserar precisionen beroende på K. En negativ trend kan urskiljas vilket återigen indikerar på relativt specifika kluster i datan.
Enligt figur ovan, så ger K=2 bäst resultat. Valet av metodik för val av K anses därmed lyckat. För övriga värden, så varierar precisionen mellan 80 – 92 %, vilket får anses vara bra. Återigen, så tycks det vara en balansgång mellan bruseliminering och generalisering.
28
Slutsats
Vid en sammanvägning av resultaten verkar det finnas mönster i finansrelaterade sökningar på Google innevarande vecka, som indikerar huruvida kommande vecka väntas bli volatil eller ej. Vid visualisering av valideringsresultaten i Figur 3.4, skickar modellen en tidig varningssignal redan veckan före volatilitetschocken slog till mot marknaden i februari 2018. Vidare så prediceras samtliga veckor genom ”chocken” korrekt ur den aspekt att oroligheterna inte var över, vilket antyder att det finns tydliga mönster i sökordsdatan som indikerar på kommande volatilitet. Precisionen om 93,2 % bekräftar de goda visuella resultaten. Vad som exakt ligger till grund för mönstren i sökordsdatan är dock svårt att säga. Däremot så kan man vid visualisering av komponenterna i Bilaga 3, urskilja mönster som ligger i linje med Preis, Moat och Stanley (2012) och Kristoufek (2013), där en intensifiering av sökningar för allmänna finansrelaterade termer innebar en sorts varningssignal. Komponent 1 som fångade upp de allmänna finansrelaterade sökningar, tycks börja trenda uppåt inför den volatilitet som drabbade marknaden i februari 2018. Huruvida det här har någon koppling till resultaten från klassificeringen är dock svårt att säga.
Vid känslighetsanalysen så kan man urskilja att klustren i datan är relativt specifika. Ett högre värde på K och mer generella Voronoiceller ledde till sämre resultat. Det valda värdet för K, baserat på bäst precision vid träning, gav överlag bäst precision. Det här innebär att vald metodik för val av K blev lyckad. Resultaten för övriga värden för K var dock överraskande jämna och bra. Det här kan tolkas som att modellen är robust mot parameterspecifika ändringar och att de goda resultaten inte föranleddes av ett slumpmässigt bra val av K. Det tyder även på att klustren i datan är så pass tydliga, att de kan identifieras även när KNN klassificerar utifrån fler grannar. En nackdel med detta, som tidigare nämnts, är att precisionen blir sämre. Trots att resultaten överlag ser robusta och goda ut, så finns det anledning att höja ett varningens finger för att de kan vara biased av en lugn marknad. Visserligen visar modellen på flexibilitet när valideringsdatan inte liknar träningsdatan, men det finns signaler på att validering under mer varierande marknadsförhållanden är nödvändiga för att kunna göra en slutgiltig bedömning. Efter att ha tagit del av samtliga resultat och övervägt huruvida det tycks finnas predicerande förmåga bland sökorden, så blir svaret på uppsatsens frågeställning att man kan använda Google trends för att predicera volatilitet på aktiemarknaden trots osäkerhet kring valideringsdatan.
29
Diskussion
Resultaten från undersökningen ligger i linje med tidigare forskning som visar på predicerande egenskaper hos Google trends inom olika fält. Sökningar verkar fånga upp marknadsaktörernas känslor, vilket även visats på i tidigare studier om än i andra sammanhang. Återigen fungerar sökordsdatan som ett intressant verktyg för att kartlägga olika emotionella segment bland Googles användare. Hur tillförlitliga resultaten är, kan dock inte exakt fastställas. Som tidigare nämnt, så finns det oro kring huruvida de lugna marknadsförhållandena under validering kan ha en positiv inverkan på resultaten. En längre utvärderingsperiod är därmed nödvändig för att fastställa modellens effektivitet.
För vidare forskning, så hade det varit intressant att jämföra modellen mot en mer traditionell teknik för modellering av volatilitet, så som GARCH. Detta tillsammans med en längre utvärderingsperiod hade gjort resultat mer tolkningsbara. Vidare så går det inte att fastställa helt att Google trends överlag har predicerande förmåga, då vi endast använder 30 ord. Att systematiskt välja ett större antal ord hade kunnat ge en klarare bild över prediktionsförmågan.
30
Bilagor
31 Bilaga 2
32 Bilaga 3
33 Bilaga 4 Förklarad varians per komponent
34 Bilaga 5 Kumulativt förklarad varians
35 Bilaga 6 Egenvärden
36 Bilaga 7 Kod
41