Föreläsning 8 och 9: Regressionsanalys

(1)

Passningsmått

Statistisk signifikans

Tillämpning Kommentarer

Regressions- tabeller

Mjukvara

Multipel regression

Exempel 1 Exempel 2 Exempel 3

Kombinations- studier Övrigt

Pär Nyman par.nyman@statsvet.uu.se

12 september 2016

(2)

Regressions- analys

Regressionsekvationen Passningsmått

Mjukvara

Introduktion

Presentation av mig Bakgrund som ekonom.

Disputerade i våras på en avhandling om finanspolitik.

Deltar i forskningsprojekt om varför utrikes födda är underrepresenterade i politiken.

Har nästan uteslutande använt mig av kvantitativa metoder.

- 2 -

(3)

Mjukvara

Vårt viktigaste verktyg för kvantitativa studier.

Kan användas till det mesta, men svarar oftast på frågor om kausala samband.

På kursen lär vi ut de viktigaste grunderna.

Viktigt även för dem som inte själva vill använda det!

(4)

Mjukvara

Disposition för hela dagen

1

Repetition och passningsmått

2

Statistisk signifikans

3

Att läsa regressionstabeller

4

Multipel regression

5

Kombinationsstudier

6

Avancerat

- 4 -

(5)

Mjukvara

Regressionsekvationen (bivariat)

y = a + bx + e y = Beroende variabel

a = Konstant eller intercept

b = Regressionskoefficient

x = Oberoende variabel

e = Felterm eller residual

(6)

Mjukvara

Repetition och passningsmått

Regressionsekvation med indexsiffror

y

i

= a + bx

i

+ e

i

y = Beroende variabel a = Konstant eller intercept b = Regressionskoefficient x = Oberoende variabel e = Felterm eller residual

i = Indexsiffra från observation 1 till observation n

- 5 -

(7)

Mjukvara

Regressionsekvation för förväntade värden ˆ

y = a + bx ˆ

y = Förväntat värde på den beroende variabel a = Konstant eller intercept

b = Regressionskoefficient

x = Oberoende variabel

(8)

Mjukvara

Repetition och passningsmått

Multipel regressionsekvation 1

y = a + b

1

x + b

2

z + e y = Beroende variabel

a = Konstant eller intercept b

1

= Regressionskoefficient 1 b

2

= Regressionskoefficient 2 x = Oberoende variabel 1 z = Oberoende variabel 2 e = Felterm eller residual

- 5 -

(9)

Mjukvara

Multipel regressionsekvation 2

y = a + b

1

x

1

+ b

2

x

2

+ e y = Beroende variabel

a = Konstant eller intercept

b

1

= Regressionskoefficient 1

b

2

= Regressionskoefficient 2

x

₁

= Oberoende variabel 1

x

2

= Oberoende variabel 2

e = Felterm eller residual

(10)

Mjukvara

Repetition och passningsmått

Multipel regressionsekvation 3

Inkomst = a + b

1

× Utbildning + b

₂

× Kvinna + e Inkomst = Beroende variabel

a = Konstant eller intercept b

1

= Regressionskoefficient 1 b

2

= Regressionskoefficient 2 Utbildning = Oberoende variabel 1 Kvinna = Oberoende variabel 2 e = Felterm eller residual

- 5 -

(11)

Mjukvara

Exempel från New England Journal of Medicine: Vad förklarar variationen i länders vetenskapliga framgångar?

Rimligtvis beror vetenskaplig framgång i någon mån på kognitiv förmåga.

Kognitiv förmåga kan eventuellt förbättras genom kost rik på flavanoider.

Det finns mycket flavanoider i choklad.

Alltså bör andelen Nobelpristagare vara större i länder där

man äter mycket choklad?

(12)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 7 -

(13)

Mjukvara

y = a + bx + e

(14)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 7 -

(15)

Mjukvara

y = a + bx + e

(16)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 7 -

(17)

Mjukvara

y = a + bx + e

(18)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 7 -

(19)

Mjukvara

y = a + bx + e

(20)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 7 -

(21)

Mjukvara

Passningsmått beskriver hur väl vår modell beskriver den data vi har observerat.

De två viktigaste är regressionens standardfel och R

²

. Båda passningsmåtten utgår ifrån storleken på

residualerna, men sätter den i relation till olika saker.

(22)

Mjukvara

Repetition och passningsmått

Regressionens standardfel

~Den genomsnittliga avvikelsen från regressionslinjen. Uttrycks i samma enheter som den beroende variabeln. Exempel: De observerade värdena avviker i genomsnitt från modellens prediktioner med 6,6 Nobelpristagare per 10 milj. invånare.

Överkurs

Standardfel =

s

RSS n − 1 − k =

s

P

(e

_i²

) n − 1 − k =

sP

(y

i

− ˆ y

i

)

²

n − 1 − k

RSS = Summan av de kvadrerade feltermerna (Residual Sum of Squares)

k = Antalet oberoende variabler

- 9 -

(23)

Mjukvara

Regressionens standardfel

~Den genomsnittliga avvikelsen från regressionslinjen. Uttrycks i samma enheter som den beroende variabeln. Exempel: De observerade värdena avviker i genomsnitt från modellens prediktioner med 6,6 Nobelpristagare per 10 milj. invånare.

Överkurs

Standardfel =

s

RSS n − 1 − k =

s

P

(e

_i²

) n − 1 − k =

sP

(y

i

− ˆ y

i

)

²

n − 1 − k

k = Antalet oberoende variabler

(24)

Mjukvara

Repetition och passningsmått

R

²

Andelen förklarad variation i den beroende variabeln. Antar värden mellan 0 (vår modell förklarar ingenting) och 1 (vår modell förklarar 100 procent av variationen i den beroende variabeln). Exempel: Skillnader i chokladkonsumtion kan

”förklara” 60 procent av variationen mellan länder i antalet Nobelpristagare.

Överkurs

R

²

= 1 − RSS TSS = 1 −

P

(y

_i

− ˆ y

_i

)

² P

(y

_i

− ¯ y

_i

)

²

TSS = Summan av avvikelserna från medelvärdet (Total Sum of Squares)

- 10 -

(25)

Mjukvara

R

²

Andelen förklarad variation i den beroende variabeln. Antar värden mellan 0 (vår modell förklarar ingenting) och 1 (vår modell förklarar 100 procent av variationen i den beroende variabeln). Exempel: Skillnader i chokladkonsumtion kan

”förklara” 60 procent av variationen mellan länder i antalet Nobelpristagare.

Överkurs

R

²

= 1 − RSS TSS = 1 −

P

(y

_i

− ˆ y

_i

)

² P

(y

_i

− ¯ y

_i

)

²

TSS = Summan av avvikelserna från medelvärdet (Total Sum of Squares)

(26)

Mjukvara

Repetition och passningsmått

I grunden mäter båda måtten samma sak. Givet en viss variation i den beroende variabeln, så ökar R

²

när standardfelet sjunker, och vice versa.

Om variationen i den beroende variabeln är stor, kan standardfelet vara stort trots högt R

²

, och vice versa.

- 11 -

(27)

Mjukvara

Litet standardfel, lågt R2 Stort standardfel, högt R2

(28)

Mjukvara

Repetition och passningsmått

Justerat R

²

När man adderar en variabel till en regressionsmodell kommer R

²

alltid att öka, även om den inte har något med den beroende variabeln att göra.

För att korrigera för detta bör man i regel använda ett mått som kallas för justerat R

²

.

Det är vanligt (och ok för er) att även justerat R

²

uttrycks som andel av variationen i den beroende variabeln som modellen förklarar.

Mer korrekt: ”justerat för antalet frihetsgrader”.

- 13 -

(29)

Mjukvara

Allmänt om passningsmått

Vad som är högt och lågt beror som alltid på vad vi har att jämföra med. Studenter har ofta orimligt höga förväntningar på vad våra modeller kan åstadkomma.

Stirra er inte blinda på passningsmåtten. Vårt mål är sällan att göra de bästa prediktionerna. Vanligare att vi är intresserade av ett kausalt samband.

Då är det viktigare hur stor effekten är samt huruvida den

är statistiskt signifikant, alltså om samvariationen i vårt

urval kan bero på slumpen.

(30)

Mjukvara

Korrelation är inte kausalitet

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

3

Omvänd orsaksriktning: det är y som påverkar x .

4

Sambandet är spuriöst och beror på att en tredje variabel påverkar både x och y .

- 14 -

(31)

Mjukvara

Korrelation är inte kausalitet

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

4

Sambandet är spuriöst och beror på att en tredje variabel

påverkar både x och y .

(32)

Mjukvara

Korrelation är inte kausalitet

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

3

Omvänd orsaksriktning: det är y som påverkar x .

4

Sambandet är spuriöst och beror på att en tredje variabel påverkar både x och y .

- 14 -

(33)

Mjukvara

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

3

Omvänd orsaksriktning: det är y som påverkar x .

4

Sambandet är spuriöst och beror på att en tredje variabel

påverkar både x och y .

(34)

Mjukvara

Korrelation är inte kausalitet

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

3

Omvänd orsaksriktning: det är y som påverkar x .

4

Sambandet är spuriöst och beror på att en tredje variabel påverkar både x och y .

- 14 -

(35)

Mjukvara

Vi är intresserade av den ”sanna” modellen

y = α + βx + e (1)

Men observerar endast vår uppskattning av den

y = a + bx + e (2)

När vi är säkra på att β 6= 0 säger vi att sambandet är

statistiskt signifikant.

(36)

Mjukvara

Statistisk signifikans

Den sanna modellen som populationens modell

T&S: Vi är intresserade av om det finns ett samband i populationen.

Eftersom vi endast studerar ett urval kommer

urvalskoefficienten (b) på grund av slumpmässiga mätfel avvika från populationens regressionskoefficient (β).

Vi kanske studerar ett urval av Sveriges befolkning och noterar att kvinnor tjänar mindre än män i det urvalet.

Signifikanstest: Kan vi vara säkra på att det finns en skillnad (β 6= 0) i populationen, eller kan urvalssambandet bero på en slump?

- 16 -

(37)

Mjukvara

Den sanna modellen som en datagenererande process Jag föredrar att tänka på det som att vi generaliserar från vårt urval till en datagenererande process (summan av alla de underliggande processer och strukturer som bestämmer värdet på en variabel).

Signifikanstest: Kan vi vara säkra på att ens inkomst påverkas av vilket kön man har (β 6= 0), eller kan urvalssambandet bero på en slump?

Ingen skillnad i hur man räknar, men det motiverar signifikanstest även vid totalundersökningar och avsaknad av population:

• Vi studerar världens alla konflikter och konstaterar att demokratier under den studerade perioden har krigat mindre än icke-demokratier.

• Vi genomför ett experiment där 1000 personer får sockerpiller och 1000 personer får ett läkemedel.

(38)

Mjukvara

Statistisk signifikans

Precis som tidigare anges den osäkerhet som beror på slumpmässiga mätfel som ett standardfel.

Dessa beräknar datorn åt oss (alt. T&S s. 210–211).

Om vi drog ett oändligt antal urval, skulle b ”i genomsnitt” avvika ett standardfel från β.

Ju större standardfel, desto sämre precision i vår skattning av β.

Regressionskoefficienternas standardfel har ingenting att göra med passningsmåttet regressionsstandardfel.

- 18 -

(39)

Mjukvara

Kombinations- studier

Övrigt b-3se b-2se b-1se b b+1se b+2seb+3se

Avvikelse från ''den sanna effekten''

Med stora urval kan vi anta att:

90 procent av b-värdena avviker mindre än 1,65

standardfel från β.

(40)

Mjukvara

Statistisk signifikans

b-3se b-2se b-1se b b+1se b+2seb+3se Avvikelse från ''den sanna effekten''

- 19 -

Med stora urval kan vi anta att:

90 procent av b-värdena avviker mindre än 1,65 standardfel från β.

95 procent av b-värdena avviker mindre än 1,96

standardfel från β.

(41)

Mjukvara

Kombinations- studier

Övrigt b-3se b-2se b-1se b b+1se b+2seb+3se

Avvikelse från ''den sanna effekten''

Med stora urval kan vi anta att:

90 procent av b-värdena avviker mindre än 1,65 standardfel från β.

95 procent av b-värdena avviker mindre än 1,96 standardfel från β.

99 procent av b-värdena avviker mindre än 2,58

standardfel från β.

(42)

Mjukvara

Statistisk signifikans

- 19 -

Med stora urval kan vi anta att:

90 procent av b-värdena avviker mindre än 1,65 standardfel från β.

95 procent av b-värdena avviker mindre än 1,96 standardfel från β.

99 procent av b-värdena avviker mindre än 2,58 standardfel från β.

Eftersom vi använder t-fördelningen är de kritiska

värdena något större än z

kv

vid små urval.

(43)

Mjukvara

t

_kv

närmar sig z

_kv

vid stora urval

(44)

Mjukvara

Statistisk signifikans

Om b avviker mer än 1,65 standardfel från 0 säger vi att sambandet är statistiskt signifikant vid 90 procents säkerhetsnivå.

Sannolikheten för att detta ska inträffa är ju ”bara” 10 procent om β = 0.

Statistisk signifikans innebär att vi förkastar β = 0.

Vi skulle också kunna beräkna ett konfidensintervall för β enligt b ± se och notera att 0 inte ligger i intervallet.

- 21 -

(45)

Mjukvara

Lite mer formaliserat

För att svara på om ett samband är statistiskt signifikant beräknar vi först ett t-värde:

t = b se

_b

Om (det absoluta värdet av) t-värdet är större än det kritiska t-värdet för vår säkerhetsnivå säger vi att sambandet är statistiskt signifikant.

• Kan också uttryckas som att sambandet är signifikant om testvärdet ligger utanför intervallet mellan −t_kv och t_kv.

Vi vet då att det finns ett samband i populationen och att

den observerade samvariationen inte var en tillfällighet.

(46)

Mjukvara

Statistisk signifikans

Vi ska titta på tre exempel från Marcus föreläsning

1

Sambandet mellan kön och placering på vänster–höger-skalan.

2

Sambandet mellan religiositet och korruption.

3

Sambandet mellan tilltro till regeringen och benägenhet att ge till tiggare.

- 23 -

(47)

Mjukvara

Variabel Kodning

Höger 1 (klart till vänster) - 5 (klart till höger) Kvinna 0 (man) eller 1 (kvinna)

Månadsinkomst (brutto) 1 (<10 000 kr) till 12 (>60 000 kr)

Korruption 0 (ingen korruption) - 10 (mycket korruption) Religiositet 1 (inte alls viktigt) till 4 (mycket viktigt) BNP per capita Tusentals dollar

Skänker till tiggare 1 (< 1 gång/vecka) till 4 (varje dag) Förtroende för regeringen 1 (inget förtroende) till 4 (fullt förtroende) Borgerlig Skulle rösta på ett borgerligt parti

Tips: Döp gärna dikotoma variabler efter hur de är kodade.

Kvinna och höger har en underförstådd tolkning och går därför

snabbare att tolka än kön och ideologisk position.

(48)

Mjukvara

Statistisk signifikans

Exempel 1: Kön och placering på vänster–höger-skalan

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b = -0,125 se(b) = 0,027

t = -4,63 (-0,125/0,027)

Det kritiska t-värdet på 99 procents säkerhetsnivå är här 2,58 (n=7329). Eftersom 4,63 är större än 2,58 (-4,63 ligger utanför det kritiska intervallet från -2,58 till 2,58) kan vi konstatera att effekten av kön på den ideologiska positionen är statistiskt signifikant vid 99 procents säkerhetsnivå.

- 25 -

(49)

Mjukvara

Exempel 1: Kön och placering på vänster–höger-skalan

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b = -0,125 se(b) = 0,027

t = -4,63 (-0,125/0,027)

Det kritiska t-värdet på 99 procents säkerhetsnivå är här

2,58 (n=7329). Eftersom 4,63 är större än 2,58 (-4,63

ligger utanför det kritiska intervallet från -2,58 till 2,58)

kan vi konstatera att effekten av kön på den ideologiska

positionen är statistiskt signifikant vid 99 procents

säkerhetsnivå.

(50)

Mjukvara

Statistisk signifikans

Exempel 2: Religiositet och korruption

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b = 1,808 se(b) = 0,313

t = 5,78 (1,808/0,313)

Det kritiska t-värdet på 99 procents säkerhetsnivå är här 2,64 (n=78). Då 5,78 är större än 2,64 (5,78 ligger utanför det kritiska intervallet från -2,64 till 2,64) kan vi slå fast att sambandet är statistiskt signifikant på 99 procents säkerhetsnivå.

- 25 -

(51)

Mjukvara

Exempel 2: Religiositet och korruption

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b = 1,808 se(b) = 0,313

t = 5,78 (1,808/0,313)

Det kritiska t-värdet på 99 procents säkerhetsnivå är här

2,64 (n=78). Då 5,78 är större än 2,64 (5,78 ligger

utanför det kritiska intervallet från -2,64 till 2,64) kan vi

slå fast att sambandet är statistiskt signifikant på 99

procents säkerhetsnivå.

(52)

Mjukvara

Statistisk signifikans

Exempel 3: Tilltro till regeringen och benägenhet att ge till tiggare

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b =-0,188 se(b) = 0,156

t = -1,21 (-0,188/0,156)

Det kritiska t-värdet på 90 procents säkerhetsnivå är här 1,67 (n=55). Eftersom 1,21 är mindre än det kritiska värdet är sambandet inte statistiskt signifikant.

Det är inte tillräckligt osannolikt att sambandet beror på slumpen.

- 25 -

(53)

Mjukvara

Statistisk signifikans

Exempel 3: Tilltro till regeringen och benägenhet att ge till tiggare

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b =-0,188 se(b) = 0,156

t = -1,21 (-0,188/0,156)

Det kritiska t-värdet på 90 procents säkerhetsnivå är här

1,67 (n=55). Eftersom 1,21 är mindre än det kritiska

värdet är sambandet inte statistiskt signifikant.

(54)

Mjukvara

Statistisk signifikans

Exempel 3: Tilltro till regeringen och benägenhet att ge till tiggare

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b =-0,188 se(b) = 0,156

t = -1,21 (-0,188/0,156)

Det kritiska t-värdet på 90 procents säkerhetsnivå är här 1,67 (n=55). Eftersom 1,21 är mindre än det kritiska värdet är sambandet inte statistiskt signifikant.

Det är inte tillräckligt osannolikt att sambandet beror på slumpen.

- 25 -

(55)

Mjukvara

Statistisk signifikans

Fyra ekvivalenta metoder. Sambandet är signifikant om:

T-värdet är högre än det kritiska t-värdet.

Det står asterisker efter efter regressionskoefficienten. Läs under tabellen för att se vilken säkerhetsnivå de motsvarar. Det är den vanligaste metoden när man läser en

regressionstabell.

P-värdet är mindre än risknivån (risk = 1 −

säkerhetsnivå). Det är den vanligaste metoden när man

tolkar output från ett statistikprogram.

(56)

Mjukvara

Statistisk signifikans

Fyra ekvivalenta metoder. Sambandet är signifikant om:

T-värdet är högre än det kritiska t-värdet.

Konfidensintervallet runt koefficienten omsluter inte värdet 0.

Det står asterisker efter efter regressionskoefficienten. Läs under tabellen för att se vilken säkerhetsnivå de motsvarar. Det är den vanligaste metoden när man läser en

regressionstabell.

P-värdet är mindre än risknivån (risk = 1 −

säkerhetsnivå). Det är den vanligaste metoden när man tolkar output från ett statistikprogram.

- 26 -

(57)

Mjukvara

Statistisk signifikans

Fyra ekvivalenta metoder. Sambandet är signifikant om:

T-värdet är högre än det kritiska t-värdet.

Konfidensintervallet runt koefficienten omsluter inte värdet 0.

Det står asterisker efter efter regressionskoefficienten. Läs under tabellen för att se vilken säkerhetsnivå de motsvarar.

Det är den vanligaste metoden när man läser en regressionstabell.

tolkar output från ett statistikprogram.

(58)

Mjukvara

Statistisk signifikans

Fyra ekvivalenta metoder. Sambandet är signifikant om:

T-värdet är högre än det kritiska t-värdet.

Konfidensintervallet runt koefficienten omsluter inte värdet 0.

Det står asterisker efter efter regressionskoefficienten. Läs under tabellen för att se vilken säkerhetsnivå de motsvarar.

Det är den vanligaste metoden när man läser en regressionstabell.

P-värdet är mindre än risknivån (risk = 1 −

säkerhetsnivå). Det är den vanligaste metoden när man tolkar output från ett statistikprogram.

- 26 -

(59)

Mjukvara

Statistisk signifikans

Statistisk signifikans är inte allt

Försumbara effekter kan vara signifikanta vid stora urval.

Orsaksriktningen kan fortfarande vara den omvända.

(60)

Mjukvara

Statistisk signifikans

Statistisk signifikans är inte allt

Försumbara effekter kan vara signifikanta vid stora urval.

Sambandet kan fortfarande vara spuriöst.

Orsaksriktningen kan fortfarande vara den omvända.

- 27 -

(61)

Mjukvara

Statistisk signifikans är inte allt

Försumbara effekter kan vara signifikanta vid stora urval.

Sambandet kan fortfarande vara spuriöst.

Orsaksriktningen kan fortfarande vara den omvända.

(62)

Mjukvara

Statistisk signifikans

Många signifikanta samband beror på slumpen

Eftersom vi inte använder 100 procents säkerhetsnivå finns det alltid en risk att vi förkastar en sann nollhypotes.

Den risken ökar om vi planlöst letar efter signifikanta samband i stället för att styras av teoretiskt motiverade hypoteser.

- 28 -

(63)

Mjukvara

Många signifikanta samband beror på slumpen

Eftersom vi inte använder 100 procents säkerhetsnivå finns det alltid en risk att vi förkastar en sann nollhypotes.

Den risken ökar om vi planlöst letar efter signifikanta

samband i stället för att styras av teoretiskt motiverade

hypoteser.

(64)

Mjukvara

Statistisk signifikans

Exempel: sambandet mellan ostkonsumtion och hur många som årligen avlider efter att ha fastnat i lakanen.

13.5 14 14.5 15

300 400 500 600 700 800

Kg ost per person och år

Antaldödsfall

- 29 -