Föreläsning 8 och 9: Regressionsanalys

(1)

Regressions- analys

Regressionsekvationen Passningsmått

Statistisk signifikans

Tillämpning Kommentarer

Regressions- tabeller

Mjukvara

Multivariat regression

Exempel 1 Exempel 2 Exempel 3

Kombinations- studier Övrigt

Föreläsning 8 och 9: Regressionsanalys

Pär Nyman par.nyman@statsvet.uu.se

14 september 2015

- 1 -

(2)

Mjukvara

Regressionsanalys

Vårt viktigaste verktyg för kvantitativa studier.

Kan användas till det mesta, men svarar oftast på frågor om kausala samband.

På kursen lär vi ut de viktigaste grunderna.

Viktigt även för dem som inte själva vill använda det!

- 2 -

(3)

Mjukvara

Disposition för hela dagen

1

Repetition och passningsmått

2

Statistisk signifikans

3

Att läsa regressionstabeller

4

Multivariat regression

5

Kombinationsstudier

6

Avancerat

- 3 -

(4)

Mjukvara

Repetition och passningsmått

Regressionsekvationen (bivariat)

y = a + bx + e y = Beroende variabel

a = Konstant eller intercept b = Regressionskoefficient x = Oberoende variabel e = Felterm eller residual

- 4 -

(5)

Mjukvara

Repetition och passningsmått

Regressionsekvation med indexsiffror

y

i

= a + bx

i

+ e

i

y = Beroende variabel a = Konstant eller intercept b = Regressionskoefficient x = Oberoende variabel e = Felterm eller residual

i = Indexsiffra från observation 1 till observation n

- 4 -

(6)

Mjukvara

Repetition och passningsmått

Regressionsekvation för förväntade värden ˆ

y = a + bx ˆ

y = Förväntat värde på den beroende variabel a = Konstant eller intercept

b = Regressionskoefficient x = Oberoende variabel

- 4 -

(7)

Mjukvara

Repetition och passningsmått

Multivariat regressionsekvation 1

y = a + b

1

x + b

2

z + e y = Beroende variabel

a = Konstant eller intercept b

1

= Regressionskoefficient 1 b

2

= Regressionskoefficient 2 x = Oberoende variabel 1 z = Oberoende variabel 2 e = Felterm eller residual

- 4 -

(8)

Mjukvara

Repetition och passningsmått

Multivariat regressionsekvation 2

y = a + b

1

x

1

+ b

2

x

2

+ e y = Beroende variabel

a = Konstant eller intercept b

1

= Regressionskoefficient 1 b

2

= Regressionskoefficient 2 x

₁

= Oberoende variabel 1 x

2

= Oberoende variabel 2 e = Felterm eller residual

- 4 -

(9)

Mjukvara

Repetition och passningsmått

Multivariat regressionsekvation 3

Inkomst = a + b

1

× Utbildning + b

₂

× Kvinna + e y = Beroende variabel

a = Konstant eller intercept b

1

= Regressionskoefficient 1 b

2

= Regressionskoefficient 2 Utbildning = Oberoende variabel 1 Kvinna = Oberoende variabel 2 e = Felterm eller residual

- 4 -

(10)

Mjukvara

Repetition och passningsmått

Exempel från British Journal of Medicine: Vad förklarar variationen i länders vetenskapliga framgångar?

Rimligtvis beror vetenskaplig framgång i någon mån på kognitiv förmåga.

Kognitiv förmåga kan eventuellt förbättras genom kost rik på flavonoler.

Det finns mycket flavonoler i choklad.

Alltså bör andelen Nobelpristagare vara större i länder där man äter mycket choklad?

- 5 -

(11)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 6 -

(12)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 6 -

(13)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 6 -

(14)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 6 -

(15)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 6 -

(16)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 6 -

(17)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 6 -

(18)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 6 -

(19)

Mjukvara

Repetition och passningsmått

y = a + bx + e

- 6 -

(20)

Mjukvara

Repetition och passningsmått

Passningsmått beskriver hur väl vår modell beskriver den data vi har observerat.

De två viktigaste är regressionens standardfel och R

²

. Båda passningsmåtten utgår ifrån storleken på

residualerna, men sätter den i relation till olika saker.

- 7 -

(21)

Mjukvara

Repetition och passningsmått

Regressionens standardfel

~Den genomsnittliga avvikelsen från regressionslinjen. Uttrycks i samma enheter som den beroende variabeln. Exempel: De observerade värdena avviker i genomsnitt från modellens prediktioner med 6,6 Nobelpristagare per 10 milj. invånare.

Överkurs

Standardfel =

s

RSS n − 1 − k =

s

P

(e

_i²

) n − 1 − k =

sP

(y

i

− ˆ y

i

)

²

n − 1 − k

RSS = Summan av de kvadrerade feltermerna (Residual Sum of Squares)

k = Antalet oberoende variabler

- 8 -

(22)

Mjukvara

Repetition och passningsmått

Regressionens standardfel

~Den genomsnittliga avvikelsen från regressionslinjen. Uttrycks i samma enheter som den beroende variabeln. Exempel: De observerade värdena avviker i genomsnitt från modellens prediktioner med 6,6 Nobelpristagare per 10 milj. invånare.

Överkurs

Standardfel =

s

RSS n − 1 − k =

s

P

(e

_i²

) n − 1 − k =

sP

(y

i

− ˆ y

i

)

²

n − 1 − k

k = Antalet oberoende variabler

- 8 -

(23)

Mjukvara

Repetition och passningsmått

R

²

Andelen förklarad variation i den beroende variabeln. Antar värden mellan 0 (vår modell förklarar ingenting) och 1 (vår modell förklarar 100 procent av variationen i den beroende variabeln). Exempel: Skillnader i chokladkonsumtion kan

”förklara” 60 procent av variationen mellan länder i antalet Nobelpristagare.

Överkurs

R

²

= 1 − RSS TSS = 1 −

P

(y

_i

− ˆ y

_i

)

² P

(y

_i

− ¯ y

_i

)

²

TSS = Summan av avvikelserna från medelvärdet (Total Sum of Squares)

- 9 -

(24)

Mjukvara

Repetition och passningsmått

R

²

Andelen förklarad variation i den beroende variabeln. Antar värden mellan 0 (vår modell förklarar ingenting) och 1 (vår modell förklarar 100 procent av variationen i den beroende variabeln). Exempel: Skillnader i chokladkonsumtion kan

”förklara” 60 procent av variationen mellan länder i antalet Nobelpristagare.

Överkurs

R

²

= 1 − RSS TSS = 1 −

P

(y

_i

− ˆ y

_i

)

² P

(y

_i

− ¯ y

_i

)

²

TSS = Summan av avvikelserna från medelvärdet (Total Sum of Squares)

- 9 -

(25)

Mjukvara

Repetition och passningsmått

I grunden mäter båda måtten samma sak. Givet en viss variation i den beroende variabeln, så ökar R

²

när standardfelet sjunker, och vice versa.

Om variationen i den beroende variabeln är stor, kan standardfelet vara stort trots högt R

²

, och vice versa.

- 10 -

(26)

Mjukvara

Repetition och passningsmått

Litet standardfel, lågt R2 Stort standardfel, högt R2

- 11 -

(27)

Mjukvara

Repetition och passningsmått

Justerat R

²

När man adderar en variabel till en regressionsmodell kommer R

²

alltid att öka, även om den inte har något med den beroende variabeln att göra.

För att korrigera för detta bör man i regel använda ett mått som kallas för justerat R

²

.

Det är vanligt (och ok för er) att även justerat R

²

uttrycks som andel av variationen i den beroende variabeln som modellen förklarar.

Mer korrekt: ”justerat för antalet frihetsgrader”.

- 12 -

(28)

Mjukvara

Repetition och passningsmått

Allmänt om passningsmått

Vad som är högt och lågt beror som alltid på vad vi har att jämföra med. Studenter har ofta orimligt höga förväntningar på vad våra modeller kan åstadkomma.

Stirra er inte blinda på passningsmåtten. Vårt mål är sällan att göra de bästa prediktionerna. Vanligare att vi är intresserade av ett kausalt samband.

Då är det viktigare hur stor effekten är samt huruvida den är statistiskt signifikant, alltså om samvariationen i vårt urval kan bero på slumpen.

- 12 -

(29)

Mjukvara

Korrelation är inte kausalitet

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

3

Omvänd orsaksriktning: det är y som påverkar x .

4

Sambandet är spuriöst och beror på att en tredje variabel påverkar både x och y .

- 13 -

(30)

Mjukvara

Korrelation är inte kausalitet

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

3

Omvänd orsaksriktning: det är y som påverkar x .

4

Sambandet är spuriöst och beror på att en tredje variabel påverkar både x och y .

- 13 -

(31)

Mjukvara

Korrelation är inte kausalitet

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

3

Omvänd orsaksriktning: det är y som påverkar x .

4

Sambandet är spuriöst och beror på att en tredje variabel påverkar både x och y .

- 13 -

(32)

Mjukvara

Korrelation är inte kausalitet

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

3

Omvänd orsaksriktning: det är y som påverkar x .

4

Sambandet är spuriöst och beror på att en tredje variabel påverkar både x och y .

- 13 -

(33)

Mjukvara

Korrelation är inte kausalitet

I grunden finns det fyra olika skäl till att observera en samvariation mellan två variabler x och y.

1

Sambandet är kausalt, så att x har en effekt på y .

2

Det observerade sambandet beror på en tillfällighet.

3

Omvänd orsaksriktning: det är y som påverkar x .

4

Sambandet är spuriöst och beror på att en tredje variabel påverkar både x och y .

- 13 -

(34)

Mjukvara

Statistisk signifikans

Kortversionen

För att svara på om ett samband är statistiskt signifikant beräknar vi först ett t-värde:

t = b se

b

Om (det absoluta värdet av) t-värdet är större än det kritiska t-värdet för vår säkerhetsnivå säger vi att sambandet är statistiskt signifikant.

Vi vet då att det finns ett samband i populationen och att den observerade samvariationen inte var en tillfällighet.

- 14 -

(35)

Mjukvara

Statistisk signifikans

Exempel på slumpmässiga skillnader: tärningsslag Anta att vi slår två tärningar och räknar antalet prickar.

Eftersom vi spelar mot en notorisk fuskare misstänker vi att hen har manipulerat tärningarna.

Vi kan använda regressionsanalys för att studera om tärningarna i genomsnitt visar lika många prickar.

Prickar = a + b ∗ tarning + e

Variabeln tärning antar värdet 1 för den ena tärningen och 2 för den andra.

Om det inte är fusktärningar är det ”sanna” b-värdet noll.

Men de enskilda urvalen kommer ge andra b-värden.

- 15 -

(36)

Mjukvara

Statistisk signifikans

Lutningen varierar från urval till urval (n=2, β = 0)

1 2

1 2 3 4 5 6

- 16 -

(37)

Mjukvara

Statistisk signifikans

Lutningen varierar från urval till urval (n=2, β = 0)

1 2

1 2 3 4 5 6

b=1

- 16 -

(38)

Mjukvara

Statistisk signifikans

Lutningen varierar från urval till urval (n=2, β = 0)

1 2

1 2 3 4 5 6

b=−5

- 16 -

(39)

Mjukvara

Statistisk signifikans

Lutningen varierar från urval till urval (n=2, β = 0)

1 2

1 2 3 4 5 6

b=0

- 16 -

(40)

Mjukvara

Statistisk signifikans

Ju större urval, desto mindre avvikelser (n=30, β = 0)

1 2

1 2 3 4 5 6

b=−0.8

- 16 -

(41)

Mjukvara

Statistisk signifikans

Ju större urval, desto mindre avvikelser (n=30, β = 0)

1 2

1 2 3 4 5 6

b=−0.47

- 16 -

(42)

Mjukvara

Statistisk signifikans

Ju större urval, desto mindre avvikelser (n=30, β = 0)

1 2

1 2 3 4 5 6

b=1.13

- 16 -

(43)

Mjukvara

Statistisk signifikans

Vi är i regel mer intresserade av den underliggande processen än skillnaderna i urvalet

Är någon av tärningarna en fusktärning?

Tjänar männen i urvalet mer än kvinnorna på grund av sitt kön?

Påverkar demokratisering risken för väpnad konflikt?

= Vet vi att det finns en effekt eller kan skillnaden mellan tärningarna/könen/länderna bero på slumpen?

- 17 -

(44)

Mjukvara

Statistisk signifikans

Vi är i regel mer intresserade av den underliggande processen än skillnaderna i urvalet

Är någon av tärningarna en fusktärning?

Tjänar männen i urvalet mer än kvinnorna på grund av sitt kön?

Påverkar demokratisering risken för väpnad konflikt?

= Vet vi att det finns en effekt eller kan skillnaden mellan tärningarna/könen/länderna bero på slumpen?

- 17 -

(45)

Mjukvara

Statistisk signifikans

T&S använder β för populationens regressionskoefficient för att skilja den från urvalskoefficienten b (vår gissning om β). Om β är 0 finns det inget samband i populationen.

Jag föredrar att prata om β som den ”sanna” effekten och b som den uppskattade effekten.

Om vi förkastar möjligheten att β = 0 så säger vi att sambandet är statistiskt signifikant.

Vi kan aldrig observera β, men vi har en uppskattning (b) och kan beräkna hur osäker den uppskattningen är.

- 18 -

(46)

Mjukvara

Statistisk signifikans

T&S använder β för populationens regressionskoefficient för att skilja den från urvalskoefficienten b (vår gissning om β). Om β är 0 finns det inget samband i populationen.

Jag föredrar att prata om β som den ”sanna” effekten och b som den uppskattade effekten.

Om vi förkastar möjligheten att β = 0 så säger vi att sambandet är statistiskt signifikant.

Vi kan aldrig observera β, men vi har en uppskattning (b) och kan beräkna hur osäker den uppskattningen är.

- 18 -

(47)

Mjukvara

Statistisk signifikans

T&S använder β för populationens regressionskoefficient för att skilja den från urvalskoefficienten b (vår gissning om β). Om β är 0 finns det inget samband i populationen.

Jag föredrar att prata om β som den ”sanna” effekten och b som den uppskattade effekten.

Om vi förkastar möjligheten att β = 0 så säger vi att sambandet är statistiskt signifikant.

Vi kan aldrig observera β, men vi har en uppskattning (b) och kan beräkna hur osäker den uppskattningen är.

- 18 -

(48)

Mjukvara

Statistisk signifikans

T&S använder β för populationens regressionskoefficient för att skilja den från urvalskoefficienten b (vår gissning om β). Om β är 0 finns det inget samband i populationen.

Jag föredrar att prata om β som den ”sanna” effekten och b som den uppskattade effekten.

Om vi förkastar möjligheten att β = 0 så säger vi att sambandet är statistiskt signifikant.

Vi kan aldrig observera β, men vi har en uppskattning (b) och kan beräkna hur osäker den uppskattningen är.

- 18 -

(49)

Mjukvara

Statistisk signifikans

Urvalens b-värden är ”normalfördelade” (t-fördelade) De flesta urval har b-värden nära β.

Den uppskattade standardavvikelsen för populationen av b-värden kallas för koefficienternas standardfel.

Dessa beräknar datorn åt oss (alt. T&S s. 210–211). Ju fler standardfel b är från 0, desto säkrare är vi på att β 6= 0.

-3 -2 -1 0 1 2 3

Antal standardavvikelser från medelvärdet

B-värdets avvikelse från β (standardavvikelser)

- 19 -

(50)

Mjukvara

Statistisk signifikans

Urvalens b-värden är ”normalfördelade” (t-fördelade) De flesta urval har b-värden nära β.

Den uppskattade standardavvikelsen för populationen av b-värden kallas för koefficienternas standardfel.

Dessa beräknar datorn åt oss (alt. T&S s. 210–211). Ju fler standardfel b är från 0, desto säkrare är vi på att β 6= 0.

-3 -2 -1 0 1 2 3

B-värdets avvikelse från β (standardavvikelser)

- 19 -

(51)

Mjukvara

Statistisk signifikans

Urvalens b-värden är ”normalfördelade” (t-fördelade) De flesta urval har b-värden nära β.

Den uppskattade standardavvikelsen för populationen av b-värden kallas för koefficienternas standardfel.

Dessa beräknar datorn åt oss (alt. T&S s. 210–211).

Ju fler standardfel b är från 0, desto säkrare är vi på att β 6= 0.

-3 -2 -1 0 1 2 3

B-värdets avvikelse från β (standardavvikelser)

- 19 -

(52)

Mjukvara

Statistisk signifikans

Urvalens b-värden är ”normalfördelade” (t-fördelade) De flesta urval har b-värden nära β.

Den uppskattade standardavvikelsen för populationen av b-värden kallas för koefficienternas standardfel.

Dessa beräknar datorn åt oss (alt. T&S s. 210–211).

Ju fler standardfel b är från 0, desto säkrare är vi på att β 6= 0.

-3 -2 -1 0 1 2 3

B-värdets avvikelse från β (standardavvikelser)

- 19 -

(53)

Mjukvara

Statistisk signifikans

Urvalens b-värden är ”normalfördelade” (t-fördelade) De flesta urval har b-värden nära β.

Den uppskattade standardavvikelsen för populationen av b-värden kallas för koefficienternas standardfel.

Dessa beräknar datorn åt oss (alt. T&S s. 210–211).

Ju fler standardfel b är från 0, desto säkrare är vi på att β 6= 0.

-3 -2 -1 0 1 2 3

B-värdets avvikelse från β (standardavvikelser)

- 19 -

(54)

Mjukvara

Statistisk signifikans

Genom att dela b-värdet med dess standardfel erhålls ett mått på hur många standardfel som b-värdet är från 0.

Detta mått kallas t-värde.

t = b se

_b

Om (det absoluta värdet av) t-värdet än större än det kritiska t-värdet kan vi – givet vår säkerhetsnivå – utesluta möjligheten att β = 0.

Vid stora urval är de kritiska värdena t

₉₀

, t

₉₅

och t

₉₉

1,65, 1,96 och 2,58.

- 20 -

(55)

Mjukvara

Statistisk signifikans

t

_kv

närmar sig z

_kv

vid stora urval

- 21 -

(56)

Mjukvara

Statistisk signifikans

Det spelar ingen roll om t-värdet är positivt eller negativt Ett absolut värde innebär att man stryker alla minustecken.

Sambandet är statistiskt signifikant om det absoluta värdet av t-värdet är större än det kritiska värdet.

Kan också uttryckas som att sambandet är signifikant om testvärdet ligger utanför intervallet mellan −t

_kv

och t

_kv

.

- 22 -

(57)

Mjukvara

Statistisk signifikans

Kortversionen igen

För att svara på om ett samband är statistiskt signifikant beräknar vi först ett t-värde:

t = b se

b

Om (det absoluta värdet av) t-värdet är större än det kritiska t-värdet för vår säkerhetsnivå säger vi att sambandet är statistiskt signifikant.

Vi vet då att det finns ett samband i populationen och att den observerade samvariationen inte var en tillfällighet.

- 23 -

(58)

Mjukvara

Statistisk signifikans

Vi ska titta på tre exempel från Marcus föreläsning

1

Sambandet mellan kön och placering på vänster–höger-skalan.

2

Sambandet mellan religiositet och korruption.

3

Sambandet mellan tilltro till regeringen och benägenhet att ge till tiggare.

- 24 -

(59)

Mjukvara

Statistisk signifikans

Variabel Kodning

Höger 1 (klart till vänster) till 5 (klart till höger) Kvinna 0 (man) eller 1 (kvinna)

Månadsinkomst (brutto) 1 (<10 000 kr) till 12 (>60 000 kr)

Korruption 0 (ingen korruption) - 10 (mycket korruption) Religiositet 1 (inte alls viktigt) till 4 (mycket viktigt) BNP per capita Tusentals dollar

Skänker till tiggare 1 (< 1 gång/vecka) till 4 (varje dag) Förtroende för regeringen 1 (inget förtroende) till 4 (fullt förtroende) Borgerlig Skulle rösta på ett borgerligt parti

Tips: Döp gärna dikotoma variabler efter hur de är kodade.

Kvinna och höger har en underförstådd tolkning och går därför snabbare att tolka än kön och ideologisk position.

- 25 -

(60)

Mjukvara

Statistisk signifikans

Exempel 1: Kön och placering på vänster–höger-skalan

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b = -0,125 se(b) = 0,027

t = -4,63 (-0,125/0,027)

Det kritiska t-värdet på 99 procents säkerhetsnivå är här 2,58 (n=7329). Eftersom 4,63 är större än 2,58 (-4,63 ligger utanför det kritiska intervallet från -2,58 till 2,58) kan vi konstatera att effekten av kön på den ideologiska positionen är statistiskt signifikant vid 99 procents säkerhetsnivå.

- 26 -

(61)

Mjukvara

Statistisk signifikans

Exempel 1: Kön och placering på vänster–höger-skalan

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b = -0,125 se(b) = 0,027

t = -4,63 (-0,125/0,027)

Det kritiska t-värdet på 99 procents säkerhetsnivå är här 2,58 (n=7329). Eftersom 4,63 är större än 2,58 (-4,63 ligger utanför det kritiska intervallet från -2,58 till 2,58) kan vi konstatera att effekten av kön på den ideologiska positionen är statistiskt signifikant vid 99 procents säkerhetsnivå.

- 26 -

(62)

Mjukvara

Statistisk signifikans

Exempel 2: Religiositet och korruption

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b = 1,808 se(b) = 0,313

t = 5,78 (1,808/0,313)

Det kritiska t-värdet på 99 procents säkerhetsnivå är här 2,64 (n=78). Då 5,78 är större än 2,64 (5,78 ligger utanför det kritiska intervallet från -2,64 till 2,64) kan vi slå fast att sambandet är statistiskt signifikant på 99 procents säkerhetsnivå.

- 26 -

(63)

Mjukvara

Statistisk signifikans

Exempel 2: Religiositet och korruption

När vi genomför den bivariata regressionsanalysen erhåller vi följande värden:

b = 1,808 se(b) = 0,313

t = 5,78 (1,808/0,313)

Det kritiska t-värdet på 99 procents säkerhetsnivå är här 2,64 (n=78). Då 5,78 är större än 2,64 (5,78 ligger utanför det kritiska intervallet från -2,64 till 2,64) kan vi slå fast att sambandet är statistiskt signifikant på 99 procents säkerhetsnivå.

- 26 -