Anna Lindgren

(1)

Repetition Exponenter Multipel reg.

Matematisk statistik 9 hp, HT-16 Föreläsning 15: Multipel linjär regression

Anna Lindgren

28+29 november, 2016

Anna Lindgren — anna@maths.lth.se FMS012/MASB03 F15: multipel regression 1/22

(2)

Linj¨ar regression

Vi har n st par av m¨atv¨arden (x

i

, y

i

), i = 1, . . . , n d¨ar y

i

¨ar observationer av

Y

i

= α + βx

i

+ ε

i

d¨ar ε

i

¨ar oberoende av varandra, och ε

i

∈ N (0, σ).

Parameterskattningarna

Skattningarna av α

^∗

, β

^∗

och (σ

²

)

^∗

¨ar

α

^∗

= ¯ y − β

^∗

· ¯ x, β

^∗

= P

n

i=1

(x

_i

− ¯ x)(y

_i

− ¯ y) P

n

i=1

(x

_i

− ¯ x)

²

= S

xy

S

xx

,

(σ

²

)

^∗

= s

²

= Q

₀

n − 2 Q

0

=

n

X

i=1

(y

i

− α

^∗

− β

^∗

x

i

)

²

= S

yy

− S

²_xy

S

xx

(3)

Skattningarnas f¨ordelning:

α

^∗

∈ N



α, σ s

1 n + x ¯

²

S

xx



 , β

^∗

∈ N

β , σ

√ S

xx

Men de ¨ar inte oberoende av varandra.

Konfidens-, prediktions- och kalibreringsintervall (f = n − 2):

I

β

= β

^∗

± t

_a/2

(n − 2) · s

√ S

xx

, I

α

= α

^∗

± t

_a/2

(f ) · s s

1 n + ¯ x

²

S

xx

,

I

μ₀

= α

^∗

+ β

^∗

x

₀

± t

_a/2

(f ) · s s

1 n + (x

₀

− ¯ x)

²

S

xx

,

I

Y(x₀)

= α

^∗

+ β

^∗

x

₀

± t

a/2

(f ) · s s

1 + 1

n + (x

₀

− ¯ x)

²

S

xx

,

I

x₀

= x

₀^∗

± t

_a/2

(f ) · s

|β

^∗

| s

1 + 1

n + (y

₀

− ¯ y)

²

(β

^∗

)

²

S

xx

.

(4)

1970 1980 1990 2000 2010 2020

10² 10³ 10⁴ 10⁵ 10⁶ 10⁷ 10⁸ 10⁹

40048008 8080

8086 286

Intel386^TM Intel486^TM

Intel® Pentium®

Intel® Pentium® II Intel® Pentium® IIIIntel® Pentium® 4

Intel® Itanium®Intel® Itanium® 2

Lanseringsår

Antal transistorer

Antal transistorer hos Intelprocessorer

(5)

Linj¨arisering av exponentiella samband

F¨or att f˚a ett linj¨art samband

y

_i

= α + βx

i

+ ε

i

kan vissa exponent- och potenssamband logaritmeras.

z

_i

= a · e

^βxⁱ

· ε

⁰_i

−→

^ln

ln z

_i

|{z}

y_i

= ln a

|{z}

α

+β · x

i

+ ln ε

⁰_i

|{z}

ε_i

z

i

= a · t

_i^β

· ε

⁰_i

−→

^ln

ln z

_i

|{z}

y_i

= ln a

|{z}

α

+β ln t

i

|{z}

x_i

+ ln ε

⁰_i

|{z}

ε_i

Om de multiplikativa felen, ε

⁰_i

, ¨ar lognormalf¨ordelade blir ln ε

⁰_i

∈ N och vi kan använda linjär regression för att skatta ln α och β.

(6)

1970 1980 1990 2000 2010 2020

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5

5x 10⁸

Lanseringsår

Antal transistorer

Skattat samband: y = 5.13⋅10⁻³⁰¹⋅ e^{0.35 x}

(7)

−4 −2 0 2 4 6 8 10 12

−2 0 2 4 6 8 10 12

log(kroppsvikt) [kg]

log(hjärnvikt) [g]

Samband vikt och hjärnstorlek

Ekorrbäver

Ko

GetVarg

Marsvin

Diplodocus Elefant (Ind)

Åsna Häst

Potar apa

Katt

Giraff Gorilla Människa

Elefant (Afr)

Triceratops Rhesus apa

Känguru

Hamster Mus

Kanin

FårJaguar Chimpans

Brachiosaurus

Råtta Mullvad

Gris

( )( )

( )

(8)

Repetition Exponenter Multipel reg. Modell Skattningar F¨ordeln. Intervall Modellvalidering

Multipel linj¨ar regression

Modellen kan ut¨okas med flera x-variabler:

y

i

= β

0

+ β

1

x

i1

+ . . . + β

k

x

ik

+ ε

i

, i = 1, . . . , n, ε

i

∈ N (0, σ) kan skrivas p˚a matrisform som

y = Xβ + ε

d¨ar y och ε ¨ar n × 1-vektorer, β en 1 × (k + 1)-vektor och X en n × (k + 1)-matris

y =





 y

₁

y

₂

.. . y

n







, X =







1 x

₁₁

· · · x

_1k

1 x

₂₁

· · · x

_2k

.. . .. . . .. .. . 1 x

n1

· · · x

_nk





 , β =





 β

₀

β

₁

.. . β

_k





 ,ε =





 ε

₁

.. . ε

n







(9)

Exempel – Julklappar (Tenta 12/12-2000):

En liten flicka vill undersöka om det lönar sig att vara snäll. Hon har därför noterat värdet (i kr) p˚a de julklappar hon fick fr˚an olika

släktningar i ˚ar, när hon varit snäll, och i fjor d˚a hon var stygg. Hon har insett att värdet p˚a julklapparna ocks˚a till stor del beror p˚a givarens ekonomi och allmänna generositet. Hon räknar därför ocks˚a ut ett lämpligt m˚att p˚a givmildhet:

v¨arde ln(v¨arde)

Sl¨akting i fjor i ˚ar i fjor i ˚ar givmildhet

Storebror 24:50 49:50 3.2 3.9 3.3

Lillebror 18:– 27:– 2.9 3.3 2.8

Mormor och morfar 2981:– 3641:– 8.0 8.2 7.9 Farmor och farfar 30:– 40:– 3.4 3.7 3.4 Mamma och pappa 148:– 329:50 5.0 5.8 5.4

Moster 24:50 44:50 3.2 3.8 3.3

Kusin ? 62:– ? 4.1 3.6

(10)

2 3 4 5 6 7 8

0 1000 2000 3000 4000

zi = julklapparnas värde (kr)

x_2i: givmildhet

2 3 4 5 6 7 8

2 3 4 5 6 7 8 9

y_i = ln(z_i) = ln(julklapparnas värde)

x2i: givmildhet x1i = 0: stygg

x1i = 1: snäll

x1i = 0: stygg x_1i = 1: snäll

(11)

L¨amplig regressionsmodell:

ln z

_i

= y

_i

= α + β

1

· x

_1i

+ β

2

· x

_2i

+ ε

i

, i = 1, . . . , 13, z

_i

= v¨ardet (kr) av julklapp i,

y

i

= ln z

i

= logaritmerat v¨arde p˚a julklapp i,

x

_1i

= 0 för alla fjor˚arets julklappar (d˚a hon varit stygg), 1 för alla ˚arets julklappar (d˚a hon varit snäll), , x

_2i

= givmildheten hos givaren av julklapp i,

ε

i

∈ N (0, σ) ober.,

e

^β¹

= relativa ökningen i julklapparnas värde när flickan är snäll

1. Testa, p˚a niv˚an 5 %, om det l¨onar sig att vara sn¨all, dvs om β

1

är signifikant större än 0.

2. Gör ett tv˚asidigt 95 % prediktionsintervall för värdet p˚a Kusinens julklapp i fjor, d.v.s. d˚a den lilla flickan varit stygg.

(12)

Modell med matriser: Y = Xβ + ε d¨ar

Y =





 3.2 3.9 2.9 3.3 8.0 8.2 3.4 3.7 5.0 5.8 3.2 3.8 4.1





 , X =







1 0 3.3 1 1 3.3 1 0 2.8 1 1 2.8 1 0 7.9 1 1 7.9 1 0 3.4 1 1 3.4 1 0 5.4 1 1 5.4 1 0 3.3 1 1 3.3 1 1 3.6





 , β =



 β

₀

β

₁

β

₂



 , ε =





 ε

₁

ε

₂

ε

₃

.. . ε

₁₂

ε

₁₃







(13)

Skattning av parametrarna

Skattning av β

ML- och MK-skattningar av β

₀

, . . . , β

k

(elementen i β) blir

β

^∗

= (X

^T

X)

⁻¹

X

^T

y

En v¨antev¨ardesriktig skattning av σ

²

ges av (korrigerad ML)

s

²

= Q

₀

n − (k + 1) d¨ar Q

₀

= (y − Xβ

^∗

)

^T

(y − Xβ

^∗

) Q

₀

¨ar allts˚a residualkvadratsumman och k + 1 ¨ar antalet skattade parametrar i Q

0

.

(14)

Skattningar:

X

^T

X =





13 7 55.8

7 7 29.7

55.8 29.7 278.46



 , X

^T

y =



 58.5 32.8 289.09



 ,

(X

^T

X)

⁻¹

=





0.6530 −0.1786 −0.1118

−0.1786 0.3098 0.0028

−0.1118 0.0028 0.0257



 ,

β

^∗

= (X

^T

X)

⁻¹

X

^T

y =



 β

₀^∗

β

₁^∗

β

₂^∗



 =



 0.0208 0.5074 0.9799



 , Q

₀

= (y − Xβ

^∗

)

^T

(y − Xβ

^∗

) = 0.2347,

f = n − (k + 1) = 13 − 3 = 10, σ

^∗

= s =

r Q

₀

f = 0.1532

(15)

2 3 4 5 6 7 8

0 1000 2000 3000 4000 5000

zi = julklapparnas värde (kr)

x_2i: givmildhet

2 3 4 5 6 7 8

0 2 4 6 8 10

y_i = ln(z_i) = ln(julklapparnas värde)

x2i: givmildhet x1i = 0: stygg

x1i = 1: snäll

x1i = 0: stygg x_1i = 1: snäll

(16)

Skattningarnas f¨ordelning

Skattningarna av β är linjära funktioner av Y och är därmed normalfördelade

β

_i^∗

∈ N (β

i

, D(β

_i^∗

)) ,

D(β

_i^∗

) ges av roten ur diagonalelementen i kovariansmatrisen

V(β

^∗

) = σ

²

(X

^T

X)

⁻¹

=







V(β

₀^∗

) C(β

₀^∗

, β

₁^∗

) · · · C(β

₀^∗

, β

_k^∗

) C(β

₁^∗

, β

₀^∗

) V(β

₁^∗

) · · · C(β

₁^∗

, β

_k^∗

)

.. . .. . . .. .. . C(β

_k^∗

, β

₀^∗

) C(β

_k^∗

, β

₁^∗

) · · · V(β

_k^∗

)





 .

F¨or residualkvadratsumman g¨aller Q

₀

σ

²

∈ χ

²

(n − (k + 1))

(17)

Konfidensintervall och hypotestest f¨or β

i

Konfidensintervall f¨or β

i

blir allts˚a

I

β_i

= β

_i^∗

± t

_a/2

(f ) · d(β

_i^∗

) =

= β

_i^∗

± t

_a/2

(n − (k + 1)) · s q

(X

^T

X)

⁻¹

i,i

d¨ar [(X

^T

X)

⁻¹

]

_i,i

¨ar diagonalelement nr i.

Obs! det f¨orsta elementet har nummer i = 0.

Intervallet kan anv¨andas f¨or att testa hypotesen

H

₀

: β

i

= 0 H

1

: β

i

6= 0 Alternativt kan man naturligtvis anv¨anda

T = β

_i^∗

− 0

d(β

_i^∗

) f¨orkasta H

₀

om |T| > t

_a/2

(n − (k + 1)).

(18)

1. Vi vill testa H

0

: β

1

= 0 mot H

1

: β

1

> 0 p˚a signifikansniv˚an a = 0.05. Medelfelet blir

d(β

₁^∗

) = s q

[(X

^T

X)

⁻¹

]

_1,1

= 0.1532 · √

0.3098 = 0.0853 Eftersom

T = β

₁^∗

− 0

d(β

^∗

) = 0.5074

0.0853 = 5.9496 > t

a

(f ) = t

_0.05

(10) = 1.81 kan H

₀

förkastas. Ja, det lönar sig att vara snäll.

Hur mycket l¨onar det sig? Ett tv˚asidigt konfidensintervall f¨or β

₁

blir I

β₁

= β

₁^∗

± t

_a/2

(f ) · d(β

₁^∗

) = 0.5074 ± t

_0.025

(10)

| {z }

2.23

·0.0853

= (0.3174, 0.6974), ⇒ I

_e_β1

= (e

^0.3174

, e

^0.6974

) = (1.37, 2.01)

Att vara snäll ökar värdet p˚a julklapparna med i genomsnitt 37 − 100 %!

(19)

Skattning av punkt p˚a ”planet”

Y-s v¨antev¨arde i en punkt x

₀

= 1 x

₀₁

x

₀₂

· · · x

_0k

ges nu av

μ

^∗

(x

₀

) = β

₀^∗

+

k

X

i=1

β

_i^∗

x

_0i

= x

₀

β

^∗

V(μ

^∗

(x

₀

)) = x

₀

V(β

^∗

)x

^T₀

= σ

²

x

₀

(X

^T

X)

⁻¹

x

^T₀

.

Ett konfidensintervall f¨or μ

^∗

(x

₀

) blir s˚aledes (med f = n − (k + 1)) I

μ^∗(x0)

= x

₀

β

^∗

± t

_a/2

(f ) · s

q

x

₀

(X

^T

X)

⁻¹

x

^T₀

F¨or prediktionsintervallet f˚ar man, som tidigare, l¨agga till en etta under kvadratroten

I

_Y(x₀₎

= x

₀

β

^∗

± t

_a/2

(f ) · s q

1 + x

₀

(X

^T

X)

⁻¹

x

^T₀

(20)

2. Prediktionsintervall f¨or Kusinens julklapp:

Vi har x

₀

= 1 0 3.6 och skattningen

μ

^∗

(x

₀

) = x

₀

β

^∗

= 1 · β

₀^∗

+ 0 · β

₁^∗

+ 3.6 · β

₂^∗

= 3.5484, e

^μ^∗^(x⁰⁾

= e

^3.5484

= 35.76 kr,

x

₀

(X

^T

X)

⁻¹

x

^T₀

= 0.1811,

I

_Y(x₀₎

= 3.5484 ± 2.23 · 0.1532 √

1 + 0.1811

= (3.21, 3.89) Omr¨aknat till kronor blir det

I

_eY(x0)

= (e

^3.21

, e

^3.89

) = (25.69, 48.94) kr

(21)

Modellvalidering

Precis som för enkel regression bör man undersöka residualerna e = y − Xβ

^∗

,

och f¨orvisssa sig om att de verkar vara oberoende och N (0, σ)-f¨ordelade.

Plotta residualerna

1. ”Som de kommer”, dvs mot 1, 2, . . . , n. Ev. ett histogram 2. Mot var och en av x

i

-dataserierna

3. I en normalf¨ordelningsplot

F¨or var och en av β

1

, . . . , β

k

(obs i regel ej β

₀

) b¨or man kunna f¨orkasta H

₀

i testet

H

₀

: β

i

= 0 H

1

: β

i

6= 0 eftersom β

_i

anger ”hur mycket y

ändrar sig när vi ändrar

x

_i

”.

(22)

Kolinj¨aritet (ex. tv˚a variabler, motsv. f¨or fler)

Man bör om möjligt välja sina (x

_1i

, x

_2i

)-v¨arden s˚a att de blir utspridda i

(x

₁

, x

₂

)-planet och inte klumpar ihop sig l¨angs en linje. Detta ger ”en

mer stabil grund” ˚at regressionsplanet.

Anna Lindgren

Matematisk statistik 9 hp, HT-16 Föreläsning 15: Multipel linjär regression

Anna Lindgren

28+29 november, 2016

Linj¨ar regression

Vi har n st par av m¨atv¨arden (x

, y

), i = 1, . . . , n d¨ar y

¨ar observationer av

Y

= α + βx

+ ε

d¨ar ε

¨ar oberoende av varandra, och ε

∈ N (0, σ).

Parameterskattningarna

Skattningarna av α

, β

och (σ

)

¨ar

α

= ¯ y − β

· ¯ x, β

= P

(x

− ¯ x)(y

− ¯ y) P

(x

− ¯ x)

= S

S

,

(σ

)

= s

= Q

n − 2 Q

=

X

(y

− α

− β

x

)

= S

− S

S

Skattningarnas f¨ordelning:

α

∈ N



α, σ s

1 n + x ¯

S



 , β

∈ N

 β , σ

√ S



Men de ¨ar inte oberoende av varandra.

Konfidens-, prediktions- och kalibreringsintervall (f = n − 2):

I

= β

± t

(n − 2) · s

√ S

, I

= α

± t

(f ) · s s

1 n + ¯ x

S

,

I

= α

+ β

x

± t

β , σ