V´ıcerozmˇern´ y line´ arn´ı regresn´ı model
Tom´ aˇs Kadleˇ cek
10. kvˇ etna 2017
Kapitola 1
V´ıcerozmˇ ern´ y line´ arn´ı regresn´ı model
V t´eto kapitole se budeme vˇenovat rozˇs´ıˇren´ı line´arn´ıho regresn´ıho modelu pro n vysvˇetluj´ıc promˇenn´ych, tedy X1. . . , Xn. V praxi se budeme s t´ımto typem regresn´ıho modelu setk´avat mnohem ˇcastˇeji, neˇz s jednoduchou line´arn´ı regres´ı, protoˇze vysvˇetlovan´a promˇenn´a Y je ovlivnˇena celou ˇradou dalˇs´ıch pˇr´ıˇcinn´ych faktor˚u X1, . . . , Xn. Zaˇrazen´ı tˇechto faktor˚u do modelu pˇrispˇeje k vyˇsˇs´ı m´ıˇre vysvˇetlen´ı z´avisl´e promˇenn´e Y .
Stejnˇe jako u jednoduch´eho line´arn´ıho regresn´ıho modelu formulujeme deter- ministickou populaˇcn´ı regresn´ı funkci jako:
E(Yi|Xi2, . . . , Xij) = β1+ β2Xi2+ · · · + βjXij i = 1, 2, . . . , n. (1.1) Zahrnut´ım n´ahodn´e sloˇzky definujeme stochastickou PRF:
E(Yi|Xi2, . . . , Xij) = Yi = β1+ β2Xi2+ · · · + βjXij+ ui i = 1, 2, . . . , n. (1.2) Tvar (1.2) m˚uˇzeme pro jednotliv´e hodnoty i = 1, 2 . . . , n rozepsat jako:
Y1= β1+ β2X12+ β3X13+ · · · + βjX1j+ u1
Y2= β2+ β2X22+ β3X23+ · · · + βjX2j+ u2 (1.3) ...
Yn= βn+ β2Xn2+ β3Xn3+ · · · + βjXnj+ un.
Soustavu rovnic 1.3 m˚uˇzeme zapsat pomoc´ı maticov´eho z´apisu ve tvaru:
Y1
Y2
... Yn
=
1 X12 X13 · · · X1j
1 X22 X23 · · · X2j
... ... ... . .. ... 1 Xn2 Xn3 · · · Xnj
×
β1
β2
... βj
+
u1
u2
... un
(1.4)
Tento tvar vyj´adˇr´ıme prostˇrednictv´ım matice a vektor˚u:
~y = X × ~β + ~u. (1.5)
Kde:
~
y: je vektor (n × 1) vysvˇetlovan´e promˇenn´e Yi
X: je matice (n × j) vysvˇetluj´ıc´ıch promˇenn´ych Xi, kde prvn´ı sloupec je jednotkov´y vektor, kter´y odpov´ıd´a ´urovˇnov´e konstantˇe
β: je vektor (j × 1) regresn´ıch koeficient˚~ u
~
u: je vektor (n × 1) n´ahodn´e sloˇzky
Odhad pro v´ybˇerovou regresn´ı funkci zap´ıˇseme obdobnˇe jako u jednoduch´eho line´arn´ıho regresn´ıho modelu ve tvaru:
~y = X ×~
β + ~b bu. (1.6)
Pro odhad nezn´am´ych parametr˚u cβ1, . . . , bβj m˚uˇzeme pouˇz´ıt metodu nejmenˇs´ıch ˇctverc˚u, metodu maxim´aln´ı vˇerohodnosti nebo zobecnˇenou metodu moment˚u.
1.0.1 Metoda nejmenˇ s´ıch ˇ ctverc˚ u pro v´ıcerozmˇ ern´ y line´ arn´ı regresn´ı model
Princip metody ˇctverc˚u pro v´ıcerozmˇern´y line´arn´ı regresn´ı model je stejn´y jako pro jednoduch´y. Hled´ame odhady pro nezn´ame parametry~
β = cb β1. . . , cβn regresn´ı funkce 1.6. Z t´eto funkce vyj´adˇr´ıme rezidu´aln´ı sloˇzku:
~
bu = ~y − X ×~
β.b (1.7)
Tedy opˇet hled´ame minimalizace souˇctu kvadr´atu rezidu´aln´ıch sloˇzek ~u.b Kvadr´at zap´ıˇseme jako n´asobek transponovan´eho vektoru ~ubT a vektoru ~bu (1.12) [?].
~ buT~
bu = (~y − X bβ)T(~y − X bβ) = ~yT~y −~ βb
T
XT~y − ~yTX~ β +b ~
βb
T
XTX~
βb (1.8) Rovnici popsanou v´yˇse m˚uˇzeme upravit do tvaru 1.9, protoˇze plat´ı, ˇze (~yTX~
β)bT =
~ βb
T
XT~y, neboli transponovan´y skal´ar je roven skal´aru[?].
~ ubT~
u = (~b y − X bβ)T(~y − X bβ) = ~yT~y − 2~ βb
T
XT~y +~ βb
T
XTX~
βb (1.9) Pro nalezen´ı minima funkce 1.9 pouˇzijeme metodu matematick´e anal´yzy hled´an´ı extr´emu. Funkci parci´alnˇe zderivujeme podle~
β a poloˇb z´ıme rovnu nule:
δ(~ubT~ u)b
δ bβ = −2XT~y + 2XTX~
β = 0.b (1.10)
Vyj´adˇren´ım~
β z´ısk´b ame ˇreˇsen´ı ve tvaru:
~
β = (Xb TX)−1XT~y. (1.11) Jednou z metod v´ypoˇctu koeficient˚u jsou napˇr´ıklad numerick´e metody. Mezi nˇe patˇr´ı tak´e gradientn´ı metoda, kter´a je d´ale pops´ana v praktick´e ˇc´asti. Ostatn´ımi metodami se pr´ace vzhledem rozsahu d´ale nezab´yv´a a jejich popis je k dispozici v publikaci [?].
1.0.2 Rozˇ s´ıˇ ren´ e pˇ redpoklady pro metodu nejmenˇ s´ıch ˇ ctverc˚ u
N´asleduj´ıc´ı kapitola rozˇsiˇruje pˇredpoklady pro v´ıcerozmˇern´y line´arn´ı regresn´ı model.
• P1: Line´arn´ı regresn´ı model ~y = X × ~β + ~u je line´arn´ı v parametrech.
• P2: Matice X nen´ı stochastick´a tzn., ˇze v´ybˇerov´y soubor m´a pevnˇe dan´e promˇenn´e X2, X3, . . . , Xn
• P3: Stˇredn´ı hodnota n´ahodn´e sloˇzky je nulov´a E(~u) = 0
• P4 a P5: Dalˇs´ı dva pˇredpoklady homoskedasticity a s´eriov´e nez´avislosti n´ahodn´e sloˇzky m˚uˇzeme m˚uˇzeme vyj´adˇrit souˇcasnˇe prostˇrednictv´ım va- riaˇcnˇe-kovarianˇcn´ı matic´ı n´ahodn´ych sloˇzek. Tak´e na tomto pˇredpokladu objasn´ıme, pˇr´ıˇcinu n´asoben´ı vektor˚u ~uT~u (1.12).
Vyn´asoben´ım tˇechto dvou vektor˚u dostaneme n´asleduj´ıc´ı tvar:
~ uT~u =
u1
u2 ... un
× u1 u2 · · · un =
u1u1 u1u2 · · · u1un
u2u1 u2u2 · · · u2un ... ... . .. ... unu1 unu2 · · · unun
(1.12)
Podle pˇredpoklad˚u pro jednoduch´y line´arn´ı regresn´ı model v´ıme, ˇze plat´ı:
var(ui|Xi) = E(u2i|Xi) = σ2 (1.13) cov(ui; uj|Xi; Xj) = 0 pro i 6= j (1.14) M˚uˇzeme tedy matici 1.12 pˇrepsat do tvaru
u1u1 u1u2 · · · u1un
u2u1 u2u2 · · · u2un
... ... . .. ... unu1 unu2 · · · unun
=
var(u1) cov(u1; u2) · · · cov(u1; un) cov(u2; u1) var(u2) · · · cov(u2; un)
... ... . .. ...
cov(unu1) cov(unu2) · · · var(un)
=
=
σ2 0 · · · 0 0 σ2 · · · 0 ... ... . .. ... 0 0 · · · σ2
= σ2·
1 0 · · · 0 0 1 · · · 0 ... ... . .. ... 0 0 · · · 1
= σ2· In.
(1.15)
Pˇredpoklad homoskedasticity n´ahodn´e sloˇzky vyjadˇruje, ˇze pro kaˇzd´e xijIn, kde i = j bude xij = 1 a druh´y pˇredpoklad s´eriov´e nez´avislosti n´ahodn´e sloˇzky (nepˇr´ıtomnost autokorelace) vyjadˇruj´ı prvky xijIn, kde i 6= j takov´e, ˇze xij = 0.
• P6: Tento pˇredpoklad vyjadˇruje nekoleraci sloupc˚u matice X s vektorem n´ahodn´e sloˇzky ~u.
E(XT~u) = 0 (1.16)
• P7: Poˇcet nez´avisl´ych ˇr´adk˚u se rovn´a souˇctu sloupc˚u a ten je menˇs´ı nebo roven poˇctu ˇr´adk˚u t´eto matice (poˇcet pozorov´an´ı).
h(X) = k ≤ n (1.17)
• P8: N´ahodn´a sloˇzka m´a norm´aln´ı rozdˇelen´ı ~u ≈ N (0; σ2· In)