• No results found

V´ıcerozmˇern´y line´arn´ı regresn´ı model

N/A
N/A
Protected

Academic year: 2022

Share "V´ıcerozmˇern´y line´arn´ı regresn´ı model"

Copied!
5
0
0

Loading.... (view fulltext now)

Full text

(1)

V´ıcerozmˇern´ y line´ arn´ı regresn´ı model

Tom´ aˇs Kadleˇ cek

10. kvˇ etna 2017

(2)

Kapitola 1

V´ıcerozmˇ ern´ y line´ arn´ı regresn´ı model

V t´eto kapitole se budeme vˇenovat rozˇs´ıˇren´ı line´arn´ıho regresn´ıho modelu pro n vysvˇetluj´ıc promˇenn´ych, tedy X1. . . , Xn. V praxi se budeme s t´ımto typem regresn´ıho modelu setk´avat mnohem ˇcastˇeji, neˇz s jednoduchou line´arn´ı regres´ı, protoˇze vysvˇetlovan´a promˇenn´a Y je ovlivnˇena celou ˇradou dalˇs´ıch pˇr´ıˇcinn´ych faktor˚u X1, . . . , Xn. Zaˇrazen´ı tˇechto faktor˚u do modelu pˇrispˇeje k vyˇsˇs´ı m´ıˇre vysvˇetlen´ı z´avisl´e promˇenn´e Y .

Stejnˇe jako u jednoduch´eho line´arn´ıho regresn´ıho modelu formulujeme deter- ministickou populaˇcn´ı regresn´ı funkci jako:

E(Yi|Xi2, . . . , Xij) = β1+ β2Xi2+ · · · + βjXij i = 1, 2, . . . , n. (1.1) Zahrnut´ım n´ahodn´e sloˇzky definujeme stochastickou PRF:

E(Yi|Xi2, . . . , Xij) = Yi = β1+ β2Xi2+ · · · + βjXij+ ui i = 1, 2, . . . , n. (1.2) Tvar (1.2) m˚uˇzeme pro jednotliv´e hodnoty i = 1, 2 . . . , n rozepsat jako:

Y1= β1+ β2X12+ β3X13+ · · · + βjX1j+ u1

Y2= β2+ β2X22+ β3X23+ · · · + βjX2j+ u2 (1.3) ...

Yn= βn+ β2Xn2+ β3Xn3+ · · · + βjXnj+ un.

Soustavu rovnic 1.3 m˚uˇzeme zapsat pomoc´ı maticov´eho z´apisu ve tvaru:

 Y1

Y2

... Yn

=

1 X12 X13 · · · X1j

1 X22 X23 · · · X2j

... ... ... . .. ... 1 Xn2 Xn3 · · · Xnj

×

 β1

β2

... βj

 +

 u1

u2

... un

(1.4)

(3)

Tento tvar vyj´adˇr´ıme prostˇrednictv´ım matice a vektor˚u:

~y = X × ~β + ~u. (1.5)

Kde:

~

y: je vektor (n × 1) vysvˇetlovan´e promˇenn´e Yi

X: je matice (n × j) vysvˇetluj´ıc´ıch promˇenn´ych Xi, kde prvn´ı sloupec je jednotkov´y vektor, kter´y odpov´ıd´a ´urovˇnov´e konstantˇe

β: je vektor (j × 1) regresn´ıch koeficient˚~ u

~

u: je vektor (n × 1) n´ahodn´e sloˇzky

Odhad pro v´ybˇerovou regresn´ı funkci zap´ıˇseme obdobnˇe jako u jednoduch´eho line´arn´ıho regresn´ıho modelu ve tvaru:

~y = X ×~

β + ~b bu. (1.6)

Pro odhad nezn´am´ych parametr˚u cβ1, . . . , bβj m˚uˇzeme pouˇz´ıt metodu nejmenˇs´ıch ˇctverc˚u, metodu maxim´aln´ı vˇerohodnosti nebo zobecnˇenou metodu moment˚u.

1.0.1 Metoda nejmenˇ s´ıch ˇ ctverc˚ u pro v´ıcerozmˇ ern´ y line´ arn´ı regresn´ı model

Princip metody ˇctverc˚u pro v´ıcerozmˇern´y line´arn´ı regresn´ı model je stejn´y jako pro jednoduch´y. Hled´ame odhady pro nezn´ame parametry~

β = cb β1. . . , cβn regresn´ı funkce 1.6. Z t´eto funkce vyj´adˇr´ıme rezidu´aln´ı sloˇzku:

~

bu = ~y − X ×~

β.b (1.7)

Tedy opˇet hled´ame minimalizace souˇctu kvadr´atu rezidu´aln´ıch sloˇzek ~u.b Kvadr´at zap´ıˇseme jako n´asobek transponovan´eho vektoru ~ubT a vektoru ~bu (1.12) [?].

~ buT~

bu = (~y − X bβ)T(~y − X bβ) = ~yT~y −~ βb

T

XT~y − ~yTX~ β +b ~

βb

T

XTX~

βb (1.8) Rovnici popsanou v´yˇse m˚uˇzeme upravit do tvaru 1.9, protoˇze plat´ı, ˇze (~yTX~

β)bT =

~ βb

T

XT~y, neboli transponovan´y skal´ar je roven skal´aru[?].

~ ubT~

u = (~b y − X bβ)T(~y − X bβ) = ~yT~y − 2~ βb

T

XT~y +~ βb

T

XTX~

βb (1.9) Pro nalezen´ı minima funkce 1.9 pouˇzijeme metodu matematick´e anal´yzy hled´an´ı extr´emu. Funkci parci´alnˇe zderivujeme podle~

β a poloˇb z´ıme rovnu nule:

δ(~ubT~ u)b

δ bβ = −2XT~y + 2XTX~

β = 0.b (1.10)

(4)

Vyj´adˇren´ım~

β z´ısk´b ame ˇreˇsen´ı ve tvaru:

~

β = (Xb TX)−1XT~y. (1.11) Jednou z metod v´ypoˇctu koeficient˚u jsou napˇr´ıklad numerick´e metody. Mezi nˇe patˇr´ı tak´e gradientn´ı metoda, kter´a je d´ale pops´ana v praktick´e ˇc´asti. Ostatn´ımi metodami se pr´ace vzhledem rozsahu d´ale nezab´yv´a a jejich popis je k dispozici v publikaci [?].

1.0.2 Rozˇ s´ıˇ ren´ e pˇ redpoklady pro metodu nejmenˇ s´ıch ˇ ctverc˚ u

N´asleduj´ıc´ı kapitola rozˇsiˇruje pˇredpoklady pro v´ıcerozmˇern´y line´arn´ı regresn´ı model.

• P1: Line´arn´ı regresn´ı model ~y = X × ~β + ~u je line´arn´ı v parametrech.

• P2: Matice X nen´ı stochastick´a tzn., ˇze v´ybˇerov´y soubor m´a pevnˇe dan´e promˇenn´e X2, X3, . . . , Xn

• P3: Stˇredn´ı hodnota n´ahodn´e sloˇzky je nulov´a E(~u) = 0

• P4 a P5: Dalˇs´ı dva pˇredpoklady homoskedasticity a s´eriov´e nez´avislosti n´ahodn´e sloˇzky m˚uˇzeme m˚uˇzeme vyj´adˇrit souˇcasnˇe prostˇrednictv´ım va- riaˇcnˇe-kovarianˇcn´ı matic´ı n´ahodn´ych sloˇzek. Tak´e na tomto pˇredpokladu objasn´ıme, pˇr´ıˇcinu n´asoben´ı vektor˚u ~uT~u (1.12).

Vyn´asoben´ım tˇechto dvou vektor˚u dostaneme n´asleduj´ıc´ı tvar:

~ uT~u =

 u1

u2 ... un

× u1 u2 · · · un =

u1u1 u1u2 · · · u1un

u2u1 u2u2 · · · u2un ... ... . .. ... unu1 unu2 · · · unun

 (1.12)

Podle pˇredpoklad˚u pro jednoduch´y line´arn´ı regresn´ı model v´ıme, ˇze plat´ı:

var(ui|Xi) = E(u2i|Xi) = σ2 (1.13) cov(ui; uj|Xi; Xj) = 0 pro i 6= j (1.14) M˚uˇzeme tedy matici 1.12 pˇrepsat do tvaru

u1u1 u1u2 · · · u1un

u2u1 u2u2 · · · u2un

... ... . .. ... unu1 unu2 · · · unun

=

var(u1) cov(u1; u2) · · · cov(u1; un) cov(u2; u1) var(u2) · · · cov(u2; un)

... ... . .. ...

cov(unu1) cov(unu2) · · · var(un)

=

=

σ2 0 · · · 0 0 σ2 · · · 0 ... ... . .. ... 0 0 · · · σ2

= σ2·

1 0 · · · 0 0 1 · · · 0 ... ... . .. ... 0 0 · · · 1

= σ2· In.

(1.15)

(5)

Pˇredpoklad homoskedasticity n´ahodn´e sloˇzky vyjadˇruje, ˇze pro kaˇzd´e xijIn, kde i = j bude xij = 1 a druh´y pˇredpoklad s´eriov´e nez´avislosti n´ahodn´e sloˇzky (nepˇr´ıtomnost autokorelace) vyjadˇruj´ı prvky xijIn, kde i 6= j takov´e, ˇze xij = 0.

• P6: Tento pˇredpoklad vyjadˇruje nekoleraci sloupc˚u matice X s vektorem n´ahodn´e sloˇzky ~u.

E(XT~u) = 0 (1.16)

• P7: Poˇcet nez´avisl´ych ˇr´adk˚u se rovn´a souˇctu sloupc˚u a ten je menˇs´ı nebo roven poˇctu ˇr´adk˚u t´eto matice (poˇcet pozorov´an´ı).

h(X) = k ≤ n (1.17)

• P8: N´ahodn´a sloˇzka m´a norm´aln´ı rozdˇelen´ı ~u ≈ N (0; σ2· In)

References

Related documents

Tato tˇr´ıda slouˇ z´ı k uchov´ an´ı identifikaˇ cn´ıho ˇ c´ısla chyby, textov´ e zpr´ avy a urˇ cen´ı, zda se jedn´ a o program´ atorskou chybu ˇ ci uˇ zivatelskou.

Zvolil jsem ˇreˇsen´ı GPS/GPRS/GSM Module V3.0 [12] od firmy DFROBOT, kter´ e obsahuje moˇ znost jednoduch´ eho pˇripojen´ı vˇsech moˇ zn´ ych periferi´ı

Nicm´ enˇ e v t´ eto pr´ aci byla vyuˇ zita pouze jej´ı element´ arn´ı funkˇ cnost, tedy zazn´ amen´ av´ an´ı pohybu prstu po vymezen´ em prostoru bez moˇ znosti

Mezi data ukl´ adan´ a do datab´ aze patˇr´ı informace o pool serveru, ke kter´ emu je tˇ eˇ zebn´ı klient aktu´ alnˇ e pˇripojen, informace o dobˇ e tˇ eˇ zby aktu´

Po vytvoˇ ren´ı jednoduch´ eho regresn´ıho modelu metodou nejmenˇ s´ıch ˇ ctverc˚ u zaˇ c´ın´ a f´ aze statistick´ e verifikace a dalˇ s´ıho testov´ an´ı hypot´ ez

Metoda maxim´ aln´ı vˇ erohodnosti spoˇ c´ıv´ a v tom, ˇ ze za odhad nezn´ am´ eho parametru (nezn´ am´ ych parametr˚ u) zvol´ı hodnota b θ, kter´ a pˇ ri dan´ ych

Pomoc´ı nˇekolika technik jsem provedl anal´ yzu dat o nemovi- tostech a na jeho z´akladˇe jsem vybral nˇekolik atribut˚ u, kter´e jsem n´aslednˇe pouˇzil pro tvorbu

V teoretick´ e ˇ c´ asti sv´ e pr´ ace se vˇ enuji v´ yvoji dˇ et´ı pˇredˇskoln´ıho vˇ eku v oblas- tech ´ uzce propojen´ ych s rozvojem smyslov´ eho vn´ım´