Föresläsningsanteckningar Sanno II

STOCKHOLMS UNIVERSITET FANT

MATEMATISKA INSTITUTIONEN Sanno II

Matematisk statistik 13 oktober 1997

Esbj¨orn Ohlsson

F¨ oresl¨ asningsanteckningar Sanno II

1 Gammafunktionen

I flera av v˚ara vanliga sannolikhetsf¨ordelningar ing˚ar den s.k. gamma-funktionen.

Γ(p) = Z _∞

0

x^p−1e^−xdx

vilken ¨ar definierad f¨or alla reella p > 0. Vi ska h¨ar sammanfatta funktionens viktigaste egenskaper.

(a) Γ(p) = (p − 1)Γ(p − 1) (b) Γ(1) = 1

(c) F¨or positiva heltal n g¨aller att Γ(n) = (n − 1)!

(d) Γ(¹₂) =√ π

F¨or bevis se Ross sid 231 samt Theoretical Exercise 20” p˚a sid 241 i samma bok.

Ibland kan man ha nytta av f¨oljande approximation f¨or stora p, den s˚a kallade Stirlings formel:

Γ(p + 1) ∼√

2πe^−pp^p+12 n¨ar p → ∞

vilken ska tolkas s˚a att v¨ansterledet delat med h¨ogerledet g˚ar mot 1 d˚a p → ∞. Beviset ¨overhoppas.

1

STOCKHOLMS UNIVERSITET FANT

MATEMATISKA INSTITUTIONEN Sanno II

Matematisk statistik 13 oktober 1997

Esbj¨orn Ohlsson

2 Lagen om Total Sannolikhet

L˚at Y = 1 om A intr¨affar och 0 annars. Notera att E(Y ) = P (A).Genom att till¨ampa Theorem 2.1 i kapitel II p˚a Y f˚ar vi f¨oljande resultat.

Sats 2.1 (a) Lagen om total sannolikhet f¨or diskret s.v. X.

P (A) = X∞ k=1

P (A|X = x_k)p_X(x_k)

(b) Lagen om total sannolikhet f¨or kontinuerlig s.v. X.

P (A) = Z _+∞

−∞

P (A|X = x)f_X(x)dx

Den diskreta delen av satsen ¨ar den ”vanliga” lagen om total sannolikhet (Guts formel (3.3) p˚a sid 6) med H_k= {X = x_k} och n = ∞. Vi har allts˚a f˚att en kontinuerlig motsvarighet till detta resultat fr˚an grundkursen. Den finns inte explicit i Gut, men antyds i Remark 2.1, sid 36, och anv¨ands i exempel 3.1, sid 41.

3 Bayes Sats

Betrakta en tv˚adimensionell diskret s.v. (X, Y ). Om vi f˚ar veta att X = j, ska vi naturligtvis anv¨anda p_{Y |X=j}(k) som sannolikhetsf¨ordelning f¨or Y . Om vi k¨anner X’s f¨ordelning och den betingade f¨ordelningen f¨or X givet Y s˚a kan revideringen fr˚an p_Y(k) till p_{Y |X=j}(k) g¨oras med Bayes’ sats, se formel (3.4) i Gut. Om vi d¨ar s¨atter in A = {X = j} och H_k= {Y = k} f˚ar vi

p_{Y |X=j}(k) = p_{X|Y =k}(j)p_Y(k) P

ip_{X|Y =i}(j)p_Y(i) (1) Anm: Det ¨ar l¨att att se att grundkursens bevis av (3.4) h˚aller ¨aven d˚a n = ∞. Det ¨ar den varianten av (3.4) vi anv¨ant ovan.

Grundkursens version av Bayes’ sats anger hur sannolikheter f¨or disjunk- ta h¨andelser ska revideras n¨ar vi f˚ar veta att A har intr¨affat. (1) anger hur sannolikhetsfunktionen f¨or Y ska revideras n¨ar vi f˚ar veta att X = j har intr¨affat. Hur g¨or vi om X och Y ¨ar kontinuerliga? Genom anv¨andning av definitionen av betingad t¨athetsfunktion f˚ar vi

f_{Y |X=x}(y) = f_X,Y(x, y)

f_X(x) = f_{X|Y =y}(x)f_Y(y)

Rf_X,Y(x, t)dt = f_{X|Y =y}(x)f_Y(y)

Rf_{X|Y =t}(x)f_Y(t)dt (2) Notera att detta ¨ar en direkt kontinuerlig analog till (1) och s˚aledes kan betraktas som en kontinuerlig version av Bayes’sats. Vad g¨or vi om X ¨ar diskret men Y ¨ar kontinuerlig? Den betingade f¨ordelningsfunktionen blir

F_{Y |X=k}(y) = P (Y ≤ y, X = k)

P (X = k) (3)

Anv¨and nu LTS, dvs Sats 2.1 (b), p˚a t¨aljaren s˚a blir den Z _+∞

−∞

P (Y ≤ y, X = k|Y = t)f_Y(t)dt = Z _y

−∞

P (X = k|Y = t)f_Y(t)dt Derivering m a p y av (3) ger nu

f_{Y |X=k}(y) = P (X = k|Y = y)f_Y(y)

P (X = k) (4)

En ny till¨ampning av LTS p˚a n¨amnaren ger nu resultatet i (c)-delen av f¨oljande sats, i viken vi sammanfattar de olika varianterna av Bayes’ sats.

Sats 3.1 Bayes’ sats f¨or stokastiska variabler X och Y . (a) Om X och Y b˚ada ¨ar diskreta:

p_{Y |X=j}(k) = p_{X|Y =k}(j)p_Y(k) P

ip_{X|Y =i}(j)p_Y(i) (b) Om X och Y b˚ada ¨ar kontnuerliga:

f_{Y |X=x}(y) = f_{X|Y =y}(x)f_Y(y) R_+∞

−∞ f_{X|Y =t}(x)f_Y(t)dt (c) Om X ¨ar diskret och Y kontinuerlig:

f_{Y |X=k}(y) = P (X = k|Y = y)f_Y(y) R_+∞

−∞ P (X = k|Y = t)f_Y(t)dt

Ovanst˚aende resultat till¨ampas fr a inom Bayesiansk inferens. Som l¨asaren s¨akert redan noterat har vi utel¨amnat fallet X kontinuerlig och Y diskret.

Det ¨ar inte sv˚art att gissa hur satsen ska se ut i detta fall. Huvudanled- ningen till att vi utel¨amnar det ¨ar att det ¨ar mindre vanligt vid de n¨amnda till¨ampningarna.

Resultatet i (c) kan anv¨andas f¨or att f¨orkorta kalkylerna i Guts tv˚a exempel p˚a sid 46-48. Verifiera g¨arna detta sj¨alv!

STOCKHOLMS UNIVERSITET FANT

MATEMATISKA INSTITUTIONEN Sanno II

Matematisk statistik 13 oktober 1997

Esbj¨orn Ohlsson

4 Flerdimensionell Normalf¨ ordelning - den klas- siska definitionen

I kapitel V ger Gut inte mindre ¨an tre olika definitioner av den flerdimensio- nella (multivariata) normalf¨ordelningen. Trots detta saknas en av de vanli- gaste definitionerna, vilken jag v¨aljer att kalla den klassiska definitionen.

L˚at oss f¨orst notera att om Z ¨ar en vektor med oberoende N(0, 1)- f¨ordelade komponenter s˚a ¨ar den simultana f¨ordelningen f¨or Z v¨aldefinierad (och v¨ak¨and).

Definition 4.1 (Den klassiska definitionen) En n-dimensionell stokas- tisk vektor X ¨ar (n-dimensionellt) normalf¨ordelad, om

X = AZ + b

d¨ar Z ¨ar en vektor med oberoende N(0, 1)-f¨ordelade komponenter, A ¨ar en n × n-matris och b ¨ar en n-vektor.

Antag nu att vi vill skaffa oss en n-dimensionell normalf¨ordelning med en viss, given v¨antev¨ardesvektor µ och given kovariansmatris Λ. F¨or att Λ verkligen ska kunna fungera som kovariansmatris kr¨avs att den ¨ar en symmetrisk, icke-negativt definit (positivt semi-definit) n × n-matris. Fr˚an den linj¨ara algebran (kapitel V.1) vet vi d˚a att det finns en n × n-matris Λ^1/2 s˚adan att Λ^1/2Λ^1/2 = Λ. Matrisen Λ^1/2 ¨ar ¨aven den symmetrisk och icke-negativt definit.

Vi f˚ar nu den ¨onskade normalf¨ordelningen genom att s¨atta X = Λ^1/2Z + µ

Fr˚an Theorem 2.2 f¨oljer att E(X) = µ och V ar(X) = Λ som ¨onskat. Vi skriver X ∼ N (µ, Λ). Notera dock att vi egentligen inte vet ¨annu att µ och Λ entydigt best¨ammer den flerdimensionella normalf¨ordelningen. Det finns n¨amligen flera A-matriser som ger samma kovariansmatris AA⁰. I princip skulle man kunna t¨anka sig att dessa gav olika sannolikhetsf¨ordelningar.

Att s˚a inte ¨ar fallet framg˚ar dock av att den momentgenererande funktonen endast beror av µ och Λ, i kombination med entydighetssatsen f¨or moment- genererande funktioner.

Resultaten i Theorem 3.1, Remark 4.1 samt Theorem 5.1 bevisas utg˚aende fr˚an den klassiska definitionen p˚a ungef¨ar samma s¨att som de bevisas av Gut utifr˚an hans definition 1. Guts definition 1 blir en sats, som brukar kallas

”Cram´er-Wolds device”. Satsen bevisas med hj¨alp av den momentgenere- rande funktionen.

Ovning. Visa att nedanst˚¨ aende b˚ada A-matriser ger samma kovarians- matris AA⁰

µ 2 1 1 1

¶

(5)

à √5 0

√3 5

√1 5

!

(6)

STOCKHOLMS UNIVERSITET FANT

MATEMATISKA INSTITUTIONEN Sanno II

Matematisk statistik 13 oktober 1997

Esbj¨orn Ohlsson

5 Konvergens i f¨ ordelning via f (x) och p(k)

Konvergens i f¨ordelning Xn d

→ X definieras som att F_Xn(x) → F_X(x) d˚a n → ∞ f¨or alla x d¨ar FX ¨ar kontinuerlig, se Gut Definition 1.4 i kapitel VI.

Vi ska h¨ar presentera en sats om hur konvergens i f¨ordelning kan visas med hj¨alp av sannolikhetsfunktioner resp. t¨athetsfunktioner. I satsen efterstr¨avar vi enkla villkor och har d¨arf¨or inte gjort den s˚a generell som m¨ojligt.

Sats 5.1 (a) Om s˚av¨al X som X1, X₂, . . . ¨ar diskreta och endast antar icke- negativa heltalsv¨arden g¨aller:

p_Xn(k) → p_X(k) f¨or k = 1, 2, . . . ⇐⇒ Xn d

→ X

(b) Om s˚av¨al X som X1, X₂, . . . ¨ar kontinuerliga och har t¨athetsfunktioner g¨aller:

f_Xn(x) → f_X(x) x²< =⇒ X_n→ X^d

Bevis. (a) F¨ordelningsfunktionen F (x) f¨or en s.v. p˚a de icke-negativa helta- len kan skrivas som en ¨andlig summa av pX(k). Detta ger ⇒ direkt. Implika- tionen ˚at andra h˚allet f¨oljer av att vi kan skriva p_X(k) = F (k +¹₂)−F (k −¹₂) och k +¹₂ och k − ¹₂ ¨ar kontinuitetspunkter till F_X(x).

(b) Om vi antar att vi f˚ar kasta om integration och lim s˚a g¨aller F_Xn(x) =

Z _x

−∞

f_Xn(x)dx → Z _x

−∞

f_X(x)dx = F_X(x)

Vi avst˚ar fr˚an att f¨ors¨oka bevisa att den n¨amnda omkastningen ¨ar till˚aten (men det ¨ar den).