F¨ orel¨ asning 10

10.1 Hypotespr¨ovning

L˚at oss b¨orja i den allm¨anna situationen, dvs.:

Vi har en upps¨attning data x1, x2, . . . , xn som ses som utfall av s.v.

X₁, X₂, . . . , X_n.

Dessa variabler antages vara oberoende och likaf¨ordelade och deras gemensam-ma f¨ordelning beror av en ok¨and parameter θ.

En hypotes om verkligheten ¨ar i detta sammanhang en m¨angd av θ-v¨arden. Formaliserat betyder detta att vi vill testa en nollhypotes

H₀ : θ ∈ H₀ mot ett alternativ (eller en mothypotes)

H1 : θ ∈ H1.

Eftersom detta blir lite abstrakt, s˚a exemplifierar vi steg f¨or steg med fallet d˚a

X₁, X₂, . . . , X_n ¨ar oberoende och N(µ, σ)-f¨ordelade d¨ar µ och σ ¨ar ok¨anda. Exempel

H0 : µ = µ0

mot

H1 : µ 6= µ0.

Att testa H₀ ¨ar detsamma som att avg¨ora om v˚ara data ¨ar ”f¨orenliga” med

H₀. Om H₀ ej ¨ar sann vill vi f¨orkasta H0 till f¨orm˚an f¨or H1. Vi bildar d¨arf¨or en teststorhet T = T (x1, . . . , xn) och ett kritiskt omr˚ade C. (F¨or ¨ogonblicket

bekymrar vi oss inte f¨or hur T och C l¨ampligen bildas.) Test: F¨orkasta H0 om T ∈ C.

I praktiken best¨ams T av situationen och C av signifikansniv˚an (eller felrisken) α:

signifikansniv˚an = α ≥ P (H₀ f¨orkastas om H0 sann)

= P (T (X1, . . . , Xn) ∈ C om H0 sann).

Med riskniv˚an garderar vi oss s˚aledes mot felet att f¨orkasta H0 d˚a H₀ ¨ar sann. Vi b¨or v¨alja H0 s˚a att detta ¨ar det allvarligase felet. Det andra m¨ojliga felet ¨ar att ej f¨orkasta H0 d˚a H₀ ¨ar falsk. Vi bildar styrkefunktionen

h(θ) = P (H₀ f¨orkasta) om θ ¨ar det sanna v¨ardet.

F¨or θ ∈ H0 g¨aller s˚aledes att h(θ) ≤ α. Ett test ¨ar ”bra” om h(θ) ¨ar stor d˚a

θ ∈ H₁.

Vi h˚aller oss tills vidare till exemplet. H¨ar verkar det rimligt att utg˚a fr˚an

T (X₁, . . . , X_n) = ^{X − µ0}

s/^√n ^,

som under H₀ ¨ar t(n − 1)-f¨ordelad, och att f¨orkasta H0 om |T (x₁, . . . , x_n)| ¨ar f¨or stor.

Vi f˚ar d˚a

α = P (|T (X₁, . . . , X_n)| > c om H₀ sann), vilket ger c = t_α/2(n − 1).

Vi kan nu binda ihop hypotespr¨ovning med konfidensintervall, genom att kon-statera att testet ¨ar exakt detsamma som f¨oljande:

Bilda ett konfidensintervall I_µ och f¨orkasta H0 om

I_µ63 µ₀.

Detta verkar ju h¨ogst rimligt. Iµ ger ju de ”troliga” v¨ardena p˚a µ, och om the hypotetiska v¨ardet inte h¨or dit, s˚a b¨or ju H0 f¨orkastas.

Om vi f¨orkastar H0s¨ager vi att ”µ ¨ar signifikant skilt fr˚an µ₀. Ordet signifikant ¨ar egentligen inte s˚a bra, eftersom det ofta tolkas som att skillnaden ¨ar ”viktig”, men det betyder i sj¨alva verket endast ett ”skillnaden f¨ormodligen inte ¨ar slumpm¨assig”.

En god regel, om vi ¨ar intresserade av µs eventuella avvikelse fr˚an µ₀, ¨ar att f¨orst g¨ora en hypotespr¨ovning. Om µ ¨ar signifikant skilt fr˚an µ0, kan vi ta detta som ”alibi” f¨or att diskutera storleken p˚a avvikelsen. Detta g¨ors l¨ampligen genom att vi betraktar I_µ. P˚a detta s¨att minskar vi risken f¨or att g¨ora en ”stor sak” av rent slumpm¨assig skillnad.

10.2. χ2-test 53

Ensidiga test

Vi betraktar nu f¨oljande situation:

H0 : µ = µ0

mot

H₁ : µ > µ₀ (resp. µ < µ₀).

L˚at oss anta att stort v¨arde p˚a µ ¨ar en ¨onskad egenskap. Det kan vara naturligt att vi g¨or en ˚atg¨ard, t.ex. k¨oper n˚agon ny utrustning, som b¨or ¨oka v¨ardet p˚a

µ. Det ¨ar naturligt att vi endast vill k¨opa denna nya utrustning om vi ¨ar

n˚agolunda s¨akra p˚a att den verkligen ger ett h¨ogre v¨arde p˚a µ ¨an µ0

Det ¨ar d˚a naturligt att testa

H₀ : µ = µ₀ mot

H₁ : µ > µ₀.

Testet blir d˚a att vi f¨orkastar H0 om T (x₁, . . . , x_n) ¨ar f¨or stor, eller mera precist om

T > tα(n − 1) eller om ¯x > µ0+ tα(n − 1)s/^√n.

Tolkningen ¨ar att vi kr¨aver, f¨or att f¨orkasta H0, att ¯x ¨ar tillr¨ackligt mycket

st¨orre ¨an µ0 f¨or att det inte ska vara troligt att skillnaden ¨ar slumpm¨assig. Det ¨ar egentligen inte en statistisk fr˚aga hur man skall v¨alja H1. Ofta kan det vara enklare att titta p˚a testet, f¨or att ¨overtyga sig att man ”garderar” sig ˚at ”r¨att h˚all”. Viktigt ¨ar dock att man best¨ammer sig innan man har studerat data, f¨or annars blir signifikansniv˚an fel.

Grundregeln ¨ar dock att det vi vill p˚ast˚a skall s¨attas som H1, eftersom vi bara kan dra tv˚a slutsatser av ett test:

”H₀ f¨orkastas ej”, vilket inte betyder att vi visat att den ¨ar sann; ”H₀ f¨orkastas”.

Givetvis skulle vi mycket v¨al kunna vilja p˚ast˚a att µ = µ0, och d˚a skulle vi ju vilja testa H₀ : µ 6= µ₀ mot H₁ : µ = µ₀. Detta g˚ar inte, eftersom inga observationer i v¨arlden skulle kunna f˚a oss att f¨orkasta detta H0.

Den som g¨or ett test, ”vill” d¨arf¨or ofta att H0 ska f¨orkastas. Det ¨ar nog detta som g¨or att begreppet signifikant misstolkas.

10.2 χ

-test

Vi b¨orjar med den enklaste situationen:

Ett f¨ors¨ok kan utfalla p˚a r olika s¨att: A1, A2, . . . , Ar. L˚at x1, x2, . . . , xr vara antalet g˚anger som alternativen A₁, A₂, . . . , A_r f¨orkommer i n f¨ors¨ok.

L˚at p₁, p₂, . . . , p_r vara givna sannolikheter, dvs ^Pr_i=1p_i = 1. Vi vill testa

H0 : P (Ai) = pi f¨or i = 1, . . . , r mot

H₁ : ej alla P (A_i) = p_i.

F¨or att g¨ora detta bildar vi

Q_obs = r X i=1 (x_i− np_i)2 np_i ^.

Man kan visa att Q ¨ar approximativt χ2(r − 1)-f¨ordelad under H0. (Vi till˚ater oss h¨ar att slarva lite med s.v. och dess utfall.)

F¨or att g¨ora resultatet troligt, betraktar vi r = 2. D˚a g¨aller, med X = X1 och

p = p₁ att Q = ^{(X1 − np1)} 2 np₁ ⁺ (X₂− np₂)2 np₂ ⁼ (X − np)2 np ⁺ (n − X − n(1 − p))2 n(1 − p) = ^{(X − np)} 2 np ⁺ (X − np))2 n(1 − p) ⁼ (X − np)2 np(1 − p) ^.

Eftersom X ¨ar Bin(n, p) s˚a g¨aller att √^X−np

np(1−p) ¨ar appr. N(0, 1). S˚aledes f¨oljer att ^(X−np)_np(1−p)² ¨ar appr. χ2(1).

Vi g¨or nu f¨oljande test: F¨orkasta H0 om Q_obs > χ2

α(r − 1).

Ofta vill vi l˚ata sannolikheterna p₁, p₂, . . . , p_r bero av en ok¨and parameter

θ = (θ₁, . . . , θ_s), och testa hypotesen

H₀ : P (A_i) = p_i(θ), f¨or i = 1, . . . , r, och f¨or n˚agot v¨arde p˚a θ.

Skattar vi θ med ML-metoden, och bildar

Q_obs = r X i=1 (x_i− np_i(θ∗ obs))2 np_i(θ∗ obs) ^, s˚a ¨ar Q approximativt χ2(r − s − 1)-f¨ordelad under H0. Detta resultat kallas ibland f¨or stora χ2-satsen.

10.2. χ2-test 55

Grundregeln ¨ar att antalet frihetsgrader f˚as av

antalet fria kvadratsummor − antalet skattade parametrar.

En vanlig till¨ampning ¨ar att vi vill testa om ett stickprov kommer fr˚an en viss f¨ordelning, eller en viss klass av f¨ordelningar. Man klassindelar d˚a observatio-nerna, t.ex. enl f¨oljande:

A₁ = [g₁, g₂), A₂ = [g₂, g₃), . . . , A_r = [g_r, g_r+1), d¨ar man kan ha g1 = −∞ och/eller gr+1 = ∞.

F¨ordelen med χ2-testet ¨ar att man kan skatta ok¨anda parametrar, nackdelen ¨ar att klassindelningen ger viss subjektivitet.

En vanlig tumregel ¨ar att kr¨ava att alla npi eller npi(θ∗

obs) ¨ar st¨orre ¨an 5. Homogenitetstest

Vi ˚aterg˚ar nu till exemplet i b¨orjan, med ett f¨ors¨ok som kan utfalla p˚a r olika s¨att: A1, A2, . . . , Ar. Antag nu att vi har s f¨ors¨oksserier om n1, . . . , ns

f¨ors¨ok vardera. L˚at x_ij vara antalet g˚anger som alternativet A_j f¨orkommer i

ite f¨ors¨oksserien.

Serie Antal observationer av Antal f¨ors¨ok

A₁ A₂ . . . A_r

1 x₁₁ x₁₂ . . . x_1r n₁

2 x₂₁ x₂₂ . . . x_2r n₂

... ... ...

s xs1 xs2 . . . xsr ns

Vi anser att serierna ¨ar homogena om hypotesen

H₀ : P (A_i) = p_i, f¨or i = 1, . . . , r i alla serierna.

F¨or att testa H0 bildar vi

Q_obs = s X i=1 r X j=1 (xij − nip∗ j)2 nip∗ j , d¨ar p^∗_j = (p^∗_j)obs = P_s i=1x_ij P_s i=1n_i ^.

Frihetsgraderna f˚as p˚a f¨oljande s¨att:

antalet fria kvadratsummor − antalet skattade parametrar = s · (r − 1) − (r − 1) = (r − 1)(s − 1).

Oberoendetest

Vi tar nu ett stickprov om n enheter, d¨ar varje enhet klassifiseras efter tv˚a egenskaper, A och B. Vi kan skriva detta i en kontingenstabell, lik den tabell vi hade i hogenitetstestet. Egenskap A₁ A₂ . . . A_r Total B₁ x₁₁ x₁₂ . . . x_1r x_1· B₂ x₂₁ x₂₂ . . . x_2r x_2· ... ... ... B_s x_s1 x_s2 . . . x_sr x_s· Total x_·1 x_·2 . . . x_·r n

Vi vill nu testa hypotesen

H₀ : P (A_j ∩ B_i) = P (A_j)P (B_i), f¨or alla i och j. F¨or att testa H0 bildar vi

Q = s X i=1 r X j=1 (x_ij − np∗ i·p∗ ·j)2 np∗ i·p∗ ·j , d¨ar p∗ i· = (p∗

i·)_obs = ^xi·

n ^{och p}

∗ ·j = (p∗

·j)_obs = ^x·j

n ^.

Man kan ¨aven h¨ar visa att Q ¨ar approximativt χ2((r−1)(s−1))-f¨ordelad under

H₀.

Frihetsgraderna f˚as p˚a f¨oljande s¨att:

antalet fria kvadratsummor − antalet skattade parametrar = (sr − 1) − [(r − 1) + (s − 1)] = sr − r − s + 1 = (r − 1)(s − 1). OBSERVERA! ¨Aven om homogenitetstestet och kontingenstabellen numeriskt och statistiskt ¨ar lika, s˚a ¨ar det olika test.