En jämförelse mellan ett parametriskt- och ett icke- parametriskt test

Uppsala universitet

Institutionen för informationsvetenskap Enheten för statistik

En jämförelse mellan ett parametriskt En jämförelse mellan ett parametriskt En jämförelse mellan ett parametriskt

En jämförelse mellan ett parametriskt---- och ett icke och ett icke och ett icke och ett icke---- parametriskt test

parametriskt test parametriskt test parametriskt test

Anders Björn*

¹

Examensarbete i statistik D, 15hp Handledare & examinator: Rolf Larsson

Vårterminen 2009

* Jag är tacksam för de råd som Rolf Larsson bistått med under arbetets gång.

Sammanfattning

Statistisk inferens grundar sig ofta i ett fördelningsantagande beträffande den underliggande datagenereringsprocessen. Huruvida antagandet håller eller ej är viktigt för testens validitet. I denna uppsats undersöks likelihoodkvottestet (LR) och Hettmansperger & McKean’s test (HM), i en regressionskontext. För LR-testet görs ett normalitetsantagande vilket jämförs mot HM-testet, för vilket ett fördelningsantagande inte behöver göras. Uppsatsen syftar till att jämföra testens styrka för att avgöra vilket av de två som är optimalt. Jämförelsen baseras dels på empiriska data och dels på simulerade data. Det empiriska datasetet återsamplas med icke-parametrisk bootstrap och de simulerade datasetet genereras med parametrisk bootstrap under ett normalfördelningsantagande samt för ett t- fördelningsantagande. Resultaten för det empiriska datasetet tyder på att HM-testet generellt uppnår högst styrka. Utfallet för det simulerade datasetet indikerar att LR- testet generellt erhåller högst styrka. Vid en jämförelse av testernas empiriska signifikansnivåer pekar resultaten på att Likelihoodkvottestet följer den asymptotiska fördelningen tämligen väl medan Hettmansperger & McKean’s test konsekvent inflaterar de empiriska signifikansnivåerna.

Nyckelord: Likelihoodkvottest, Hettmansperger & McKean’s test, Parametrisk bootstrap, Icke-parametrisk bootstrap.

Innehållsförteckning

1. Introduktion

5

1.1 Bakgrund

5

1.2 Problemdiskussion

5

2. Teoretisk referensram

7

2.1 Modellspecifikation och antaganden

7

2.2 Parametriska metoder

7

2.2.1 Maximum likelihoodestimation 8

2.2.2 Likelihoodkvottestet (LR) 9

2.3 Icke-parametriska metoder

9

2.3.1 Rangbaserade metoder 11

2.3.2 R-estimation 11

2.3.3 Hettmansperger & McKean’s test (HM) 13

3. Metod

16

3.1 Empiriska data

16

3.1.1 Deskriptiv statistik 16

3.1.2 Icke-parametrisk bootstrap 17

3.1.3 Tillvägagångssätt 19

3.2 Simulerade data

20

3.2.1 Parametrisk bootstrap 20

3.2.2 Tillvägagångssätt 21

4. Resultat

23

4.1 Resultat från icke-parametrisk bootstrap

23

4.2 Resultat från parametrisk bootstrap

27

5. Slutsats

32

Källförteckning

33

Appendix 1 – Om spridningsmåttet, konfidensintervall och

normalitetstest

35

Appendix 2 – R-kod

38

Appendix 3 – Variabellista

40

Appendix 4 – Diagram

41

Appendix 5 – Bootstrap p-värden

44

Figurförteckning

Tabell 3.1 – Variabelbeskrivning...16

Tabell 3.2 – Deskriptiv statistik ...17

Tabell 4.1 – Jämförelse av styrka...25

Tabell 4.2 – Empirisk signifikansnivå...26

Tabell 4.3 – Jämförelse av styrka, normalfördelningen...28

Tabell 4.4 – Empirisk signifikansnivå, normalfördelningen...29

Tabell 4.5 – Jämförelse av styrka, t-fördelningen ...30

Tabell 4.6 – Empirisk signifikansnivå, t-fördelningen ...31

Tabell A.1.1– Resultat för normalitetstest...37

Diagram A.4.1: Histogram för log(handel) & log(bnp)...41

Diagram A.4.2: Histogram för log(avst) & sdd...41

Diagram A.4.3: Histogram för log(bnp/pop) ...42

Tabell A.5.1 – P-värden, icke-parametrisk bootstrap ...44

Tabell A.5.2 – P-värden, parametrisk bootstrap under normalfördelningen ...45

Tabell A.5.3 – P-värden, parametrisk bootstrap under t-fördelningen...46

1. Introduktion 1.1

1.1 1.1

1.1 Bakgrund Bakgrund Bakgrund Bakgrund

Många av de klassiska hypotestesterna som används grundar sig på antagandet att den eller de variabler som undersöks är stickprov dragna ur en underliggande normalfördelning eller att de kan normalapproximeras med hjälp av centrala gränsvärdessatsen. Ofta är normalitetsantagandet rimligt men det finns situationer då det är mindre rimligt eller rent av olämpligt. I de fall då data inte kan antas vara genererade ur normalfördelningen kan det vara fördelaktigt att basera inferens på icke-parametriska test.

1.2 1.2 1.2

1.2 Problemdiskussion Problemdiskussion Problemdiskussion Problemdiskussion

Denna uppsats syftar till att jämföra ett parametriskt och ett icke-parametriskt test.

Båda testerna avser hypoteser kring parametrarna i linjära regressionsmodeller.

Jämförelsen kommer att fokusera på testens styrka givet signifikansnivå för att bestämma vilket av testen som är optimalt. Ett test sägs vara optimalt om det har maximal styrka, för en given signifikansnivå. Testen kommer att jämföras för fem stickprovsstorlekar samt för fem stycken nollhypoteser på signifikansnivåerna 1, 5 respektive 10 procent. Vidare kommer en jämförelse av testens empiriska signifikansnivåer relativt de asymptotiska (nominella) att genomföras.

Undersökningen kommer att genomföras med (1) ett empiriskt makrodataset samt (2) simulerade data från standardnormalfördelningen och från t-fördelningen. För att estimationen av regressionsmodellens parametrar ska vara genomförbar är ett av antagandena att feltermerna är genererade av en symmetrisk fördelning. Detta är den huvudsakliga motivationen till valet av fördelningar.

För (1) kommer icke-parametrisk bootstrap att användas samt för (2) kommer parametrisk bootstrap att användas. Fördelen med att använda simulerade data ligger i resultatens generaliserbarhet. Motivationen för att använda ett empiriskt dataset är främst att testerna genomförs på realistiska data.

Uppsatsens följande delar kommer att behandla, den för uppsatsen nödvändiga teorin, avsnitt 2. I avsnitt 3 presenteras bootstrapteori, uppsatsens tillvägagångssätt samt en kort beskrivning av det empiriska datamaterialet. Vidare kommer avsnitt 4 att behandla de erhållna resultaten samt en analys av dessa. Det avslutande avsnittet kommer att summera de slutsatser som påträffats.

2. Teoretisk referensram 2.1

2.1 2.1

2.1 Modellspecifikation och antaganden Modellspecifikation och antaganden Modellspecifikation och antaganden Modellspecifikation och antaganden

Den generella modellen för (linjär) multipelregression är

= + ′ +

Y ξ X β e, (2.1)

där Y′ =( ,...,Y1 Y_n) är en n * 1 vektor, innehållande den beroende variabeln,

( ^ξ

^{,..., )}

^ξ

′ =

ξ är det okända interceptet, β′ =_p (β1,...,β_p) är en 1 * p vektor av okända parametrar samt

11 12 1

12 22 2

1 2

p

p

n n np

x x x

x x x

x x x

 

 

 

= 

 

 

 

X

⋯

⋯

⋮ ⋮ ⋱ ⋮

⋯

(2.2)

är en n * p matris av kända konstanter. Vidare är e′ =

(

e1,...,e_n

)

en n * 1 vektor innehållande modellens feltermer. Låt F(.) vara feltermernas kumulativa fördelningsfunktion samt låt (.)f vara feltermernas täthetsfunktion. De inledande antagandena beträffande modellens feltermer är:

Antagande 1.

Antagande 1.Antagande 1.

Antagande 1. Feltermerna antas vara oberoende och likafördelade (IID).

Antagande 2.

Antagande 2.Antagande 2.

Antagande 2. (.)f är kontinuerlig, symmetrisk och centrerad kring noll.

Antagande 3.

Antagande 3.Antagande 3.

Antagande 3. Feltermernas varians antas vara konstant.

Antagande 4.

Antagande 4.Antagande 4.

Antagande 4.

γ

f²( )t dt

∞

−∞

=

∫

< ∞^.

Antagande 3 och antagande 4 är nödvändiga eftersom

γ

⁻¹ spelar en viktig roll i avsnitt (2.3.3).

2.2 2.2 2.2

2.2 Parametriska me Parametriska me Parametriska metoder Parametriska me toder toder toder

De mest frekvent använda statistiska metoderna² är de parametriska. Dessa metoder kan sägas vara de som antar att det studerade stickprovet är draget ur

2 Med metoder avses här, främst estimation och hypotestest.

någon känd fördelning, med ett ändligt antal kända parametrar³ (med okända värden) (Wolfowitz, 1942).

För de två följande avsnitten (2.2.1 samt 2.2.2) förutsätts det att läsaren har en tämligen god förståelse för de metoder som presenteras och således kommer endast en kort genomgång att göras. Men för en mer grundlig genomgång se till exempel Wooldridge (2002) alternativt Wackerly et. al. (2002).

2.2.1 Maximum likelihoodestimation

Maximum likelihoodmetoden introducerades av Sir Ronald Fisher (1912) och är idag en ofta använd metod för att estimera parametrar givet någon känd sannolikhetsfördelning (Upton & Cook, 2006).

En likelihood, för ett stickprov om n observationer, definieras som produktsumman av (sannolikhets) täthetsfunktionen som antas ha genererat stickprovet, enligt

1 1

1

( ) ( | ; ) ... ( | ; ) ( | ; )

n

n n i i

i

L β f y x β f y x β f y x β

=

≡ × × =

∏

^(2.3)

För att konstruera likelihooden måste således ett fördelningsantagande göras (om inte fördelningen är känd). Betänk att notationen i (2.3) är naturlig i en regressionskontext, då estimationen av förväntan av y givet x är målet.

Maximum likelihoodmetoden går i korthet ut på att välja som estimat, de värden på β som maximerar ekvation (2.3), givet stickprovet. Estimaten kallas maximum likelihoodestimat (MLEs). Det är ofta mindre besvärligt att maximera den naturliga logaritmen av likelihoodfunktionen (kallas loglikelihoodfunktionen). Således blir maximeringsproblemet

max ln ( )

p

β L β (2.4)

Fördelen med ML metoden är att de erhållna estimaten ofta har minsta varians och är förväntningsriktiga (MVUE), givet att sannolikhetstäthetsfunktionen i (2.3) är rätt specificerad. (Wackerly, et. al., 2002). I de fall då tätheten är felspecificerad kan maximum likelihoodmetoden producera inkonsistenta estimat (Wooldridge, 2002).

3 En konstant som är en del i beskrivningen av en sannolikhetstäthetsfunktion, där funktionens form beror av parametern (Upton & Cook, 2006).

2.2.2 Likelihoodkvottestet (LR)

LR-testet kan i regressionssammanhang användas för att testa hypoteser beträffande modellens koefficienter enligt

( )

( )

0 1

1

: ; ,..., och ospecificerad : ; ,..., och ospecificerad

q p q q p

A q p q q p

H H

β β

β β

− +

− +

 ′ = ′ = 

 

 ′ ≠ ′ = 

 

β 0 β ξ

β 0 β ξ

. (2.5)

Även andra formuleringar av ekvation (2.5) är möjliga men de nollhypoteser som behandlas i denna uppsats är i enlighet med (2.5). Den teststatistika som används baseras på differensen mellan loglikelihooden under nollhypotesen samt loglikelihooden under alternativhypotesen, enligt

ˆ0

2 ln ( ) ln ( )

LR= − ^ L β − L βɶ ^ (2.6)

där ( )L βɶ är den maximala likelihooden för modellen utan restriktioner och L(

β

ˆ₀) är den maximala likelihooden för modellen med restriktioner. Ekvation (2.6) gäller för ”stora” stickprov, se Wackerly et. al (2002) för en mer omfattande diskussion.

Under nollhypotesen är LR-statistikan asymptotiskt chi-tvåfördelad med q stycken frihetsgrader, där q är antalet restriktioner under nollhypotesen. Förkastelsegränsen, för en given signifikansnivå, är RR=^förkasta H om LR0 >χ_q²,_α^ .

2.3 2.3 2.3

2.3 Icke Icke Icke----parametriska metoder Icke parametriska metoder parametriska metoder parametriska metoder

Termen icke-parametrisk formulerades först av Wolfowitz (1942). Givet den definition av parametriska metoder som angavs i avsnittet ovan, menar Wolfowitz att de icke-parametriska metoderna är komplementet till de parametriska. Alltså de metoder som inte antar vilken fördelning som det aktuella stickprovet är draget ur.

Det verkar dock inte råda någon konsensus (bland statistiker) kring en entydig definition av begreppet icke-parametrisk. Termen kan således ses som något oprecis. Men det är inte författarens intention att försöka skapa en uniform definition av begreppet och således kommer ingen vidare diskussion kring detta att föras. Fokus kommer att ligga på ett för ämnet relaterat begrepp, fördelningsfrihet.

Fördelningsfrihet är ofta en nyckelegenskap för många icke-parametriska metoder.

Till exempel, en teststatistika sägs vara fördelningsfri om den inte beror av en underliggande fördelning, givet sann nollhypotes (Hollander & Wolfe, 1999).

Den huvudsakliga motivationen till de icke-parametriska metoderna är deras stora tillämpbarhet samt få antaganden relativt de parametriska metoderna (Hollander &

Wolfe, 1999). Frågan om när det kan vara fördelaktigt att tillämpa de icke- parametriska metoderna kan sägas vara då (i) det undersökta stickprovet är ”litet”, (ii) normalitetsantagandet inte håller samt (iii) data är på nominal- eller ordinalskala. (Newbold, et. al., 2007).

De icke-parametriska metoderna medför en del tilltalande fördelar. Till exempel, metoderna är giltiga under minimalt antal antaganden samt att de har tillfredställande effektivitets⁴- och robusthetsegenskaper⁵. Det skall dock sägas att metoderna kan medföra vissa nackdelar. Resultaten av icke-parametriska test kan, i vissa fall, vara svårtolkade (Maritz, 1981) samt att metoderna tenderar att ha sämre styrka relativt de parametriska motsvarigheterna, givet att den undersökta variabeln är (eller på goda grunder, kan antas vara) normalfördelad (Hollander & Wolfe 1999).

Ett vanligt antagande för icke-parametriska metoder är att den studerade variabeln kommer från en kontinuerlig fördelning. Observera att inget antagande görs om fördelningens utseende. Antagandet implicerar att sannolikheten att erhålla två helt identiska observationer är lika med noll. Det skall dock sägas att i praktiken förekommer identiska observationer (kallas ties) vilket kan vara ett tecken på att den studerade variabelns fördelning inte är kontinuerlig. Ett annan möjlig förklaring till detta kan vara att variabeln är kontinuerlig men är behäftad med mätfel eller att skillnaderna mellan två till synes identiska observationer är för små för att upptäcka. (Hollander & Wolfe, 1999). Hur dessa observationer ska behandlas beror på vilken (icke-parametrisk) metod som används men för de rangbaserade metoderna ges nedan en förklaring.

4 Givet en normalfördelad slumpvariabel har det visat sig att de icke-parametriska metoderna endast är ”något” mindre effektiva relativt sina parametriska motvarigheter (Hollander & Wolfe, 1999).

5 Metoderna är inte speciellt känsliga för extremvärden.

2.3.1 Rangbaserade metoder

En del fördelningsfria teststatistikor baseras på rang. Detta betyder att man rangordnar de numeriska värdena, i stickprovet, i stigande ordning med början på ett. I de fall då ties uppstår tilldelas dessa medelrangen av de möjliga rangerna.

(Newbold, et al., 2007). Nedan ges ett praktiskt exempel.

Exempel: Sex stycken individer får ta ställning i någon fråga, svaren kan endast anta heltal mellan ett och fem.

Individ: A B C D E F

Svar: 1 1 4 2 3 1

Rang: 2 2 6 4 5 2

Källa: Egen framställning.

I exemplet ovan har individerna A, B och F angett samma svar och erhåller således rangen (1+2+3)/3. De övriga individerna rangordnas i stigande ordning. Baserat på exemplets ranger kan en icke-parametrisk teststatistika beräknas för att utföra inferens. Det stiliserade exemplet ovan visar på en situation då stickprovet är

”litet”, data är på ordinalskala och ett normalfördelningsantagande inte nödvändigtvis är rimligt. Syftet med exemplet är att dels introducera läsaren till rangprincipen (som är utav vikt för förståelsen av avsnittet nedan) samt att belysa en situation då icke-parametriska metoder med fördel kan användas.

2.3.2 R-estimation

Klassen R-estimatorer är rangbaserade metoder som (i vissa fall) används vid analys av linjära modeller. Dessa metoder utnyttjar logiken bakom välkända rang- metoder⁶ för estimationen av regressionsmodellers parametrar (Draper, 1988). Den R-estimator som kommer att behandlas i denna uppsats togs fram av Jureckova (1971) och generaliserades av Jaeckel (1972) och kan ses som en rangmotsvarighet till minsta kvadratmetoden (OLS). OLS-metoden producerar estimat för parametrarna i ekvation (2.1) genom att minimera summan av de kvadrerade feltermerna, enligt

2

1

min

p

n i i β e

∑

= ^{. (2.7)}

6 Se Hollander & Wolfe (1999), Newbold et. al. (2007) samt Maritz (1981) för exempel på rang- metoder.

OLS är dock känslig för extremvärden samt om feltermerna är genererade från en fördelning med ”mycket” sannolikhetsmassa i svansarna, således kan mer robusta metoder vara att föredra. Jaeckel’s (1972) estimator bygger på att feltermerna initialt ordnas, inom stickprovet, i stigande ordning, enligt

( ) ( ) 1 n

i i i

e e

∑

= ^{. (2.8)}

Därefter byts den ena ordnade feltermen, e( )i , ut mot en scorefunktion, ( )a i . Den för uppsatsen relevanta scorefunktionen definieras enligt

1/2 1

( ) 12

( 1) 2 a i i

n

 

=  + − . (2.9)

Scorefunktionen är en ickeminskande uppsättning av scores, det vill säga (1) ,..., ( )

a ≤ ≤a n , som uppfyller

1

( ) 0

n

i

a i

=

∑

= ^{. (2.10)}

Ekvation (2.10) krävs för att Jaeckel’s (1972) spridningsmått (presenteras nedan) inte ska bero av interceptet⁷, ξ, vars estimation⁸ inte direkt behandlas av metoden.

Med hänsyn till ekvation (2.10) kan Wilcoxonvikter introduceras i scorefunktionen enligt

1 1

( ) ( )

n n

i

i i

a i a R

= =

∑

=

∑

^(2.11)

där R_i är den i: te rangen av e_{( )i} (definierad ovan). Scorefunktionens olika möjliga former och optimalitet beskrivs ingående av Jureckova (1971), Draper (1988) samt av Hettmansperger & McKean (1977). Litteraturen beskriver att scorefunktionen i högerledet i ekvation (2.11) ger en tillfredställande balans mellan robusthet och effektivitet för många sannolikhetsfördelningar⁹ (Draper, 1988). Detta är den huvudsakliga motivationen för att den används i denna uppsats. Nu kan Jaeckel’s (1972) spridningsmått definieras som

_{( )}

1

( ) ( )

n

i i

i

D e a R e

=

=

∑

^(2.12)

och skrivas om som

7 Detta visas i appendix 1.

8 Den estimator av interceptet som kommer att tillämpas är medianen av de parvis, sorterade, feltermernas medelvärde. En närmare genomgång av detta återfinns i appendix 1.

9 Som uppfyller antagande 2, avsnitt 2.1.

( )

1/ 2 1

1

( ) (12) ( 1) 1

2

n

i i i

i

D Y Xβ n ⁻ R n Y x β

=

 +  ′

− = +  −  −

 

∑

^(2.13)

eftersom e Y= − −ξ Xβ , men som nämnts ovan påverkar inte interceptet, ξ, ekvation (2.13). Scorefunktionen ger mindre vikt åt de största och minsta feltermerna, eftersom de bildar linjärkombinationer snarare än kvadrater (som i OLS), vilket gör parameterskattningarna potentiellt mer robusta relativt OLS.

(Draper, 1988).

För att erhålla R-estimaten för modellens parametrar minimeras spridningsmåttet i (2.13) enligt

min ( )

p

D Y X

β − β (2.14)

Löser man ekvation (2.14) för ˆβ_p erhålles rangmotsvarigheterna till OLS-metodens normalekvationer. En nackdel för den ovan beskrivna metoden är att de lösningar som ekvation (2.14) genererar inte nödvändigtvis är unika. Detta är ett teoretiskt problem men medför sällan några problem i praktiken (Draper, 1988).

2.3.3 Hettmansperger & McKean’s test (HM)

Baserat på Jaeckel’s (1972) R-estimator utvecklade Hettmansperger & McKean (1976) ett test för hypoteser om regressionsmodellens (2.1) parametrar. Den för uppsatsen relevanta nollhypotesen avser att testa huruvida en specifik delmängd av regressionens β_p- parametrar är lika med noll. Formellt uttryckt

( )

( )

0 1

1

: ; ,..., och ospecificerad : ; ,..., och ospecificerad

q p q q p

A q p q q p

H H

β β

β β

− +

− +

 ′ = ′ = 

 

 ′ ≠ ′ = 

 

β 0 β ξ

β 0 β ξ

. (2.15)

Givet en sann nollhypotes spelar de oberoende variablerna, X_n1,...,X_nq, inte någon betydande roll vid bestämmandet av den beroende variabeln Y. Ibland testas huruvida alla β₁=,...,=β_p är lika med noll, (modellen har ingen förklarande kraft) genom att sätta q lika med p i ekvation (2.15) (Hollander & Wolfe, 1999).

Beräknandet av teststatistikan, HM, görs i tre steg. Först estimeras modellen (2.1) utan restriktioner på vektorn βp. De obundna estimaten för β är de värden, βɶ , som minimerar (2.13).

I det andra steget estimeras β_p under de restriktioner som nollhypotesen medför, återigen genom att minimera (2.13). Då erhålls 

( 0)

D Y−Xβ som minimumet under nollhypotesen samt (D Y−Xβɶ som minimumet under alternativhypotesen. Vidare ) formas nu differensen mellan det bundna och det obundna spridningsmåtten som



*

( 0) ( )

D =D Y−Xβ −D Y−Xβɶ (2.16)

I det sista steget estimeras en parameter, τɵ , som kan ses som ett skalmått eller ett variationsmått (Hollander & Wolfe, 1999). Där

1

1/ 2 2

12 f ( )t dt

τ ^{− ∞ −}

−∞

 

= 

∫

 ^(2.17)

där f ⋅( ) är feltermernas täthetsfunktion. Parametern

τ

används för flera asymptotiskt fördelningsfria tester för att standardisera teststatistikan (Aubuchon &

Hettmansperger, 1984). Generellt baseras estimatorn antingen på längden av ett icke-parametriskt konfidensintervall, se Lehmann (1963), eller genom estimation av tätheten, f(.), med kärnestimation, se till exempel Schweder (1975). För estimatorer av Lehmann-typ förutsätts dock att feltermerna kommer från en fördelning som är symmetrisk kring sin median, vilket krävs för att estimatorn ska vara konsistent (se antagande 2, avsnitt 2.1). Detta antagande släpps för kärnestimatorerna. Den estimator av

τ

som kommer att nyttjas i denna uppsats är av Lehmann-typ och definieras som

1 1/ 2

/ 2 1

ˆ (2Z_α ) n Q _α

τ = ⁻ ₋ (2.18)

där Z_{α/ 2} är Z-värdet från standardnormalfördelningen för en given signifikansnivå och där Q1_−α är längden av ett fördelningsfritt konfidensintervall för parametern ξ, applicerat på feltermerna för modellen som är estimerad under alternativhypotesen.

En mer utförlig framställning av det fördelningsfria konfidensintervallet och beräkning av interceptet ξ återfinns i Appendix 1. Den signifikansnivå som kommer att användas för Z_α/ 2och Q1_−α är 20 procent enligt rekommendation i Hettmansperger & McKean (1977).

För att erhålla HM teststatistikan (beroende på val av estimator för

τ

) kombineras resultaten av de ovanstående stegen enligt

2 *

ˆ HM D

= τ . (2.19)

Vid bildandet av (2.19) erfordras antagande 4 som återfinns i avsnitt 2.1.

Författarna Hettmansperger & McKean (1976) visar att HM statistikan är asymptotiskt

χ

q² under nollhypotesen, där q är antalet restriktioner under nollhypotesen. För en given signifikansnivå,

α

, är förkastelseområdet

2

0 ,

[förkasta H om HM _q ]

RR= ≥

χ

_α (Hollander & Wolfe, 1999). Författarna Hettmansperger & McKean (1977) genomför en mindre simuleringsstudie för ”små”

och ”medelstora” stickprov. Deras resultat pekar på att chi-tvåfördelningen har för tunn svans, vilket medför att sannolikheten för typ I fel inflateras. Anledningen till detta sägs vara den extra variationen som estimationen av parametern

τ

medför (Draper, 1988). Som en lösning föreslår Hettmansperger & McKean (1977) att en

, ( 1) q n p

F _{− +} -fördelning används, där q är antalet restriktioner under nollhypotesen samt p är antalet förklarande variabler under nollhypotesen.

3. Metod

All databehandling som har genomförts i denna uppsats är utförd i programmet ”R”.

Programmet finns tillgängligt för gratis nedladdning på hemsidan www.r-project.org.

Delar av koden som används för dataframställning samt datamanipulation finns tillgänglig i Appendix 2.

3.1 3.1 3.1

3.1 Empiriska data Empiriska data Empiriska data Empiriska data

3.1.1 Deskriptiv statistik

De empiriska data som används i denna uppsats är ett paneldataset hämtat från http://faculty.haas.berkeley.edu/arose/RecRes.htm. Datasetet behandlar internationell handel för 186 länder över tidsperioden 1975 – 1990 och har mätts med femårs intervall. Det totala antalet observationer är 33903 stycken. Den kompletta variabellistan återfinns i Appendix 3. Teorin beträffande variablernas samband utelämnas helt, då det faller utanför ramen för denna uppsats, men för den intresserade se till exempel Rose (2000) eller Glick & Rose (2002).

Denna uppsats utnyttjar endast en delmängd av datasetets variabler. Data är begränsat till handel mellan industrialiserade länder¹⁰ för året 1985. Anledningen till denna begränsning är främst att minimera antalet¹¹ missing values. I Tabell 3.1 (nedan) ges en kort beskrivning av de variabler som innefattas av denna studie.

Tabell 3.1 – Variabelbeskrivning

Variabel definition

log(handel): logaritmen av summan av exporten mellan länderna i och j för år 1985, i tusentals USD.

log(bnp): logaritmen av produkten av real BNP för länderna i och j för år 1985

log(avst): Avståndet mellan koordinaterna för länderna i och j. . sdd: nominell växelkursvolatilitet mellan länderna i och j för de fem föregående åren innan 1985.

log(bnp/cap) logaritmen av produkten av real BNP per capita för länderna i och j. . Källa: Egen framställning.

Den regressionsmodell som kommer att estimeras ges av

, 1 , 2 , 3 , 4 , ,

log(handel_{i j})= +ξ β log(bnp_{i j})+β log(avst_{i j})+β sdd_{i j}+β log(bnp_{i j} /cap_{i j}).(3.1)

10 Se appendix 3.

11 Antalet missing values är noll för alla variabler.

I Tabell 3.2 nedan återges de fyra centralmomenten för de ovan beskrivna variablerna.

Tabell 3.2 – Deskriptiv statistik

Variabel/mått medel median st. av. skewness* kurtosis*

log(handel) 13,43 13,53 2,19 -0,51 0,82 .

log(bnp) 36,98 36,97 2,22 -0,07 -0,10

log(avst) 7,74 7,71 1,07 -0,28 -0,92 .

sdd 2,96 2,86 1,22 0,62 0,24

log(bnp/cap) 18,55 18,64 0,41 -0,60 -0,15 . Not: Antalet observationer per variabel är 314. * Skewness och kurtosis är standardiserade, jämför med standardnormalfördelningen vars tredje och fjärde centralmoment är noll. Källa: Egen

framställning.

För variablerna i Tabell 3.2 testas nollhypotesen om variablerna kan anses vara normalfördelade i populationen. Detta görs med Anderson & Darlings (1952) test.

Testet jämför variabelns empiriska kumulativa täthetsfunktion mot normalfördelningens kumulativa täthetsfunktion. För Variablerna log(handel) och log(bnp) förkastas inte nollhypotesen om normalitet på 5 procents signifikansnivå.

För de övriga variablerna förkastas nollhypotesen (på samma nivå). I Appendix 1 återfinns testet i sin helhet samt de erhållna resultaten. Histogram för variablerna återfinns i Appendix 4. Normalitetstestet genomförs främst därför att maximum likelihoodmetoden är känslig för felspecificering av täthetsfunktionen som utgör likelihoodfunktionen (se avsnitt 2.2.1). Då modellen i ekvation (3.1) estimeras med ML metoden görs antagandet att data är genererade av normalfördelningen.

Eftersom variabeln log(handel) kan anses vara normalfördelad (på 5 procentsnivån) betraktas normalitetsantagandet som (i viss mån) uppfyllt.

3.1.2 Icke-parametrisk bootstrap

Bootstrap¹² är idag en väl använd återsamplingsmetod som presenterades av Efron (1979) och kan användas som ett alternativ till asymptotiska approximationer. Den icke-parametriska bootstrapen motiveras genom att för ett givet stickprov vars fördelning är okänd approximera denna med hjälp av återsampling. Alltså man behandlar det observerade stickprovet som populationen och drar slumpmässigt nya bootstrap-stickprov, upprepade gånger, ur det observerade stickprovet.

(Wooldridge, 2002)

12 Det finns många varianter på metoden, de för uppsatsen relevanta varianterna beskrivs nedan.

För den icke-parametriska bootstrapen antas inledningsvis att observationerna i stickprovet är oberoende, likafördelade, slumpvariabler (IID) med en okänd kumulativ fördelningsfunktion F ⋅( ). För att approximera F ⋅( ) används den empiriska, kumulativa fördelningsfunktionen, F ⋅ˆ ( )_n , som skapas genom återsampling av data. För att approximationen, Fˆ (.)_n ≈F(.), ska vara möjlig måste observationerna vara IID, då kan man säga att den empiriska fördelningen konvergerar¹³ mot den ”sanna” då n → ∞. Det bör dock nämnas att den icke- parametriska bootstrapen kan medföra två stycken felkällor. Den första felkällan (kallas statistiskt fel) kommer av att då återsamplingen utförs dras inte stickproven från den ”sanna” fördelningen vilket medför att felet beror på skillnaden mellan

ˆ ( )_n

F ⋅ _{och ( )}F ⋅ . Den andra felkällan (kallas simuleringsfel) uppstår med anledning av att man gör ändliga återsamplingar. Simuleringsfelet kan göras litet genom att göra många återsamplingar medan det statistiska felets storlek är okänt (med anledning av att den ”sanna” fördelningen är okänd). (Davison & Hinkley, 1997)

Här nedan ges en beskrivning av icke-parametrisk bootstrap. Betänk modellen

= + +

Y ξ Xβ e. (3.2)

i) Modellens koefficienter estimeras. Då erhålles

ˆ ˆ

Y = ξ + Xβˆ (3.3)

vilket är ekvivalent med

ˆ ˆ

Y = Y + e (3.4)

ii) Genom att slumpmässigt dra n stycken observationer, med återläggning, ur vektorn eˆ′ =( ,...,e₁ e_n) skapas e′ =^{( )b} (e₁^{( )b} ,...,e_n^{( )b} ). Nu kan bootstrap- stickprovet Y′ =^{( )b} (y1^{( )b} ,...,y_n^{( )b} ) skapas enligt

( )^b ˆ ( )^b

Y = Y + e (3.5)

där b=1,...,B.

iii) Modellens koefficienter estimeras på nytt givet bootstrap-stickprovet som

( )b = +

Y ξ + Xβ z (3.6)

13 En mer teknisk beskrivning av konvergens för fördelningar se Wooldridge (2002).

iv) Genomför stegen (ii) – (iii) B stycken gånger och för varje b beräknas den relevanta teststatistikan. Då erhålles teststatistikans empiriska fördelning.

P-värdet för teststatistikan approximeras som andelen av de bootstrappade teststatistikorna som är större än teststatistikan från det ursprungliga stickprovet (kallas pilottest) dividerat med B+1, enligt

(

^{( ) *}

)

¹

1

1 ( 1)

B b b

I θ θ B ⁻

=

 

+ > +

 



∑

 ^(3.7)

där I(.) = 1 om olikheten är uppfylld och noll för övrigt, θ^{( )b} är den b: te teststatistikan och θ^* är teststatistikan från det ursprungliga stickprovet. (Davison

& Hinkley, 1997). Testets styrka beräknas som andelen av teststatistikorna som är inom förkastelseområdet givet en sann alternativhypotes.

( ) 1

1

1 ( i RR | en sann H )

B b

A b

I θ B⁻

=

−

∑

⋅ ^(3.8)

där I(.) är en indikatorfunktion som antar värdet ett om argumentet inom parentesen är uppfyllt och noll för övrigt.

3.1.3 Tillvägagångssätt

De nollhypoteser som kommer att testas är

01 02 1 03 2

04 3 05 4

: , : 0, : 0

: 0, : 0, :

p

A p

H H H

H H H

β β

β β

= = =

= = ≠

β 0

β 0 ^(3.9)

för stickprovsstorlekarna n1=314, n2 =100, n3=75, n4 =50, n5 =30. Observationerna i stickproven n2,...,n5 är slumpmässiga dragningar ur n1.

Modellen i ekvation (3.1) estimeras med ML metoden och genom R-estimation därefter genomförs den icke-parametriska bootstrapen först under nollhypotesen och sedan under alternativhypotesen. Antalet bootstrapreplikationer, B, sätts till 3999. Valet av B är i viss mån godtyckligt men även en avvägning mellan simuleringarnas tidsåtgång och bootstrapens ”noggrannhet”¹⁴.

14 Avser här bootstrapmedelfelet, se Davison & Hinkley (1997) för beräkningsformel. Som en jämförelse genomfördes en icke-parametrisk bootstrap (för n1 , H01) med B = 7999 vilket medförde en minskning med 0,3 % i bootstrapmedelfel.

För att bootstrapa under nollhypotesen skapas först den beroende variabeln under nollhypotesen som

( ) ( )

0^b = ˆ0+ 0^b

Y Y e _(3.10)

där Yˆ =0 ξ + Xβˆ0 ˆ0 _och e^{( )}₀^b är de återsamplade feltermerna från den skattade modellen under nollhypotesen. Därefter skapas

( ) ( )

| ˆ 0

o

b b

A H = A+

Y Y e (3.11)

där ˆ ˆ ˆ

A = A A

Y ξ + Xβ . Sedan beräknas LR och HM teststatistikan för varje b. Nästa steg är att genomföra bootstrapen under alternativhypotesen. Den enda väsentliga skillnaden (från bootstrap under nollhypotesen) är att feltermerna i ekvation (3.11) ersätts med e^{( )}A^b vilket är de återsamplade feltermerna från den estimerade modellen under alternativhypotesen. De eftersökta resultaten erhålls på följande sätt:

(i) Från fördelningen under nollhypotesen extraheras de empiriska kritiska värdena¹⁵. Dessa används dels för att beräkna testens styrka samt för att jämföra den nominella signifikansnivån mot den empiriska. Vidare beräknas bootstrap p-värdet enligt ekvation (3.7)

(ii) Testets styrka beräknas enligt ekvation (3.8).

3.2 3.2 3.2

3.2 Simulerade data Simulerade data Simulerade data Simulerade data

För att undgå att simulera den beroende och de oberoende variablerna kommer det empiriska datasetet att användas. Skillnaden mot det föregående avsnittet ligger i att endast feltermsvektorerna simuleras (för alla stickprovsstorlekar). De sannolikhetsfördelningar som kommer att användas är standardnormalfördelningen samt t-fördelningen med 20 frihetsgrader. Fördelen med att specificera stickprovens fördelning ligger i resultatens generaliserbarhet.

3.2.1 Parametrisk bootstrap

Den parametriska bootstrapen är i huvudsak en Monte Carlo simulering. Skillnaden mellan det parametriska och det icke-parametriska fallet ligger i att ett

15 De värden som motsvarar den 0,05: te, 0,025: te, 0,005:te, 95: te, 97,5: te och 99,5: te percentilen i den empiriska fördelningen under nollhypotesen.

fördelningsantagande görs. I det parametriska fallet används inte den återsamplade feltermsvektorn (som i det icke-parametriska fallet). Istället används en vektor av (pseudo¹⁶) slumptal från en bestämd sannolikhetsfördelning. (Wooldridge, 2002)

Nedan illustreras hur den parametriska bootstrapen utförs. Inledningsvis estimeras modellen (2.1). Därefter ersätts feltermsvektorn, e, med simulerade slumptal, e^*. Sedan skapas den nya beroende variabeln

*( )^b = ˆ ^*( )^b

Y Y + e (3.12)

där Y = ξ + Xβˆ ˆ ˆ , b=1,...,B. Nu estimeras ekvation (2.1) på nytt, givet den nya genererade beroende variabeln

( )b

Y* = ξ + Xβ + u (3.13)

där ξ, X,β är definierade som ovan och u är en n * 1 matris. Då ekvation (3.12) och (3.13) repeteras B gånger erhålls den empiriska fördelningen. För en mer ingående beskrivning av den parametriska bootstrapen se till exempel Davison &

Hinkley (1997).

3.2.2 Tillvägagångssätt

Här beaktas samma hypoteser som för den icke-parametriska bootstrapen, se ekvation (3.9), samma stickprovsstorlekar samt lika stort antal simuleringar (B = 3999).

För den parametriska bootstrapen under ett standardnormalfördelningsantagande estimeras¹⁷

*( )^b = ˆ +se( )⋅ *( )^b

Y Y e e (3.14)

där se e( ) är feltermsvektorns (från det ursprungliga stickprovet) medelfel och

*( )^b !( )

e ∼ 0,1 . De simulerade feltermerna i (3.14) multipliceras med ( )se e i syfte att justera variansen. För att kunna jämföra LR- och HM testens egenskaper genomförs

(i) parametrisk bootstrap under nollhypotesen enligt

16 När simuleringarna genomförs bestäms ett startvärde som slumptalen beror av vilket medför att talen inte är slumpmässiga i strikt mening.

17 Med maximum likelihoodmetoden samt med R-estimation.

0

*( ) *( )

0 0 0

*( ) *( )

| 0

ˆ ( )

ˆ ( )

b b

b b

A H A

se se

= + ⋅

= + ⋅

Y Y e e

Y Y e e (3.15)

där Yˆ0 =ξˆ0+Xβˆ0 intercept och parametrar estimerade under nollhypotesen och

ˆ ˆ

ˆA = A+X A

Y ξ β är estimaten under alternativhypotesen, för b =1,..., 3999. För varje b beräknas de relevanta teststatistikorna, vilket ger den empiriska fördelningen under nollhypotesen.

(ii) parametrisk bootstrap under alternativhypotesen. Här estimeras modellerna

*( ) *( )

0 0 0

*( ) *( )

ˆ ( )

ˆ ( )

b b

b b

A A A

se se

= + ⋅

= + ⋅

Y Y e e

Y Y e e (3.16)

B stycken gånger, för varje b beräknas LR och HM teststatistikorna. Från fördelningen under nollhypotesen hämtas de empiriska kritiska värdena, sedan beräknas testens styrka enligt ekvation (3.8). Ovanstående steg, (i) och (ii), repeteras sedan givet simulerade feltermer från en t-fördelning med 20 frihetsgrader. Antalet frihetsgrader valdes med anledning av att variansen¹⁸ skulle vara nära 1 (som för standardnormalfördelningen).

18 Variansen för en t-fördelad variabel: för 2 2

ν ν

ν − ^{> , där}

ν

är antalet frihetsgrader. (Wackerly et. al., 2002)

4. Resultat 4.1

4.1 4.1

4.1 Resultat från icke Resultat från icke Resultat från icke----parametrisk bootstrap Resultat från icke parametrisk bootstrap parametrisk bootstrap parametrisk bootstrap

Testernas styrka samt empiriska signifikansnivå återfinns i Tabell 4.1 – 4.2 (nedan).

En presentation av bootstrap p-värden samt p-värden från de ursprungliga stickproven återges i Appendix 5. Här följer en sammanfattning av de erhållna resultaten från den icke-parametriska bootstrapen per hypotes.

För Scenario 1 gäller att teststatistikorna är asymptotiskt χ4²-fördelade under nollhypotesen. För övriga scenarier är teststatistikorna asymptotiskt χ1²-fördelade (under nollhypotesen).

Scenario 1.

Scenario 1.Scenario 1.

Scenario 1. H01:β1=,...,=β4 = . Nivån på styrkan för båda testerna är 100 procent 0 för stickprovsstorlekarna n1,...,n3. Likelihoodkvottestet erhåller ”något” högre styrka relativt Hettmansperger & Mckean’s test, med undantaget n₄ på 1 procents signifikansnivå.

LR-testets empiriska signifikansnivå för n1,...,n3 ligger tämligen nära de nominella nivåerna 5- och 10 procent. Avvikelserna är störst för en nominell nivå på 1 procent för samma stickprovsstorlek. HM-testet uppvisar tämligen ”stora”

avvikelser från de nominella signifikansnivåerna för nästan alla stickprovsstorlekar.

Scenario 2.

Scenario 2.Scenario 2.

Scenario 2. H02:β1= . För stickprovsstorlekarna 0 n₁,...,n₃ är styrkan för båda testerna 100 procent. För detta scenario uppvisar HM-testet en marginellt högre styrka för n4 och n5, med undantaget n4 på 10 procentsnivån.

LR-testets empiriska signifikansnivåer uppvisar ganska små avvikelser från de nominella. De största skillnaderna erhålls för n₄ och n₅ på 1 procentsnivån. HM- testet erhåller ”mycket” stora empiriska signifikansnivåer för alla stickprov.

Scenario 3.

Scenario 3.Scenario 3.

Scenario 3. H₀₃:β₂ = . Styrkan för båda testerna är 100 procent för 0 n1. LR-testet uppvisar högre styrka för alla signifikansnivåer för n2 och n4. Hettmansperger &

McKean’s test ger högst styrka (för alla signifikansnivåer) för stickprovsstorlekarna n3 och n5.

Likelihoodkvottestets empiriska signifikansnivåer verkar stämma tämligen väl överens med de nominella. De största avvikelserna förekommer för stickprovsstorlekarna n4 och n5. HM-testet erhåller återigen höga empiriska signifikansnivåer för alla n.

Scenario 4.

Scenario 4.Scenario 4.

Scenario 4. H04:β3 = . LR-testet uppnår högst styrka för 0 n₁ och n3 på alla signifikansnivåer. HM-testet erhåller relativt högre styrka för n₂, n₄ och n₅ (för alla signifikansnivåer).

LR-testets empiriska signifikansnivåer skiljer sig relativt lite från de nominella. HM- testet uppvisar stora avvikelser för alla n med undantaget n₃.

Scenario 5.

Scenario 5. Scenario 5.

Scenario 5. H05:β4 = . Hettmansperger & McKean’s test uppvisar högst styrka för 0 alla n på alla signifikansnivåer. HM-testets empiriska signifikansnivåer skiljer sig från de nominella för n n n1, 2, 4 och n5 men ligger tämligen nära för n3. Likelihoodkvottestet uppvisar inga större avvikelser med avseende på empirisk signifikansnivå.

Tabell 4.1 – Jämförelse av styrka H01 H02 H03 H04 H05 LRLRLRLRHMHMHMHM LRLRLRLRHMHMHMHM LRLRLRLRHMHMHMHM LRLRLRLRHMHMHMHM LRLRLRLRHMHMHMHM n α 314 10 % ●●●●● ●63,140 %53,738 %98,749 %99,474 % 5 %●●●●● ●52,963 %42,135 %98,299 %99,374 % . 1 %●●●●● ●28,507 %20,955 %95,848 %98,449 % 100 10 %●●●●99,974 %99,949 %40,235 %53,263 %61,115 %79,669 % . 5 %●●●●99,974 %99,949 %26,756 %44,161 %52,963 %75,143 % 1 %●●●●99,949 %99,949 %10,302 %26,756 %30,207 %64,466 % 75 10 %●●●●99,899 %99,949 %12,400 %11,201 %83,520 %90,373 % 5 %●●●●99,874 %99,925 % 9,900 % 9,450 %77,994 %86,922 % . 1 %●●●●99,599 %99,875 % 8,030 % 8,001 %61,090 %77,194 % 50 10 %●●100 %99,975 %93,948 %89,622 %30,960 % 59,960 %30,732 %42,210 % . 5 %●● 99,974 %99,975 %91,447 %87,496 %27,430 % 58,540 %18,004 %34,508 % 1 % 99,975 % 100 % 99,949 %99,975 %82,621 %82,445 %24,210 % 57,190 % 7,88 %24,931 % 30 10 % 99,899 % 99,824 % 99,499 %99,649 %82,795 %93,923 %23,910% 38,280 %55,663 %72,518 % 5 % 99,824 %99,674 % 99,224 %99,499 %75,168 %91,442 %22,630 % 36,110 %39,034 %67,366 % . 1 % 99,474 %99,349 % 97,399 %98,824 %57,014 %84,371 %22,380 % 34,010 %13,553 %52,013 % ●Båda testens styrka är 100 procent.