Reproducerbarhet av p-v

Reproducerbarhet av p-v¨arden: en simulerings- studie

Examensarbete f¨ or kandidatexamen i matematik vid G¨ oteborgs universitet Kandidatarbete inom civilingenj¨ orsutbildningen vid Chalmers tekniska h¨ ogskola

Milton Bark

Lina Hammargren Carl Larsson

William Nils´en

Institutionen f¨ or Matematiska vetenskaper

CHALMERS TEKNISKA H ¨ OGSKOLA

Reproducerbarhet av p-v¨arden: en simuleringsstudie

Examensarbete f¨ or kandidatexamen i matematisk statistik vid G¨ oteborgs universitet Lina Hammargren William Nils´ en

Kandidatarbete i matematik inom civilingenj¨ orsprogrammet Maskinteknik vid Chal- mers tekniska h¨ ogskola

Milton Bark Carl Larsson

Handledare: Serik Sagitov

Examinator: Ulla Dinger och Maria Roginskaya

Institutionen f¨ or Matematiska vetenskaper

CHALMERS TEKNISKA H ¨ OGSKOLA

G ¨ OTEBORGS UNIVERSITET

Notationslista

H

H¨ andelsen att stickprovet kommer fr˚ an nollf¨ ordelningen N (µ

, σ

)

H

H¨ andelsen att stickprovet kommer fr˚ an den alternativa f¨ ordelningen N (µ

, σ

)

S H¨ andelsen att en studie ¨ ar signifikant och publiceras

B H¨ andelsen att en publicerad studie har omedveten bias

π Andelen av studier d¨ ar stickprovet kommer fr˚ an alternativa f¨ ordelningen, P(H

)

1 − π Andelen av studier d¨ ar stickprovet kommer fr˚ an nollf¨ ordelningen, P(H

)

b Andelen av studier som publicerats och har omedveten bias, P(B)

σ Standardavvikelse

n Stickprovsstorlek

Kan vi lita p˚ a forskning?

2005 publicerade John Ioannidis en artikel vars titel l¨ od Why Most Research Findings are False och efter framf¨ orandet av artikeln publicerade m˚ anga andra forskare artiklar inom samma ¨ amnes- omr˚ ade. Denna explosion av nya studier startade en intensiv debatt i vetenskapsv¨ arlden; ¨ ar de statistiska metoder som anv¨ ands inom vetenskaplig forskning i dagsl¨ aget bristf¨ alliga? Precis denna fr˚ aga menade en grupp av blivande ingenj¨ orer och matematiker p˚ a Chalmers- och G¨ oteborgs Uni- versitet att besvara i deras examensarbete. Genom att simulera miljontals studier som efterf¨ oljde dagens statistiska metoder i verklig forskning lyckades gruppen ta fram och konkretisera vissa av dessa debatterade brister.

Studenternas resultat visade att de statistiska metoder dagens vetenskap vilar p˚ a framf¨ or allt har en brist: den m¨ anskliga faktorn. Gruppen visade att det inte hade funnits n˚ agra problem med att anv¨ anda dagens vanligt f¨ orekommande statistiska metoder f¨ or validering av forskningshypoteser under ideella fall. Ett par f˚ a felaktiga procent av studier till f¨ oljt av en felmarginal skulle fortfaran- de publiceras men dessa felaktiga studier skulle snabbt komma till ytan s˚ a l¨ ange som alla forskare delade med sig av samtliga resultat, s˚ av¨ al positiva som negativa. Dessv¨ arre jobbar forskarlag som tar fram studier separat och inte i stora n¨ atverk, det i kombination med en enorm konkurrens g¨ or att negativa resultat inte delas med andra. Bristen p˚ a kommunikation och sammankoppling till˚ ater de f˚ a felaktiga antalet studier att finnas kvar i vetenskapsv¨ arlden d¨ ar fler och fler felaktiga studier ackumuleras.

Studenterna drar slutsatsen i deras uppsats att den d˚ aliga kommunikationen mellan olika forskarlag

¨ ar en f¨ oljd av det mycket st¨ orre problemet ben¨ amnt som publikationsbias. Med publikationsbias menas en f¨ oreliggande stark vilja att bli publicerad. Att forskare har en publikationsbias ¨ ar inte f¨ or- v˚ anade, hur v¨ arderar samh¨ allet en enskild forskare egentligen och hur ser incitamentstrukturen ut f¨ or forskare? Forskare bed¨ oms och bel¨ onas i stor grad efter deras publikationer, b˚ ade i prestige s˚ av¨ al som monet¨ ar kompensation. Denna prestationspress g¨ or troligen m˚ anga forskare omedvetet eller medvetet ben¨ agna att manipulera sin data eller metod f¨ or att ¨ oka sannolikheten att bli publicerade.

Vidare skapade studenterna nya simulerade studier som beaktade olika fall av manipulation av data under de statistiska metoder forskare anv¨ ander sig av i dagsl¨ aget, studenternas slutsats var orov¨ ackande. I princip vilket resultat som helst, oavsett om det st¨ ammer eller inte, kan valideras och konfirmeras n¨ ar det finns medveten bias s˚ a l¨ ange forskaren har tillg˚ ang till tillr¨ ackligt mycket data.

Det finns dock hopp, genom att samla in delar av alla publicerade resultat inom en forskingsfr˚ aga eller forksningsf¨ alt kan en uppskattning g¨ oras om hur mycket fusk som sker inom fr˚ agan eller f¨ altet.

Mot bakgrund av publikationsbias ¨ ar det inte f¨ orv˚ anande att det inom vissa forskningsf¨ alt har det visat sig otroligt sv˚ art att reproducera studier och f˚ a samma utfall. Ett exempel p˚ a bristen av reproducerbara studier har kartlagts i analyser av flera publicerade studier inom bland annat pre- kliniska cancerstudier. Bioteknikf¨ oretaget Amgens visade i ett projekt att de inte kunde replikera 47 av 53 prekliniska cancerstudier.

S˚ a hur kan problemet l¨ osas? Studenterna argumenterade f¨ or att vi m˚ aste g˚ a till roten av problemet

vilket ¨ ar publikationsbias. Att s¨ atta artificiella krav p˚ a tidsskrifter f¨ or att kvotera in replikations-

test i sina tidningar skulle kunna vara en l¨ osning men samtidigt ¨ ar problematiken antagligen mer

djupg˚ aende ¨ an s˚ adan. Tidsskrifter har ett incitament att publicera studier som kommer att at-

trahera l¨ asare som betalar f¨ or tj¨ ansten. Om tidsskrifter inte publicerar replikationsstudier ¨ ar det

antagligen en f¨ oljd utav att de inte genererar lika m˚ anga l¨ asare och d¨ armed s¨ amre int¨ akter. Med den

utg˚ angspunkten blir det extra viktigt att informera l¨ asarna av vikten f¨ or forskning och vetenskap

att studier faktiskt replikeras, d˚ a det ¨ ar l¨ asarnas preferenser som ¨ ar basen till hur vi utv¨ arderar

publikationer.

Bidrag till allm¨ anheten

Ut¨ over den en popul¨ arvetenskapliga artikel som ¨ ar specifik f¨ or arbetet har ¨ aven ett bidrag till den icke-vinstdrivande encyklopedin Wikipedia gjorts. Bidraget har skapats genom att producera och publicera en artikel inom det f¨ alt kandidatarbetet behandlar. Syftet med artikeln ¨ ar att n˚ a ut till en bredare audiens och f¨ orklara delar av problematiken f¨ or allm¨ anheten i verkligheten. Artikeln ¨ ar i enlighet med gruppens och handledarens m˚ al om att st¨ arka den entrepren¨ oriella andan inom det matematiska vetenskapliga ¨ amnet p˚ a Chalmers tekniska h¨ ogskola.

Wikipedia artikeln kan finnas p˚ a https://sv.wikipedia.org/wiki/Replikationskrisen

Sammanfattning

Det h¨ ar kandidatarbetet studerar reproducerbarhet av vetenskapliga studier. ¨ Amnet ¨ ar vik- tigt eftersom det har framkommit att m˚ anga studier inte ¨ ar reproducerbara och s˚ aledes att forskningsresultat kan vara felaktiga. En orsak till icke-reproducerbara studier ¨ ar bias. Bias kan vara medveten d˚ a forskare manipulerar sin forskning i syfte att bli publicerad eller kan vara omedveten som f¨ oljd av att forskaren har en f¨ orutfattad mening av vad resultatet ska bli i en studie.

F¨ or att f˚ a en ¨ oversikt av problemet simulerades ett flertal studier f¨ or att representera ett forskningsf¨ alt. En studie i det h¨ ar arbetet representeras av ett p-v¨ arde som ¨ ar antingen sig- nifikant eller inte signifikant. I det h¨ ar arbetet anv¨ ands en signifikansniv˚ a α = 0.05 f¨ or att best¨ amma om ett p-v¨ arde ¨ ar signifikant. I en studie kan stickprovet komma fr˚ an f¨ ordelningen f¨ or nollhypotesen eller den alternativa hypotesen. Det antas genomg˚ aende i texten vara k¨ ant vilken f¨ ordelning stickprovet kommer ifr˚ an. Detta p˚ a grund av att en viktig del av arbetet ¨ ar att unders¨ oka om det g˚ ar att h¨ arleda om H

eller H

f¨ oreligger i en studie. De hypoteser som anv¨ ants i arbetet ¨ ar

H

:= stickprovet kommer fr˚ an N (0, 5

) H

:= stickprovet kommer fr˚ an N (1, 5

)

Genom grafiska framst¨ allningar unders¨ oks studierna, det vill s¨ aga p-v¨ ardena. F¨ orst unders¨ oks f¨ ordelningarna av p-v¨ ardena under H

respektive H

. D¨ arefter implementerades en metod f¨ or medveten bias i syfte att unders¨ oka p˚ averkan av medveten bias p˚ a ett forskningsf¨ alt. Slutligen kombineras p-v¨ ardena under H

och H

b˚ ade med och utan medveten bias f¨ or att kunna g¨ ora en mer realistisk bild av verklighetstillst˚ andet.

Den andra formen av bias, omedveten bias, har unders¨ okts med hj¨ alp av det s˚ a kallade posi- tiva prediktiva v¨ ardet (PPV). PPV ¨ ar sannolikheten att H

f¨ oreligger givet att ett signifikant p-v¨ arde erh˚ allits. Detta arbete betraktade proportionen av studier med omedveten bias som k¨ and.

Anv¨ andningen av bland annat dessa metoder resulterade i grafiska framst¨ allningar och tabeller som visar p˚ a en tydlig skillnad mellan fallen d˚ a bias f¨ orekommer och d˚ a det inte f¨ orekommer.

Resultaten i simuleringen har ¨ aven j¨ amf¨ orts med en verklig studie och bekr¨ aftar resultaten av arbetet.

Slutsatsen av de grafiska representationerna av forskningsf¨ alt ¨ ar att det till exempel g˚ ar att

utr¨ ona att medveten bias f¨ orekommit inom ett forskningsf¨ alt. En vidare slutsats ¨ ar att PPV

p˚ averkas negativt av b˚ ada formerna av bias och antalet studier med signifikanta p-v¨ arden

kommer att ¨ oka d˚ a studier ¨ ar biased inom ett forskningsf¨ alt.

Abstract

The purpose of this bachelor’s thesis is to investigate the reproducibility of scientific studies.

The subject is important due to the debate about the reproducibility issue of studies which indicates that published research findings may be false in several cases. One of the reasons for non-reproducible studies is bias. There are two cases of bias that will be discussed in this the- sis; unconscious and conscious bias. Conscious bias is the act of active manipulation of studies in order to get published, and unconscious bias can arise when scientists are preconceived of a certain outcome before the conduct of a study.

To better understand the problem, several studies were simulated to represent a field of re- search. A study in this thesis will be represented by a p-value that either can be significant or non-significant. This thesis used a significance level of α = 0.05 to decide whether a p-value is significant.

The sample in a study can either come from the distribution for the null hypothesis or the alternative hypothesis. It is assumed to be known throughout the thesis from which hypothesis the distribution of the sample comes from. The reason why this assumption is necessary is in order to investigate the possibility if one could derive the presence of H

or H

in a study.

The hypotheses that this thesis uses are the following

H

:= The sample comes from N (0, 5

) H

:= The sample comes from N (1, 5

)

The studies or in other words, p-values, where analyzed by graphical representations. At first, the distributions of p-values from H

and H

were analyzed. After analyzing the p-values, a method for conscious bias was implemented with the purpose of analyzing the p-values further, with respect to conscious bias in a field of research. Finally, the p-values from H

and H

were combined with and without conscious bias to produce a more realistic picture of a scientific field.

The second form of bias, unconscious bias, has been analyzed with a method called positive predictive value (PPV). PPV is the probability that the sample comes from H

given that a significant p-value is present. This thesis considered the proportion of studies with unconscious bias to be known.

The use of these methods among others resulted in graphical representations and tables, that demonstrates an evident difference between the cases when bias is present and when it is not.

The simulations have been compared to results that are based on real studies which confirms the results of this thesis.

One of the conclusions which was drawn is that the presence of conscious bias can be deducted

from the graphical representation of studies in a research field. Furthermore, the PPV is

negatively affected by both forms of bias. Moreover, the amount of studies with significant

p-values increases when bias is present within a research field.

Inneh˚ all

1 Inledning 1

1.1 Syfte . . . . 2

1.2 Problemformulering . . . . 2

1.3 Avgr¨ ansningar . . . . 2

1.4 Etik . . . . 2

2 Bayesiansk referensram f¨ or en studie i simuleringen 3 2.1 Ber¨ akning av p-v¨ arde . . . . 3

2.2 P-v¨ arden som slumpvariabel . . . . 3

2.2.1 F¨ ordelningen av p-v¨ arden under H

. . . . 4

2.2.2 F¨ ordelning av p-v¨ arden under H

. . . . 4

2.3 Utfallsrummen och omedveten bias . . . . 4

2.3.1 Utfallstr¨ ad f¨ or en studie . . . . 5

2.4 Positivt prediktivt v¨ arde (PPV) . . . . 6

2.4.1 PPV f¨ or en studie . . . . 6

2.4.2 PPV f¨ or ett forskningsf¨ alt . . . . 6

2.5 Omedveten bias (OB) och dess p˚ averkan p˚ a PPV . . . . 6

2.6 Medveten bias med hj¨ alp av p-hacking . . . . 7

3 Redovisning och analys av simuleringar 8 3.1 Hypotestest och ber¨ akning av p-v¨ arden utan medveten bias . . . . 8

3.1.1 F¨ ordelning av p-v¨ arden utan medveten bias . . . . 8

3.1.2 Visualisering av utfallsrummet och ber¨ akning av PPV med och utan omed- veten bias . . . . 8

3.2 Simulering av medveten bias . . . . 9

3.3 Kombination av p-v¨ ardens f¨ ordelningar . . . . 9

3.4 J¨ amf¨ orelse av simulering med verkliga studier . . . . 10

4 Resultat 10 4.1 Simuleringar av p-v¨ ardenas f¨ ordelningar . . . . 10

4.2 Simuleringar av utfallsrummen med och utan manipulering . . . . 13

4.3 PPV f¨ or forskningsf¨ alt . . . . 14

5 Diskussion 15 5.1 De realiserade utfallsrummen . . . . 15

5.2 F¨ ordelningen av p-v¨ arden . . . . 15

5.3 PPV f¨ or forskningsf¨ alt . . . . 17

5.4 Evaluering av metoderna f¨ or att studera ett forskningsf¨ alt . . . . 18

6 Slutsats och rekommendation f¨ or vidare forskning 18 6.1 Potentiella ˚ atg¨ arder f¨ or att ¨ oka integriteten inom vetenskaplig forskning . . . . 18

6.1.1 Registrera studier p˚ a f¨ orhand . . . . 18

6.1.2 St¨ all krav p˚ a komplett r˚ adata . . . . 19

6.1.3 Avlasta forskare genom att studenter replikerar studier . . . . 19

6.2 Publikationsbias g¨ or att vetenskap inte ¨ ar sj¨ alvkorrigerande . . . . 19

6.3 Rekommendation f¨ or vidare forskning . . . . 19

F¨ orord

Det h¨ ar arbetet ¨ ar ett kandidatprojekt utf¨ ort p˚ a Matematiska vetenskaper vid Chalmers tekniska h¨ ogskola under v˚ aren 2019. Bakom arbetet st˚ ar en grupp av fyra studenter varav tv˚ a personer kommer fr˚ an civilingenj¨ orsprogrammet Maskinteknik vid Chalmers och tv˚ a personer fr˚ an kandi- datprogrammet i matematisk statistik vid G¨ oteborgs universitet.

Varje medlem i gruppen har bidragit till arbetet i dess slutliga form men projektet har delats upp s˚ a att det finns huvudansvariga f¨ or varje del av arbetet. En loggbok har f¨ orts ¨ over var medlems insatser under arbetets g˚ ang.

Vi vill s¨ arskilt tacka v˚ ar handledare professor Serik Sagitov f¨ or v¨ agledning i arbetet och viktiga synpunkter ang˚ aende utformning av arbetet.

Arbetsf¨ ordelningen i form av huvudsakligt ansvar presenteras nedan.

Popul¨ arvetenskaplig presentation: Milton Bark Wikipedia artikel: Milton Bark och Carl Larsson Sammanfattning: Carl Larsson och Lina Hammargren F¨ orord: Lina Hammargren

1: Inledning: Carl Larsson och Lina Hammargren 1.1: Hela gruppen tillsammans

1.4: Hela gruppen tillsammans

2: Bayesiansk referensram f¨ or en studie i simuleringen: Carl Larsson och Lina Hammargren 2.6: Milton bark

3: Redovisning och analys av simuleringar: Milton Bark med bidrag fr˚ an William Nils´ en 4: Resultat: Milton Bark och William Nils´ en

4.3: Carl Larsson och Lina Hammargren med bidrag fr˚ an William Nils´ en 5: Diskussion

5.1: Lina Hammargren 5.2: Milton Bark 5.3: Carl Larsson 5.4: Lina Hammargren 6: Slutsats

6.1: Lina Hammargren 6.2: Milton Bark 6.3: Milton Bark

Viktiga id´ eer och ¨ ovriga bidrag:

Metod f¨ or simulering av fusk: Milton Bark Framtagning av optimal α: Milton Bark

H¨ arledning av PPV f¨ or fallet med och utan omedveten bias: Lina Hammargren

Skapandet av koden: William Nils´ en med bidrag fr˚ an Milton Bark

1 Inledning

Det p˚ ag˚ ar i dagsl¨ aget en diskussion huruvida p-v¨ ardet ska anv¨ andas inom vetenskaplig forskning och p˚ a vilket s¨ att det i s˚ a fall ska anv¨ andas. Exempelvis har tidsskriften Basic and Applied Social Psychology (BASP) f¨ orbjudit anv¨ andandet av p-v¨ arden i de artiklar som de publicerat. Emellertid har debatten nyanserats n˚ agot av exempelvis Olle H¨ aggstr¨ om (2017) som argumenterar f¨ or att p-v¨ ardet kan anv¨ andas i kombination med en diskussion kring resultaten. Ytterligare ett bidrag till debatten gav Christie Aschwanden (2015) som argumenterade f¨ or att ¨ aven effektstorleken som anger hur stor skillnad det ¨ ar mellan de tv˚ a hypoteserna ska diskuteras ut¨ over p-v¨ ardet d˚ a p-v¨ ardet inte visar hur stark en effekt ¨ ar.

Ber¨ akningar av p-v¨ arden ¨ ar en metod f¨ or att ta beslut om hypoteser i forskningsfr˚ agor och anv¨ and- ningen av p-v¨ arden ¨ ar utbredd inom vetenskaplig forskning. Det ¨ ar emellertid en slumpvariabel och risken finns alltid att fel beslut tas om att f¨ orkasta en hypotes baserat p˚ a p-v¨ ardet.

Det kan vara ol¨ ampligt att helt f¨ orbjuda p-v¨ arden d˚ a detta kan vara en bra analysmetod. D¨ aremot kr¨ aver det att studien i ¨ ovrigt ¨ ar v¨ alplanerad i termer av stickprovsstorlek och effektstorlek. Dess- utom kan p-v¨ ardet kompletteras med andra analysmetoder f¨ or att f˚ a en tydligare bild av resultatet.

Det ¨ ar dock inte endast problemet att p-v¨ ardet ¨ ar en slumpvariabel och att signifikanta s˚ av¨ al som icke-signifikanta v¨ arden kan erh˚ allas med metoden oavsett om verklighetstillst˚ andet ¨ ar att den hypotes som studeras ¨ ar sann eller inte som har identifierats inom forskningsv¨ arlden. Inom vissa forskningsomr˚ aden f¨ orekommer det ¨ aven brister i metoden samt utel¨ amnad r˚ adata (Begley och Ellis, 2012). Dessa brister g¨ or att studierna inte kan reproduceras och resultaten av ber¨ akningen av p-v¨ arde blir ¨ an mindre tillf¨ orlitliga.

Reproducerbarhet ¨ ar ett viktigt koncept inom vetenskaplig forskning och inneb¨ ar att en studie skall kunna ˚ aterupprepas och ˚ aterf˚ a samma resultat eller liknande resultat ifall ny data samlas.

I dagsl¨ aget finns det ¨ amnesomr˚ aden och forskningsf¨ alt d¨ ar det f¨ oreligger brist p˚ a reproducerbara studier. Ett exempel p˚ a bristen av reproducerbara studier kartlades i analyser av flera publicerade studier inom bland annat prekliniska cancerstudier d¨ ar bioteknikf¨ oretaget Amgens i ett projekt inte kunde replikera 47 av 53 cancerstudier (ibid). ¨ Amnesomr˚ aden d¨ ar replikationsbristen r˚ ader

¨ ar dock ej begr¨ ansad till medicinsk forskning. Ziliak och McCloskey (2008) granskade 369 artiklar inom ekonomisk forskning, deras resultat visade att endast cirka en av fyra resultat st¨ amde med det som presenterades i artiklarna de studerade.

Det finns flera olika anledningar till varf¨ or problemet har uppkommit. En betydande anledning ¨ ar publiceringsbias, vilket ¨ ar en stark vilja f¨ or forskare att publicera signifikanta resultat. Flera stu- dier har visat p˚ a en tendens att endast statistiskt signifikanta resultat publiceras och att studier som inte ¨ ar signifikanta bortses fr˚ an (H¨ aggstr¨ om, 2016; Rosenthal, 1979). Detta kan t¨ ankas skapa incitament f¨ or forskare, som ofta bed¨ oms utifr˚ an antalet publicerade resultat och dess citeringar av andra forskare, att omedvetet eller medvetet manipulera sin data eller metod f¨ or att ¨ oka san- nolikheten att bli publicerade.

Ovann¨ amnda problem har visat p˚ a behovet av att g¨ ora samlade bed¨ omningar av forskningsf¨ alt och

inte betrakta resultatet p˚ a en enskild studie som fakta. I det h¨ ar projektet kommer tre metoder

f¨ or evaluering av forskningsf¨ alt att presenteras baserat p˚ a erh˚ allna p-v¨ arden. Projektet kan skapa

vidare fr˚ agest¨ allningar kring hur samh¨ allet kvantifierar och v¨ arderar forskning. Hur kan forskares

neutralitet till sin egen forskning kontrolleras och hur stor p˚ averkan har incitamentstrukturen p˚ a

den forskning som produceras? T¨ ors l¨ asaren lita p˚ a alla forskningsresultat och hur viktigt ¨ ar det

att vara kritisk till det mottagaren l¨ aser och anv¨ ander?

1.1 Syfte

Med utg˚ angspunkt i det beskrivna problemet betr¨ affande bristen av reproducerbarhet ¨ ar syftet med rapporten att f¨ orklara f¨ or studenter som kommer komma i kontakt med forskningsresultat i ett tidigt stadie om vad som kan orsaka felaktiga publicerade resultat. Uppsatsen kan t¨ ankas resultera i en mer kritisk student som kan anv¨ anda publicerad forskning mer effektivt i framtida egen forskning och till¨ ampning.

1.2 Problemformulering

M˚ alet ¨ ar att genom en simuleringsstudie av ett fiktivt forskningsf¨ alt kartl¨ agga vilka studier som hade publicerats d˚ a p-v¨ ardet anv¨ ands som beslutsunderlag. Simuleringsstudien best˚ ar av att upp- repa ett frekventistiskt hypotestest f¨ or att ber¨ akna ett p-v¨ arde, s˚ aledes st˚ ar det en simulerad studie bakom varje p-v¨ arde.

Nedan formuleras de evalueringsmetoder som simuleringsstudien kommer unders¨ oka.

• Simulering av p-v¨arde kurvorna inom ett fiktivt forskningsf¨alt, som ¨ar sammanslagningen av studier under H

och H

, f¨ or j¨ amf¨ orelse mellan forskningsf¨ alt d¨ ar det f¨ orekommit medveten bias med fallet d¨ ar ingen medveten bias f¨ orekommit.

– P-v¨ ardenas f¨ ordelningar kommer att framst¨ allas grafiskt f¨ or att unders¨ oka f¨ orekomsten av vissa v¨ arden p˚ a p-v¨ ardet under olika omst¨ andigheter.

• En realisation av utfallsrummen i fallen d˚a det f¨orekommer omedveten bias eller medveten bias.

– Utfallsrummet best˚ ar av de olika h¨ andelserna som beskriver vad som leder till att en studie publiceras eller inte.

• Post-studie sannolikheten f¨or att en studie har dragit sitt stickprov fr˚an den alternativa f¨ ordelningen tillh¨ orande alternativhypotesen givet ett signifikant p-v¨ arde

– Denna metod ¨ ar t¨ att sammankopplad med realiseringen av utfallsrummen och g˚ ar direkt att h¨ arleda av de definierade h¨ andelserna.

1.3 Avgr¨ ansningar

• Kandidatarbetet kommer att presentera en f¨orenklad simulering av ett forskningsf¨alt f¨or att besvara fr˚ agest¨ allningen.

• Kandidatarbetet kommer inte att ta fram p-v¨ardens f¨ordelningar fr˚an verkliga studier. D¨ar- emot kommer en j¨ amf¨ orelse g¨ oras med befintliga artiklar som studerar verkliga p-v¨ arde f¨ or- delningar.

• Kandidatarbetet kommer endast att behandla en typ av medveten bias.

• Kandidatarbetet kommer inte ta upp problemet med att studier som borde publiceras inte publiceras.

1.4 Etik

Det finns en risk att resultatet av denna rapport kan medverka till att l¨ asaren f˚ ar sv˚ arare att tro p˚ a studier, forskningsresultat och den vetenskapliga metoden. D¨ arf¨ or ¨ ar det av yttersta vikt att rapporten inte blir anti-vetenskaplig eller uppmuntrar m¨ anniskor till att misstro vetenskap. Detta problem kan tacklas genom att f¨ ora objektiva samt nyanserade resonemang och analyser.

Nyttan med det f¨ orv¨ antade utfallet av rapporten ¨ ar att l¨ asaren blir upplyst och b¨ attre inf¨ orst˚ add kring de problem som idag finns med biased publikationer av forskningsresultat.

Rapporten kommer att unders¨ oka ett strukturellt problem inom forskningsv¨ arlden, och ska inte

anv¨ andas f¨ or att ogiltigf¨ orklara enskilda forskningsresultat och forskares integritet.

2 Bayesiansk referensram f¨ or en studie i simuleringen

F¨ or att kunna bygga upp flera studier i en simulering kr¨ avs en specificering om vad som utg¨ or en studie. I det h¨ ar kapitlet presenteras den matematiska teorin om vad som ligger bakom en studie och dess utfall i simuleringen som redog¨ ors f¨ or i kapitel (3).

Till grund f¨ or ber¨ akning av p-v¨ ardet ligger ett slumpm¨ assigt stickprov som dras fr˚ an den valda populationen. Vi kommer att anta att variansen p˚ a populationen ¨ ar k¨ and. Uttrycket studie kommer i texten att anv¨ andas f¨ or att beskriva detta f¨ orfarande. I simuleringen kommer flera studier att tas fram f¨ or att visualisera p-v¨ ardenas f¨ ordelningar.

2.1 Ber¨ akning av p-v¨ arde

Innan en studie genomf¨ ors finns det en f¨ oreliggande hypotes som ska pr¨ ovas. F¨ or att pr¨ ova hypo- tesen ber¨ aknas p-v¨ ardet f¨ or att unders¨ oka fenomenet inom populationen.

Vi kommer att anta att populationen ¨ ar normalf¨ ordelad i studierna enligt N (µ, σ

) d¨ ar µ = µ

eller µ = µ

och utf¨ ora ett ensidigt hypotestest f¨ or att testa om µ

< µ

. Det finns s˚ aledes tv˚ a konkurrerande hypoteser, utfallet av en studie definieras d¨ arav som

H

:= stickprovet ¨ ar fr˚ an nollf¨ ordelningen N (µ

, σ

)

H

:= stickprovet ¨ ar fr˚ an den alternativa f¨ ordelningen N (µ

, σ

)

Vi kommer att dra ett slumpm¨ assigt stickprov av storlek n fr˚ an populationen f¨ or att ber¨ akna p-v¨ ardet. Ett slumpm¨ assigt stickprov (x

, ..., x

) ¨ ar en m¨ angd av element som ¨ ar en realisation av (X

, ..., X

) d¨ ar X

i = 1, ..., n ¨ ar slumpvariabler. Realisationen anv¨ ands f¨ or att ber¨ akna det observerade stickprovsmedelv¨ ardet ¯ x =

Pn i=1x_i

n

. Det observerade stickprovsmedelv¨ ardet anv¨ ands f¨ or att ber¨ akna teststatistikan z

som beskrivs i uttryck (1).

z

= x − µ ¯

√σ n

(1) Teststatistikan anv¨ ands f¨ or att ber¨ akna p-v¨ ardet, vilket ¨ ar sannolikheten att f˚ a ett lika extremt eller mer extremt v¨ arde som den observerade teststatistikan givet att stickprovet dragits ur f¨ ordelningen f¨ or H

. Komponenterna som anv¨ ands f¨ or att ber¨ akna p-v¨ ardet ¨ ar Φ, Z och z

d¨ ar Φ och Z definieras nedan. Vi f˚ ar att p-v¨ ardet blir som i uttryck (2) och betecknas P V .

φ(x) = 1

√ 2π e

och Φ(t) = Z

−∞

φ(x)dx

Z =

X − µ ¯

√σ n

, d¨ ar ¯ X = 1 n

n

X

i=1

X

P V = P(Z > z

|H

) = 1 − Φ(z

) (2) Vi kallar h¨ andelsen att vi f˚ ar ett signifikant p-v¨ arde S := P V ≤ α. Vidare antar vi i v˚ ar modell att alla studier som f˚ att ett signifikant p-v¨ arde publiceras. S˚ aledes ¨ ar S h¨ andelsen att en studie publiceras.

2.2 P-v¨ arden som slumpvariabel

Som tidigare n¨ amnt finns det tv˚ a fall f¨ or en studie: verklighetstillst˚ andet ¨ ar antingen att stickprovet

kommer fr˚ an H

eller att stickprovet kommer fr˚ an H

. Vi kommer d¨ arf¨ or att analytiskt h¨ arleda

f¨ ordelningsfunktionerna f¨ or p-v¨ ardena i de tv˚ a fallen. P-v¨ ardet P V beskrivs i uttryck (2).

2.2.1 F¨ ordelningen av p-v¨ arden under H

F¨ or att s¨ aga n˚ agot om p-v¨ ardenas f¨ ordelning h¨ arleder vi f¨ ordelningsfunktionen, d¨ ar dess derivata

¨ ar t¨ athetsfunktionen som beskriver kurvans utseende och d¨ armed p-v¨ ardenas f¨ ordelning. Z (se ut- tryck 1) v¨ antev¨ arde blir

E(Z) = E[ ¯ X] − µ

σ/ √

n = µ

− µ

σ/ √

n vilket medf¨ or att Z ∼ N ( µ

− µ

σ/ √

n , 1), och d¨ arf¨ or blir f¨ ordelningsfunktionen F

(p)

F

(p) = P(P V ≤ p) = P(1 − Φ(Z) ≤ p) = P(Φ(Z) > 1 − p) = P(Z > Φ

(1 − p)) =

= 1 − Φ(Φ

(1 − p) − µ

− µ

σ/ √ n ),

Derivatan av F

(p) l¨ oses med hj¨ alp av kedjeregeln och derivata f¨ or en invers funktion

 d dx



f (g(x)) 

= f

(g(x))g

(x) , d dx



f

(x) 

= 1

f

(f

(x))



f

(p) = d

dp 1 − Φ 

Φ

(1 − p) − µ

− µ

σ/ √ n



!

= φ 

Φ

(1 − p) − µ

− µ

σ/ √ n

 1

φ(Φ

(1 − p)) Vilket leder till en h¨ ogerskev f¨ ordelning av p-v¨ arden.

2.2.2 F¨ ordelning av p-v¨ arden under H

Med samma resonemang som i 2.2.1 f˚ ar vi d˚ a vi antar att X

i = 1, ..., n tillh¨ or H

och att E( ¯ X) = µ

, vilket medf¨ or att E(Z) = 0 och Z ∼ N(0, 1).

F

(p) = P(P V ≤ p) = P(1 − Φ(Z) ≤ p) = P (Φ(Z) > 1 − p) = P(Z > Φ

(1 − p)) =

= 1 − Φ(Φ

(1 − p)) = 1 − (1 − p) = p

Vilket leder till en likformigf¨ ordelninga av p-v¨ arden under H

enligt P V ∼ U [0, 1].

2.3 Utfallsrummen och omedveten bias

Mot bakgrund av tidigare definierade h¨ andelser ska vi nu klarg¨ ora vad utfallsrummen blir d¨ ar ele- menten ¨ ar p-v¨ arden f¨ or utf¨ orda studier.

H¨ andelserna som bygger upp utfallsrummet utan omedveten bias ¨ ar som f¨ oljer och ett Venndiagram

¨ over dessa h¨ andelser finns i figur (1).

H

:= stickprovet ¨ ar fr˚ an nollf¨ ordelningen N (µ

, σ

)

H

:= stickprovet ¨ ar fr˚ an den alternativa f¨ ordelningen N (µ

, σ

) S := h¨ andelsen att p-v¨ ardet ¨ ar signifikant P V ≤ α

S

:= h¨ andelsen att p-v¨ ardet inte ¨ ar signifikant P V > α

Ett problem ¨ ar att detta utfallsrum inte tar h¨ ansyn till verklighetstillst˚ andet. D¨ arav f˚ ar vi intro- ducera en ny h¨ andelse B som inneb¨ ar att en publicerad studie ¨ ar p˚ averkad av omedveten bias.

H¨ andelsen B kan d¨ arf¨ or inneh˚ alla p-v¨ arden som inte hade varit signifikanta utan omedveten bias.

Vi har d¨ arf¨ or att S ∪ B ¨ ar den nya h¨ andelsen att en studie publiceras i utfallsrummet d¨ ar vi tar

h¨ ansyn till omedveten bias. Ett Venndiagram ¨ over h¨ andelserna finns i figur (2).

B := h¨ andelsen att en studie som f˚ att ett signifikant p-v¨ arde ¨ ar p˚ averkad av omedveten bias

Figur 1: Utfallsrummet i fallet d˚ a omedveten bias inte f¨ orekommer i ett forskningsf¨ alt.

Figur 2: Utfallsrummet d˚ a omedveten bias f¨ orekommer i ett forskningsf¨ alt.

Vi antar att h¨ andelsen B ¨ ar oberoende av h¨ andelserna H

, H

, S och S

. Anledningen till anta- gandet att B ¨ ar oberoende av H

och H

¨ ar p˚ a grund av att det ¨ ar om¨ ojligt att p˚ a f¨ orhand veta om en hypotes st¨ ammer. Vidare antar vi att B ¨ ar oberoende av S eftersom p-v¨ ardena blir signifikanta oberoende av om de hade varit signifikanta utan bias eller inte.

2.3.1 Utfallstr¨ ad f¨ or en studie

H¨ andelsef¨ orloppet i en simulerad studie visualiseras i ett tr¨ addiagram i figur (3) som redog¨ or f¨ or de tv˚ a utfallen i en studie, S och S

. Som tidigare n¨ amnts finns det tv˚ a h¨ andelser, H

och H

, och om vi vidare antar att proportionen av studier d¨ ar verklighetstillst˚ andet ¨ ar att H

¨ ar sant P(H

) = π blir s˚ aledes proportionen av studier d¨ ar verklighetstillst˚ andet ¨ ar att stickprovet kommer fr˚ an H

1 − π.

P (S|H

) ¨ ar sannolikheten att en studie har f˚ att ett signifikant v¨ arde givet att vi ¨ ar i den alternativa f¨ ordelningen vilket ¨ ar styrkan (1−β), P(S|H

) ¨ ar sannolikheten att en studie har f˚ att ett signifikant v¨ arde givet att vi ¨ ar i nollf¨ ordelningen vilket ¨ ar α.

Figur 3: Tr¨ addiagram ¨ over potentiella utfall i en studie d¨ ar h¨ andelsen S inneb¨ ar att en studie

publiceras. H¨ andelserna att verklighetstillst˚ andet ¨ ar H

respektive H

antas med sannolikhet π

respektive 1 − π. En studie publiceras om H

intr¨ affat med sannolikhet 1 − β och om H

intr¨ affat

med sannolikhet α.

2.4 Positivt prediktivt v¨ arde (PPV)

I denna sektion kommer sannolikheten att ett stickprov kommer fr˚ an H

givet att ett signifikant resultat erh˚ allits att h¨ arledas. Detta ¨ ar post-studie sannolikheten att ett stickprov kommer fr˚ an H

och kallas f¨ or det positiva prediktiva v¨ ardet (PPV). Det h¨ ar v¨ ardet ger en indikation p˚ a hur trov¨ ardig en studie ¨ ar och kan anv¨ andas f¨ or att evaluera om ett p-v¨ arde ¨ ar representativt f¨ or den genomf¨ orda studien eller resultatet av slump.

2.4.1 PPV f¨ or en studie

Vi studerar nu utfallsrummet utan omedveten bias som definierades i 2.3 och syns i figur (2).

H¨ andelsen S ¨ ar att ett p-v¨ arde ¨ ar signifikant, det vill s¨ aga P V ≤ α. A priori sannolikheten P(H

) = π betraktas som en parameter i v˚ ar modell. Varje g˚ ang vi utf¨ or en ny studie blir PPV f¨ or den studien som i uttryck 3.

P P V = P(H

|S) = P(H

∩ S)

P(S) = P(H

)P(S|H

)

P(H

)P(S|H

) + P(H

)P(S|H

) = π(1 − β)

π(1 − β − α) + α (3)

Uttryck 3 f˚ ar vi genom definitionerna f¨ or α och (1−β). Vi har att 1−β = P(f¨orkasta H

|stickprovet kommer fr˚ an H

) vilket blir P(S|H

) och att α = P(f¨orkasta H

| stickprovet kommer fr˚ an H

) vilket blir P(S|H

).

Ur uttryck (3) f¨ oljer att ju st¨ orre (1−β) ¨ ar, desto h¨ ogre blir PPV f¨ or en studie. Det ¨ ar d¨ arf¨ or av vikt

att planera styrkan (1−β) inf¨ or utf¨ orandet av studien. (1−β) = P(F¨orkasta H

| stickprovet kommer fr˚ an H

).

Styrkan p˚ a en enskild studie f¨ or olika stickrprovsstorlek h¨ arleds genom ber¨ akningen nedan.

1 − β = P(Z > 1.645|H

) = P( X − µ ¯

σ/ √

n > 1.645|H

) = 1 − Φ(1.645 − µ

− µ

σ/ √

n ) (4)

I tabell 1 har vi r¨ aknat ut styrkan f¨ or n˚ agra olika stickprovsstorlekar f¨ or att visa hur stickprovs- storleken p˚ averkar styrkan.

n 30 35 40 50 100 1000

1-β 0.29 0.32 0.35 0.41 0.64 >0.9998

Tabell 1: Styrkan enligt ekvation (4), f¨ or n˚ agra olika stickprovsstorlekar. V¨ ardena har tagits fr˚ an en tabell f¨ or standard normalf¨ ordelningen.

2.4.2 PPV f¨ or ett forskningsf¨ alt

Simuleringen kommer att ber¨ akna PPV f¨ or ett forskningsf¨ alt. Ett forskningsf¨ alt ¨ ar en samman- slagning av alla studier som utf¨ orts, det vill s¨ aga b˚ ade H

och H

. Detta kommer att g¨ oras genom att r¨ akna antalet studier som hamnar i m¨ angden H

∩ S och dela p˚ a antalet studier som hamnar i m¨ angden S.

2.5 Omedveten bias (OB) och dess p˚ averkan p˚ a PPV

Figur 2 beskriver utfallsrummet i forskningsfr˚ agor d˚ a det inte f¨ orekommer n˚ agon form av felaktighet

i metod och genomf¨ orande av studier. Utfallsrummet i figur 3 tar h¨ ansyn till omedveten bias genom

m¨ angden B. Det positiva prediktiva v¨ ardet f¨ or en studie med h¨ ansyn till det nya utfallsrummet

blir nu

P P V

= P(H

|(S ∪ B)) =

= P((H

∩ S) ∪ (H

∩ B)) P(S ∪ B)

=

= P(H

∩ S) + P(H

∩ B) − P(H

∩ S ∩ B)

P(S ∪ B) =

= P(H

∩ S) + P(H

∩ S ∩ B) + P(H

∩ S

∩ B) − P(H

∩ S ∩ B)

P(S ∪ B) =

= P(H

∩ S) + P(H

∩ S

∩ B)

P(S ∪ B) =

= P(H

) P(S|H

) + P(H

) P(S

|H

) P(B)

P(S ∪ B) =

= (1 − β)P(H

) + βP(H

)P(B)

(1 − β)P(H

) + αP(H

) + (1 − α)P(H

)P(B) + βP(H

)P(B) =

= π(1 − β + βb)

α + b(1 − α) + π(1 − β − α)(1 − b) P P V

= π(1 − β + βb)

α + b(1 − α) + π(1 − β − α)(1 − b) (5)

Med samma metod som i 2.4.2 blir PPV f¨ or ett forskningsf¨ alt antalet studier som hamnar i (H

∩ S) ∪ (H

∩ B) delat p˚ a antalet studier som hamnar i S ∪ B.

2.6 Medveten bias med hj¨ alp av p-hacking

P-hacking ¨ ar en metod f¨ or att manipulera ett stickprov i syfte att erh˚ alla ett signifikant p-v¨ arde.

Genom att selektivt ta bort det minsta elementet ur stickprovet genereras ett st¨ orre v¨ arde p˚ a ¯ x−µ

vilket ger upphov till en st¨ orre sannolikhet att framkalla ett signifikant p-v¨ arde. P-hacking ¨ ar inte att f¨ orv¨ axlas med att ta bort extrema v¨ arden efter noggrann bed¨ omning som g¨ ors f¨ or att f˚ a en mer r¨ attvis bild av data. Det scenario av p-hacking som kommer att anv¨ andas i simuleringsstudien

¨ ar fallet d˚ a medelv¨ ardet p˚ a stickprovet selektivt ¨ okas f¨ or att ¨ oka v¨ ardet p˚ a ¯ x − µ

. F¨ orh˚ allandet mellan medelv¨ ardet p˚ a stickprovet redog¨ ors i figur (4) under H

och figur (5) under H

.

Figur (4) och (5) visar hur medelv¨ ardet ¯ x f¨ orflyttas n¨ armare µ

vid p-hacking. Vi kan se fr˚ an figur (5) att det sannolikt kr¨ avs mindre manipulation av data d˚ a stickprovet dras fr˚ an f¨ ordelningen f¨ or H

f¨ or en st¨ orre skattad effektstorlek.

Figur 4: Illustration av medveten bias d˚ a stickproven dras fr˚ an H , ¯ x − µ ¨ okar och s˚ aledes fram-

Figur 5: Illustration av medveten bias d˚ a stickproven dras fr˚ an H

, ¯ x − µ

¨ okar och s˚ aledes fram- kallas ett signifikant p-v¨ arde

3 Redovisning och analys av simuleringar

I det h¨ ar kapitlet kommer simuleringen av flera studier att presenteras med utg˚ angspunkt i den be- skrivna teorin i kapitel (2). Simuleringen av studier ¨ ar skapad i R och tar fram p-v¨ ardef¨ ordelningar, en grafisk framst¨ allning av studiernas utfallsrum samt ber¨ aknas de olika fallen f¨ or PPV. F¨ or den intresserade l¨ asaren finns koden f¨ or simuleringen i Appendix 2.

3.1 Hypotestest och ber¨ akning av p-v¨ arden utan medveten bias

Koden bygger p˚ a att simulera studier med tillh¨ orande p-v¨ arden, b˚ ade f¨ or den alternativa hypotesen och nollhypotesen, se sektion (2.1) f¨ or betydelse av hypoteserna.

I ber¨ akningen av p-v¨ ardena antas parametrarna σ = 5, µ

= 0, µ

= 1, α = 0.05 vara fixa och stickprovsstorleken n kommer att variera. Funktionen rnorm() genererade stickprov av olika storlek n ur f¨ ordelningarna N (0, 5

) respektive N (1, 5

). Steget d¨ arefter var att ber¨ akna z

enligt uttryck (1). F¨ or att ber¨ akna p-v¨ ardena fr˚ an de ensidiga hypotestesterna anv¨ andes funktionen 1-pnorm() d¨ ar pnorm() ¨ ar f¨ ordelningsfunktionen f¨ or en standard normalf¨ ordelning.

3.1.1 F¨ ordelning av p-v¨ arden utan medveten bias

Fr˚ an sektion (3.1) genereras 25 000 000 p-v¨ arden fr˚ an respektive f¨ ordelning som sammanst¨ alls i tv˚ a olika diagram. Den grafiska framst¨ allningen av p-v¨ ardenas f¨ ordelning j¨ amf¨ ors sedan med de teoretiska t¨ athetsfunktionerna framtagna i (2.2.1) och (2.2.2) i respektive figur.

3.1.2 Visualisering av utfallsrummet och ber¨ akning av PPV med och utan omedveten bias

Med hj¨ alp av teorin i (2.3) utf¨ ordes en visualisering av utfallsrummen i Venndiagram. B˚ ada utfalls- rummen ¨ ar skapade enligt figur (2), men i det ena fallet f¨ oreligger endast omedveten bias medan i det andra f¨ oreligger ¨ aven medveten bias. Totalt genererades 400 stickprov d¨ ar 200 stickprov kom ifr˚ an respektive f¨ ordelning N (0, 5

) och N (1, 5

).

F¨ or att generera utfallsrummet i fallet d˚ a studier p˚ averkas av omedveten bias best¨ amdes para- metern b = 10% och anv¨ ands f¨ or att bygga upp m¨ angden B, som i sin tur utg¨ or 10% slumpade p-v¨ arden ur utfallsrummet.

Ut¨ over att endast studera de genererade p-v¨ ardena fr˚ an sektion (3.1) ber¨ aknades PPV f¨ or ett

forskningsf¨ alt via metoderna som beskrivs i 2.4.2 och 2.5.

3.2 Simulering av medveten bias

PPV med omevdeten bias ber¨ aknades genom att slumpm¨ assigt ta p-v¨ arden fr˚ an utfallsrummet f¨ or att utg¨ ora m¨ angden B. Det kan t¨ ankas att ett slumpm¨ assigt antal studier har n˚ agon form av omedveten bias, men i denna sektion vill vi utforska scenariot av ren manipulation av data.

Skillnaden n¨ ar en aktiv manipulation eller med andra ord medveten bias f¨ oreligger medf¨ or att stickprovet justeras kontinuerligt f¨ or att generera fler signifikanta p-v¨ arden enligt figurerna (4) och (5); metoden f¨ or att uppn˚ a detta redog¨ ors i loopen (6).

Likt tidigare fall b¨ orjar manipulationen med ett hypotestest som i (3.1), vilket genererar ett p-v¨ arde baserat p˚ a ett stickprov. N¨ ar medveten bias f¨ oreligger kontrolleras p-v¨ ardet mot signifikansniv˚ an, om det ¨ ar signifikant sparas p-v¨ ardet annars g˚ ar stickprovet vidare i loopen. N¨ asta steg i loopen

¨ ar att kontrollera att stickprovstorleken ¨ ar st¨ orre eller lika med 30. Ett stickprov som ¨ ar st¨ orre ¨ an eller lika med 30 beh¨ ovs och kan ej underskridas d˚ a stickprovet ¨ ar precis tillr¨ ackligt stort f¨ or att kunna anv¨ anda ett Z-test tillf¨ orlitligt (Sprinthall, R. C, 2011). Om storleksgr¨ ansen p˚ a stickprovet ej uppn˚ as sparas p-v¨ ardet, annars g˚ ar stickprovet vidare i loopen. N¨ asta steg ¨ ar det f¨ orsta och enda steget r˚ adata faktiskt manipulerades.

Genom att successivt ta bort det element med det minsta v¨ ardet i stickprovet ¨ okas medelv¨ ardet av stickprovet. Ett ¨ okat medelv¨ arde resulterar i st¨ orre chans att f˚ a ett signifikant p-v¨ arde som f¨ oljd av den ¨ okade skattade effektstorleken enligt sektion (2.6). Avslutningsvis itereras loopen tills antigen ett signifikant p-v¨ arde har uppkommit eller tills stickprovet inte l¨ angre ¨ ar st¨ orre eller lika med 30 d˚ a loopen avbryts. Genom att justera det initiala stickprovstorleken till ett stort antal ges mer utrymme f¨ or medveten bias medan ett litet stickprov ger mindre utrymme f¨ or manipulation.

Figur 6: Iterativ manipulation av stickrovet f¨ or att generera signifikanta p-v¨ arden

3.3 Kombination av p-v¨ ardens f¨ ordelningar

Efter 25 000 000 p-v¨ arden genererats fr˚ an respektive f¨ ordelning d˚ a b˚ ade medveten och ingen form

av bias f¨ orekommer har all simulerad data samlats in. F¨ or att ˚ aterskapa ett forksningsf¨ alt d¨ ar

ingen samt medveten bias r˚ ader sammanst¨ alls p-v¨ ardena i tv˚ a olika diagram, respektive f¨ alt f˚ ar

d˚ a 50 000 000 p-v¨ arden. I det ena diagrammet r˚ ader ingen manipulation av stickproven medan

i det andra r˚ ader manipulation av stickproven. Vidare sammanst¨ alldes grafiskt de kombinerade

simulerade p-v¨ ardenas f¨ ordelning d˚ a ingen medveten bias f¨ oreligger i diagrammet som visar p˚ a hur

manipulation p˚ averkar forskningsf¨ altet som referensm˚ att.

3.4 J¨ amf¨ orelse av simulering med verkliga studier

Steget d¨ arefter d˚ a p-v¨ arden har genererats b˚ ade med och utan medveten bias ¨ ar att j¨ amf¨ ora resulta- tet med verkliga existerande p-v¨ arden. De verkliga p-v¨ ardena inh¨ amtas fr˚ an existerande litteratur som redog¨ or p-v¨ arden d¨ ar manipulation av data starkt anas samt d˚ a antagandet g¨ ors att ingen medveten bias f¨ oreligger.

D˚ a data samlats in sammanst¨ alldes grafiskt de verkliga p-v¨ arde f¨ ordelningarna med antagandet att de befinner sig under H

med medveten bias eller H

utan bias. D¨ arefter j¨ amf¨ ors stickprovstorle- kar av de simulerade p-v¨ ardena tills det stickprovstorlek som b¨ ast ¨ overensst¨ ammer med respektive f¨ ordelning framgick. Under H

med medveten bias var stickprovsstorleken 34 och under H

utan bias var stickprovsstorleken 100. D˚ a stickprovstorlekarna fastst¨ allts slumpades 10 stycken f¨ ordel- ningar med 50 signifikanta p-v¨ arden ur respektive f¨ ordelning och sammanst¨ alldes grafiskt i samma diagram som de verkliga p-v¨ ardena. ¨ Aven de simulerade f¨ ordelningarna med 25 miljoner p-v¨ arden utan n˚ agon form av bias sammanst¨ alldes grafiskt i respektive diagram f¨ or att f˚ a ett referensm˚ att.

4 Resultat

I det h¨ ar kapitlet kommer resultaten av kapitel (3) att redovisas. Vad som d¨ armed f¨ oljer ¨ ar redo- g¨ orelse av p-v¨ ardenas f¨ ordelningar utan och med medveten bias, kombinerade p-v¨ arde f¨ ordelningar utan och med medveten bias, j¨ amf¨ orelse av simulering med verkliga p-v¨ arden, utfallsrummet med och utan medveten bias samt olika fall av PPV f¨ or ett simulerat forskningsf¨ alt.

Stickprovsstorleken som tidigare ben¨ amnts n kommer nu att ben¨ amnas n

och n

. Storleken n

= 30 anv¨ ander vi som standardstorlek p˚ a stickprovet f¨ or j¨ amf¨ orelse med de andra fallen. I texten anv¨ ands n

f¨ or de fall d¨ ar stickprovsstorleken ¨ ar st¨ orre ¨ an 30.

4.1 Simuleringar av p-v¨ ardenas f¨ ordelningar

I den h¨ ar sektionen kommer de olika p-v¨ arde f¨ ordelningarna att redovisas grafiskt.

Figur 7: Simulerade f¨ ordelningen av 25 000 000 p- v¨ arden under H

, j¨ amf¨ ort med den analytiska t¨ athets- funktionen under H

fr˚ an sektion (2.2.2). St¨ orre stick- prov medf¨ or en mer likformig f¨ ordelning

Figur 8: Simulerade f¨ ordelningen av 25 000 000 p- v¨ arden under H

, j¨ amf¨ ort med den analytiska t¨ athets- funktionen under H

fr˚ an sektion (2.2.1). St¨ orre stick- prov medf¨ or brantare kurvor

Utifr˚ an figur (7) syns p-v¨ ardenas likformhet, och att de ¨ ar likformigt f¨ ordelade under H

f¨ or samt-

liga stickprovstorlekar. Den heldragna raka linjen ¨ ar den teoretiska t¨ athetsfunktionen enligt sektion

(2.2.2). I och med att kurvan ¨ ar simulerad kommer st¨ orningar framst˚ a, i detta fall fluktuerar kur- vorna mellan 0.9 och 1.1 procent.

Utifr˚ an figur (8) syns det att d˚ a ett stickprov dras fr˚ an en f¨ ordelning d¨ ar det finns en skillnad mellan µ

och µ

uppkommer en h¨ oger skev f¨ ordelning av p-v¨ ardena i enlighet med beviset av t¨ athets- funktionen i sektion (2.2.1). Den analytiska t¨ athetsfunktionen ¨ ar representerad av en streckad linje och den simulerade p-v¨ ardes f¨ ordelningen av en heldragen linje. F¨ or figur (8) visas f¨ ordelningarna av samtliga stickprovsstorlekarna.

Figur 9: F¨ ordelningen av 25 000 000 p-v¨ arden under H

n¨ ar medveten bias f¨ orekommer, f¨ or j¨ amf¨ orelse ¨ ar den heldragna kurvan n

utan medveten bias

Figur 10: F¨ ordelningen av 25 000 000 p-v¨ arden under H

n¨ ar medveten bias f¨ orekommer, f¨ or j¨ amf¨ orelse ¨ ar den heldragna kurvan n

utan medveten bias

Utifr˚ an figur (9) syns det att p-v¨ ardes f¨ ordelningarna ¨ ar v¨ ansterf¨ orskjutna. Hur v¨ ansterf¨ orskjutna f¨ ordelningarna ¨ ar beror p˚ a hur stort stickprovet ¨ ar, ett st¨ orre stickprov inneb¨ ar mera medveten bias d˚ a stickprovet till˚ ats att g˚ a igenom loopen i figur (6) flera g˚ anger. Notera dock att inom intervallet [0, 0.02] finns det mycket f˚ a p-v¨ arden b˚ ade f¨ or stora och sm˚ a stickprov.

Till skillnad fr˚ an figur (9) kan det observeras i figur (10) att p-v¨ ardena ¨ ar h¨ ogerf¨ orskjutna inom

intervallet [0, 0.03] men blir v¨ anster f¨ orskjuten i intervallet [0.03, 0.05]. Notera h¨ ar att en st¨ orre

stickprovsstorlek inte n¨ odv¨ andigtvis inneb¨ ar ett st¨ orre p˚ aslag f¨ or v¨ ansterf¨ orskjutningen under H

.

Exempel p˚ a det fenomentet ¨ ar att n

= 100 ger ett mindre p˚ aslag ¨ an n

= 50 eller n

= 40.

Figur 11: F¨ ordelningen av 50 000 000 p-v¨ arden f¨ or de kombinerade h¨ andelserna under H

och H

utan med- veten bias

Figur 12: F¨ ordelningen av 50 000 000 p-v¨ arden f¨ or de kombinerade h¨ andelserna under H

och H

med med- veten bias

Figur (11) beskriver de sammanslagna p-v¨ ardef¨ ordelningarna med olika stickprov f¨ or de b˚ ada h¨ an- delserna H

och H

d˚ a ingen medveten bias f¨ oreligger. Notera h¨ ar att f¨ or samtliga stickprovstorlekar

¨ ar f¨ ordelningarna t¨ amligen lika om man bortser f¨ or det mer extrema stickprovet n

= 1000.

Figur (12) beskriver de sammanslagna p-v¨ ardef¨ ordelningarna med olika stickprov f¨ or de b˚ ada h¨ an- delserna H

och H

d˚ a medveten bias f¨ oreligger. Notera att det g˚ ar att tydligt se skillnad mellan figur (11) och (12).

Figur 13: F¨ ordelningen av 100 signifikanta p-v¨ arden under H

med medveten bias f¨ or olika stickprov. Sim- mons (2013), illustration av p-hacking redog¨ ors med den punktade linjen.

Figur 14: F¨ ordelningen av 100 signifikanta p-v¨ arden under H

f¨ or olika stickprov. Simmons (2013), illust- ration av p-hacking redog¨ ors med den punktade linjen.

Figur (13) j¨ amf¨ or verkliga p-v¨ arden under H

d¨ ar det starkt anas att n˚ agon form manipulation av

data eller metod f¨ oreligger. De verkliga p-v¨ ardena visas med den punktade heldragna linjen medan

de simulerade f¨ ordelningarna av 100 signifikanta p-v¨ arden ¨ ar illustrerade med de str¨ ackande linjer-

na. Den likformiga streckade linjen, f¨ or n

, visar f¨ ordelningen av 25 miljoner p-v¨ arden om ingen

medveten bias r˚ ader. Notera h¨ ar att de simulerade f¨ ordelningarna inte ˚ aterspeglar den verkliga f¨ ordelningen exakt.

Figur (14) j¨ amf¨ or verkliga p-v¨ arden d¨ ar det starkt anas att ingen form manipulation av data eller metod f¨ oreligger under H

. Likt figur (13) visas de verkliga p-v¨ ardena med den punktade heldragna linjen medan de simulerade f¨ ordelningarna av 100 signifikanta p-v¨ arden illustreras med de str¨ ackande linjerna. Den streckade linjen d˚ a n

r˚ ader visar f¨ ordelningen av 25 miljoner p-v¨ arden med syfte att f˚ a ett referensm˚ att. Notera h¨ ar att de simulerade f¨ ordelningarna inte ˚ aterspeglar den verkliga f¨ ordelningen exakt.

4.2 Simuleringar av utfallsrummen med och utan manipulering

Figurerna ¨ over utfallsrummen visas i figur (15) och (16). Komponenterna i figuren beskrivs nedan

• Signifikanta p-v¨arden markeras med symboler under den v˚agr¨ata linjen och tillh¨or h¨andelsen S

• P-v¨arden som p˚averkas av omedveten bias och d¨armed publiceras markeras med punkter efter de lodr¨ ata linjerna och tillh¨ or h¨ andelsen B. Notera att p-v¨ ardena ¨ ar signifikanta, men hade inte varit det om de inte p˚ averkats av bias. P-v¨ ardena som syns i figurerna ¨ ar s˚ aledes de p-v¨ ardena som skulle erh˚ allits om inte omedveten bias hade p˚ averkat resultatet.

• Signifikanta p-v¨arden som har uppst˚att till f¨oljd utav medveten bias markeras med ifyllda cirklar

• Figur (15) och (16) kan likst¨allas med figur (2), d˚a det ¨ar samma h¨andelser som avses.

Figur 15: Utfallsrummet d¨ ar varje punkt representerar en studie, utfallsrummet inneh˚ aller totalt 400 studier

I figur (15) syns f¨ ordelningen av p-v¨ arden under h¨ andelserna H

och H

. Notera att p-v¨ ardena ¨ ar

glesare f¨ or st¨ orre p-v¨ arden tillh¨ orande H

j¨ amf¨ ort med H

. Dessutom syns det att fler p-v¨ arden

blir signifikanta i H

, medan p-v¨ ardena ¨ ar mer j¨ amnt utspridda i H

.

Figur 16: Utfallsrummet d¨ ar varje punkt representerar en studie d¨ ar medveten bias f¨ orkommer.

Utfallsrummet inneh˚ aller totalt 400 studier

I figur (16) blir p-v¨ ardena i hela utfallsrummet glesare n¨ ar de g˚ ar mot st¨ orre p-v¨ arden. N¨ ar stick- provet har manipulerats under H

och H

kan fler signifikanta p-v¨ arden observeras.

4.3 PPV f¨ or forskningsf¨ alt

Nedanst˚ aende tabell beskriver PPV f¨ or ett forskningsf¨ alt i standardfallet, d˚ a det f¨ orekommer omed- veten bias, medveten bias samt d˚ a det f¨ orekommer omedveten och medveten bias. I simuleringen har en a priori sannolikhet p˚ a π = 0.5 anv¨ ants. Ur tabell (2) syns respektive v¨ arde f¨ or stickprovs- storleken f¨ or alla studier och vilket fall av PPV som ber¨ aknats. P P V

ber¨ akades f¨ or utfallet n¨ ar medveten bias f¨ oreligger.

Notera att under n

, f¨ orekommer det inte n˚ agon medveten bias i simuleringen och d¨ arav ¨ andras inte PPV d˚ a medveten bias f¨ oreligger. D¨ aremot blir P P V = 0.85 och P P V

= 0.57.

n

P P V P P V

P P V

P P V

35 0.87 0.60 0.58 0.51

40 0.88 0.63 0.52 0.48

50 0.89 0.67 0.50 0.46

100 0.93 0.78 0.50 0.45

1000 0.95 0.87 0.50 0.45

Tabell 2: V¨ arden under kolumn ett visar standardfallet f¨ or PPV, kolumn tv˚ a visar PPV med omed- veten bias, kolumn tre visar PPV med medveten bias, kolumn fyra visar PPV med omedveten och medveten bias. De olika raderna visar olika stickprovsstorlek n

Ett antagande som gjorts ¨ ar att utfallsrummet inneh˚ aller lika m˚ anga studier under H

som under H

. Ifall antagandet i st¨ allet skulle g¨ oras att alla studier l˚ ag under H

skulle PPV f¨ or alla stick- prov f˚ att v¨ ardet 1 och om alla studier l˚ ag under H

skulle PPV f¨ or alla stickprov f˚ att v¨ ardet 0.

F¨ or visualisering av hur relationen mellan antal studier d¨ ar stickprovet kommer fr˚ an H

och d¨ ar

stickprovet kommer fr˚ an H

p˚ averkar PPV h¨ anvisas den intresserade l¨ asaren till Appendix I.

5 Diskussion

Metod och resultat som framf¨ orts genererar tre metoder f¨ or utv¨ ardering av ett forskningsf¨ alt el- ler en forskningsfr˚ aga som kommer att diskuteras i sektionerna nedan. Mer specifikt ¨ ar de tre evalueringsmetoderna: realisering av utfallsummen, f¨ ordelningen av p-v¨ arden samt PPV f¨ or forsk- ningsf¨ alt.

5.1 De realiserade utfallsrummen

Figurerna i sektion (4.2) visar de realiserade utfallsrummen f¨ or den utf¨ orda simuleringen. Figur (15) visar resultatet i fallet d˚ a det inte f¨ orekommit n˚ agon medveten bias i studierna och figur (16) visar resultatet i fallet d˚ a det f¨ orekommer medveten bias.

Resultatet som visas i figur (15) ˚ ask˚ adliggjorde att om 200 studier genomf¨ orts d¨ ar stickprovet dras ur f¨ ordelningen f¨ or H

publiceras 12 artiklar som drar slutsatsen att stickprovet kommer fr˚ an H

. Om de 188 studier som inte f˚ ar ett signifikant resultat inte publiceras ser det d˚ a ut som att det finns god evidens f¨ or H

i forskningsfr˚ agan vilket ¨ ar ett problem.

En m¨ ojlig l¨ osning till problemet med att studier publicerar resultat som argumenterar f¨ or att H

¨ ar sant n¨ ar stickprovet kommer fr˚ an H

¨ ar att s¨ anka signifikansniv˚ an α vilket kommer att minska antalet signifikanta resultat d˚ a stickprovet kommer fr˚ an H

. En s¨ ankning av α kommer dock ¨ aven att minska antalet studier d¨ ar stickprovet kommer fr˚ an H

och d¨ ar ett signifikant p-v¨ arde erh˚ alls.

Det finns dock en tydlig skillnad i f¨ ordelning av p-v¨ arden i figur (15) och fler studier publiceras n¨ ar stickprovet kommer fr˚ an H

. Ett l¨ agre α kommer att medf¨ ora att m¨ angden studier d¨ ar stickprovet kommer fr˚ an H

som publiceras minskar.

M¨ angden B inneh˚ aller som tidigare n¨ amnts signifikanta p-v¨ arden som p˚ averkats av omedveten bi- as. I den grafiska framst¨ allningen i figur (15) kan det tolkas som att p-v¨ ardena som publiceras inte alltid ¨ ar signifikanta, men i verkligheten hade de omedvetna biased studierna inte g˚ att att urskilja fr˚ an de som inte ¨ ar omedvetet biased. M¨ angden B p˚ averkar i synnerhet studier d¨ ar stickprovet kommer fr˚ an H

eftersom p-v¨ arden ¨ ar mer utspridda i detta fall. Det g¨ aller dock f¨ or b˚ ade H

och H

att fler resultat publiceras d˚ a det f¨ orekommer omedveten bias i ett forskningsf¨ alt. Detta kan ge en illusion av att en forskningsfr˚ aga verkar mer sann ¨ an falsk. D¨ aremot g˚ ar det att urskilja H

fr˚ an H

genom att se att studierna ¨ and˚ a ¨ ar mer utspridda under H

och det finns en mer j¨ amn spridning av p-v¨ arden under H

.

Skillnaden i spridning av p-v¨ arden som syns i figur (15) blir mindre d˚ a data manipulerats, vilket syns i figur (16). Det blir d˚ a sv˚ arare att se en skillnad mellan H

och H

. I detta fall ¨ ar metoden med realiserade utfallsrum bristf¨ allig och det blir sv˚ art att evaluera forskningsf¨ altet. Mot bakgrund av detta g¨ or medveten bias metoden sv˚ arare att anv¨ anda f¨ or att analysera ett forskningsf¨ alt.

En nackdel med metoden ¨ ar att den kr¨ aver icke-signifikanta p-v¨ arden som ofta inte publiceras p˚ a grund av publiceringsbias. I dagsl¨ aget finns det initiativ till att ¨ aven negativa eller ov¨ antade resultat ska publiceras i en egen journal eller databas, exempel p˚ a detta ¨ ar International Journal of Negative Results av Open Access Pub som ger fri tillg˚ ang till genomf¨ orda studier med negativa resultat. Initiativ som detta ¨ ar v¨ ardefulla, men ett ytterligare problem ¨ ar att det finns en kultur i vetenskapsv¨ arlden som medf¨ or att forskare bed¨ oms p˚ a antalet positiva resultat och citeringar. I ett tidigt stadie av karri¨ aren ¨ ar det i synnerhet viktigt att forskare publicerar intressanta artiklar f¨ or att forskaren ska f˚ a citeringar och vidare finansiering f¨ or sitt arbete. Vilket kan medf¨ ora att negativa resultat aldrig publiceras och d¨ arf¨ or inte kommer allm¨ anheten tillhanda.

5.2 F¨ ordelningen av p-v¨ arden

En metod som inte kr¨ aver att ¨ aven icke-signifikanta v¨ arden publiceras f¨ or att kunna analysera ett

rades under H

och H

utan medveten bias i figur (7) och (8) kan skillnader ˚ ask˚ adligg¨ oras. Den noterbara skillnaden h¨ ar ¨ ar de olika skevheterna i f¨ ordelningarna vilket f¨ orklaras matematiskt i sektion (2.2.1) och (2.2.2). Det som ligger bakom de felaktigt publicerade studierna i figur (7) ¨ ar signifikansniv˚ an. Notera h¨ ar att arean som ligger under grafen ¨ ar representativt f¨ or de ackumule- rade antalet signifikanta p-v¨ arden, ser vi till arean f˚ ar vi att 5% av alla p-v¨ arden blir signifikanta vilket motsvarar signifikansniv˚ an. P˚ a motsvarande f¨ ordelning under H

i figur (8) kan det obser- veras att majoriteten av signifikanta p-v¨ arden ¨ ar koncentrerade n¨ armre noll. En intressant slutsats som d¨ armed kan dras h¨ ar ¨ ar att en l¨ agre signifikansniv˚ a minskar antalet signifikanta p-v¨ arden under H

oproportionellt mycket mer ¨ an under H

. Men vad ¨ ar den optimala signifikansniv˚ an f¨ or fallet vi studerar?

Vid en signifikansniv˚ a runt 1% kommer en ytterligare minskning av signifikansniv˚ an s¨ anka anta- let p-v¨ arden under H

i st¨ orre utstr¨ ackning ¨ an H

. Om proportionen av falskt positiva och sant positiva resultat vill minimeras b¨ or signifikansniv˚ an ¨ andras fr˚ an den vedertagna 5% till den signi- fikansniv˚ an d˚ a antalet procent av p-v¨ arden ¨ ar densamma i H

och H

, i v˚ art fall uppg˚ ar denna signifikansniv˚ a till 1%. En signifikansniv˚ a p˚ a 5% ¨ ar konvention inom m˚ anga f¨ alt, men anledningen till just denna signifikansniv˚ a ¨ ar fr¨ amst historisk (H¨ aggstr¨ om, 2017), slutsatsen vi drar ¨ ar att en signifikansniv˚ a p˚ a 5% helt enkelt inte alltid ¨ ar optimalt i alla forskninsf¨ alt.

D¨ aremot har vi simulerat p-v¨ arden under specifika parametrar d˚ a det inte f¨ oreligger n˚ agon form av bias f¨ or kunna dra slutsatser kring en optimal signifikansniv˚ a; vad h¨ ander n¨ ar inte endast de statistiska k¨ anda felen som α r˚ ader vid hypotespr¨ ovningen? F¨ or att besvara fr˚ agan ¨ ar det v¨ arde- fullt att studera fallet vid manipulation av data som visas i figurerna (9) och (10). Intuitivt kan l¨ asaren t¨ anka sig utifr˚ an figurerna att man b¨ or s¨ anka signifikansniv˚ an fr˚ an 5% till 2% snarare ¨ an 1% som vid fallet utan manipulation. Varf¨ or den s¨ ankningen ¨ ar intuitiv ¨ ar d˚ a det finns mycket f˚ a presenterade positiva falska p-v¨ arden under en signifikansniv˚ a p˚ a 2%. Intuition i det h¨ ar fallet

¨ ar dock missvisande, notera h¨ ar hur manipulationen av data uppst˚ ar i enlighet med figur (6). D˚ a manipulation f¨ oreligger justeras stickprovet av den best¨ amda signifikansniv˚ an, en s¨ ankning eller

¨ okning av signifikansniv˚ an kommer s˚ aledes endast f¨ orskuta b¨ orjan av p-v¨ ardenas procentuella ¨ ok- ning bak˚ at eller fram˚ at. Det blir d¨ armed mycket sv˚ arare att best¨ amma en optimal signifikansniv˚ a d˚ a medveten bias f¨ oreligger, vi kan dock dra slutsatsen att st¨ orre stickprov kommer att beh¨ ovas f¨ or att anv¨ anda sig av medveten bias vid en l¨ agre signifikansniv˚ a som f¨ oljd utav den brantare lutningen observerad av st¨ orre stickprov i figur (9).

N˚ agot som ¨ ar v¨ art att notera ¨ ar att alla framtagna p-v¨ arden bygger p˚ a simuleringar, det ¨ ar d¨ armed f¨ orst˚ aeligt att ifr˚ agas¨ atta hur v¨ al p-v¨ ardenas f¨ ordelningarna st¨ ammer ¨ overens med verkligheten. I figurerna (10) och (9) har 25 miljoner p-v¨ arden genererats, att studera 25 miljoner studier d¨ ar man anar starkt att medveten bias eller ingen bias f¨ oreligger ¨ ar antagligen n¨ ast intill om¨ ojligt. Med det i ˚ atanke blir det intressant att j¨ amf¨ ora resultaten fr˚ an simuleringen med existerande litteratur som studerar verkliga studier d¨ ar medveten bias och ingen medveten bias f¨ oreligger. I publikationen P-Curve: A Key to the File-Drawer av Joseph P. Simmons (2014) studerades det h¨ ar fenomenet. I artikeln studerades 20 stycken publicerade och d¨ armed signifikanta p-v¨ arden d¨ ar det fanns en be- fogad misstanke om medveten bias, samt 22 stycken d¨ ar ingen indikation av medveten bias kunde observeras. Respektive f¨ ordelning av Joseph P. Simmons resultat kan se i de heldragna punktade linjerna i figur (13) och (14).

Simmons p-v¨ arden kan i sin tur j¨ amf¨ oras med de 100 stycken signifikanta p-v¨ ardena som drogs fr˚ an v˚ ar simulering under efterliknade f¨ orh˚ allanden i respektive figur. Notera i figurerna (13) och (14) att de simulerade p-v¨ ardenas f¨ ordelning f¨ oljer ungef¨ ar samma f¨ ordelningar, men inte exakt. Flera orsaker kan t¨ ankas f¨ oreligga betr¨ affande varf¨ or det resultatet uppkommer. F¨ orst och fr¨ amst ¨ ar det ett mycket begr¨ ansat antal simulerade p-v¨ arden f¨ ordelningar vilket till˚ ater slumpen att bli mer framtr¨ adande. F¨ or det andra studerar Simmons verkliga studier som inte n¨ odv¨ andigtvis anv¨ ander samma metoder som simuleringen f¨ or generering av p-v¨ arden, exempelvis kan det t¨ ankas att ett tv˚ a sidigt Z − test r˚ ader vilket invaliderar v˚ ar simulering av medveten bias etc.

Med de flera brister som kan t¨ ankas f¨ oreligga i ˚ atanke kan slutsatsen dras att simuleringen ¨ ar n˚ a-