Publiceringsbias kallas det inom forskarvärlden, det faktum att studier som visar signifikanta resultat blir publicerade i mycket högre utsträckning, än studier där man inte kan dra någon säker slutsats. Till vetenskapsjournalistikens område kan vi foga termen gotte-publiceringsbias: fenomenet att om något riktigt smarrigt (och med tvivelaktigt näringsinnehåll) visar sig vara nyttigt för dig, så kommer studien få stort genomslag i media.
Veckans fall av gotte-publiceringsbias står DN för, när man deklarerar att konsumtion av choklad skyddar mot stroke. Och Ekot går steget längre: Nu är choklad medicin mot stroke! (Nobelpris nästa?). Studien avser 37 000 svenska män som bland annat svarat på frågor om kostvanor och som sedan följts upp i olika register under en tioårsperiod. Studien visar att de män som åt ca en halv chokladkaka i veckan drabbades av stroke i mindre utsträckning än de övriga.
Innan vi alla börjar bunkra Marabou-kakor kan vi tänka på några saker. I DN-artikeln säger forskaren aldrig att chokladen faktiskt skyddar mot stroke, bara att man har hittat ett samband. Det hindrar dock inte DN:s redigerare att sätta en rubrik som om det vore ett orsakssamband. Vad vi inte kan veta är om det faktiskt är chokladen som skyddar eller om det är så att de män som tycker om choklad också har andra egenskaper gemensamt, som inte fångas upp i frågeformläret. Eller kan det finnas en gen som gör att chokladhatare oftare får stroke?
Nästa gnäll jag har kan vara jobbigt att läsa om tycker att sannolikhetsteori är rena grekiskan, men bear with me: om man samlar in massor med data om en stor grupp människor, tänk dig minst 15 000 pers och ett formlär med minst 100 frågor om kosten. Sedan kommer vi på att vi vill kolla om kosten har ett samband med en variabel vi är intresserade av exempelvis att drabbas av stroke eller att få fortkörningsböter. Vi matar in allt i datorn och hurra! visst fick vi några p-värden på under 5%. Tonfiskätarna åker inte fast för fortkörning alls lika ofta som icks-tonfiskätarna. (Obs, detta exempel hittade jag just på!) Problemet är bara det att det om vi samlar in 100 variabler som alla inte har samband med den variabel vi vill mäta, så kommer vi, rent sannolikhetsteoretiskt, att hitta ett antal samband ändå, som bara beror på slumpen. I genomsnittsfallet kommer just 5% av variablerna vara signifikanta, eftersom det var just den gränsen vi satte upp.
Det här är ett populärt sätt att bedriva forskning, och den har sina poänger, men man måste vara försiktig med resultatet. Verkar det rimligt att tonfiskätning skyddar mot fortkörning? Finns det tidigare forskning som tyder på att detta samband finns, eller är det en av de förväntade fem procenten? I just chokladfallet finns det tidigare studier som tyder på att resultatet inte är nonsens, men det det kan vara värt att tänka på, nästa gång media talar om att du får dricka (nästan) hur mycket rödvin du vill. Eller kaffe. Eller....
(Samma studie refereras i SvD här.)
(Jag kommer fortfarande inte år Neurology från jobbet, (och inte ni heller), men ett abstract till den kommande publiceringen finns här.)
Inga kommentarer:
Skicka en kommentar