Varning för godis! - eller hur man torterar data tills den erkänner

Rubriken är rätt, men sen blir det fel ändå. Viss mat kopplad till depression, skriver SvD, och Vetenskapsnyheterna i P1 (eller är det vanliga nyheterna?) rapporterar att margarin, smågodis och rött kött är kopplat till depression. Fullt rimligt, tänker jag. Den som är deprimerad orkar sällan fixa ekologiska långkok med lågt GI.

Sedan lyckas man, oklart hur, få det till att det är maten som orsakar depressionen. Eller, det verkar finnas nån sorts idé att maten driver inflammation som i sin tur driver depression. Huruvida det är rimligt får medicinare bedöma, men sist man skulle bota depression genom att bota inflammation var det ju inte riktigt så  enkelt. Framför allt undrar jag hur man kan vara så säker på att inflammationen  driver depressionen och inte tvärt om. Men kausalitet är ju aldrig viktigare än ett fett pressmeddelande som i sin tur ger göttig mediauppmärksamhet.

Men även den som bara ville fastställa att sambandet finns så är ute på hal is. Ett starkt samband hittades nämligen bara om man jämförde den femtedelen som åt "sämst" med den femtedel som åt "bäst". Min handledare kallar det för att "massera" sin data lite, tills den visar nåt intressant. De som är mindre diplomatiska kallar det för att tortera data tills den erkänner*.

Martin Ingvar uttalar sig i P1 och låter väldigt positiv till studien. Jag tror inte, eller vill inte tro, att en senior och uppburen forskare som Martin Ingvar inte vet skillnad på kausalitet och korrelation, och att det bara är P1 som klippt hans citat så att det låter som att  han inte vet det. I slutet av reportaget säger han nämligen att kost, likväl som depression, är kopplat till ekonomi och sociala faktorer "och för den gruppen räcker det inte att ändra kosten". Fortfarande inga quick fixar alltså. Vilken överraskning!

*Citatet "If you torture the data enough, nature will always confess" tillskrivs Nobelpristagaren Ronald Coase.

Update: Även DN hänger på, och missuppfattar redan i rubriken.

Signifikant choklad och annat smarrigt

Publiceringsbias kallas det inom forskarvärlden, det faktum att studier som visar signifikanta resultat blir publicerade i mycket högre utsträckning, än studier där man inte kan dra någon säker slutsats. Till vetenskapsjournalistikens område kan vi foga termen gotte-publiceringsbias: fenomenet att om något riktigt smarrigt (och med tvivelaktigt näringsinnehåll) visar sig vara nyttigt för dig, så kommer studien få stort genomslag i media.

Veckans fall av gotte-publiceringsbias står DN för, när man deklarerar att konsumtion av choklad skyddar mot stroke. Och Ekot går steget längre: Nu är choklad medicin mot stroke! (Nobelpris nästa?). Studien avser 37 000 svenska män som bland annat svarat på frågor om kostvanor och som sedan följts upp i olika register under en tioårsperiod. Studien visar att  de män som åt ca en halv chokladkaka i veckan drabbades av stroke i mindre utsträckning än de övriga.

Innan vi alla börjar bunkra Marabou-kakor kan vi tänka på några saker. I DN-artikeln säger forskaren aldrig att chokladen faktiskt skyddar mot stroke, bara att man har hittat ett samband. Det hindrar dock inte DN:s redigerare att sätta en rubrik som om det vore ett orsakssamband. Vad vi inte kan veta är om det faktiskt är chokladen som skyddar eller om det är så att de män som tycker om choklad också har andra egenskaper gemensamt, som inte fångas upp i frågeformläret. Eller kan det finnas en gen som gör att chokladhatare oftare får stroke?

Nästa gnäll jag har kan vara jobbigt att läsa om tycker att sannolikhetsteori är rena grekiskan, men bear with me: om man samlar in massor med data om en stor grupp människor, tänk dig minst 15 000 pers och ett formlär med minst 100 frågor om kosten. Sedan kommer vi på att vi vill kolla om kosten har ett samband med en variabel vi är intresserade av exempelvis att drabbas av stroke eller att få fortkörningsböter. Vi matar in allt i datorn och hurra! visst fick vi några p-värden på under 5%. Tonfiskätarna åker inte fast för fortkörning alls lika ofta som icks-tonfiskätarna. (Obs, detta exempel hittade jag just på!)  Problemet är bara det att det om vi samlar in 100 variabler som alla inte har samband med den variabel vi vill mäta, så kommer vi, rent sannolikhetsteoretiskt, att hitta ett antal samband ändå, som bara beror på slumpen. I genomsnittsfallet kommer just 5% av variablerna vara signifikanta, eftersom det var just den gränsen vi satte upp.

Det här är ett populärt sätt att bedriva forskning, och den har sina poänger, men man måste vara försiktig med resultatet. Verkar det rimligt att tonfiskätning skyddar mot fortkörning? Finns det tidigare forskning som tyder på att detta samband finns, eller är det en av de förväntade fem procenten? I just chokladfallet finns det tidigare studier som tyder på att resultatet inte är nonsens, men det det kan vara värt att tänka på, nästa gång media talar om att du får dricka (nästan) hur mycket rödvin du vill. Eller kaffe. Eller....

(Samma studie refereras i SvD här.)

(Jag kommer fortfarande inte år Neurology från jobbet, (och inte ni heller), men ett abstract till den kommande publiceringen finns här.)

Är den nya troféfrun knubbig?

Stressade män föredrar "kraftigare" kvinnor, påstår SvD/TT. En testgrupp av män blev utsatta för diverse stressande tester och intervjuer, och föredrog efter detta "signifikant kraftigare" kvinnor. (Hur mycket kraftigare "signifikant" kraftigare är framgår inte. En BMI-enhet? Två? Fem?) Efter att ha ägnat en alltför lång del av förmiddagen åt att hitta originalartiklen (ledtrådarna "brittisk" och PLoS One räcker inte långt) blir jag ändå tvungen att såga det här resultatet.

Kanske har forskarna rätt, men efter vad som framgår i SvD/TT:s notis så finns det inget i studiens upplägg som utesluter att männen i experimentgruppen redan innan föredrog  "kraftigare" kvinnor och att denna skillnad inte alls uppstod efter stressen. (Jämför Tanjas exempel om huruvida illrar bli blöta när man häller vatten på dem).  Inget belägg för att 2010-talets troféfru är knubbig, alltså.

(Tips från  @planckskonstant).

Tillägg:  DN rapporterar också, snäppet mer nyanserat. Den tillfrågade forskaren säger att kulturella faktorer har störst betydelse, och att den som byter kultur ofta byter preferenser. Det resultatet tycker jag är mer intressant, än det som DN:s rubriksättare väljer (och det är fortfarande högst oklart vad "större" innebär).

Övervikt och sommarvikarier

Jag undrar om sommarvikaren som knåpade ihop denna notis  tittade ut genom fönstret innan hen klickade på skicka-knappen. Hälften av alla män och 60 % av alla kvinnor har BMI över 30 och är alltså feta? Nu kanske stockholmarna är mindre feta en riksgenomsnittet men visst skulle skribenten se alla dessa feta människor nån gång ibland, kanske? Inte? Kan ju bero på att rapporten som åsyftas gäller diabetiker. Men det är ju detaljer, när det är så kul att sätta igång hälsolarmet.

Tillägg: Nu är notisen rättad, men rätt så svår att förstå i alla fall.