Bonyolult átverés volt egy sokat emlegetett tanulmány egy étrendről, amely naponta csokoládét fogyaszt

Beszámoltak a lenyűgöző hangzású International Archives of Medicine, egy online nyílt hozzáférésű folyóiratban közzétett tanulmány eredményeiről. A tanulmány szerzői azt állították, hogy a csokoládéfogyasztás és az alacsony szénhidráttartalmú étrend segített az embereknek a fogyásban és általános közérzetük növelésében, összehasonlítva azokkal, akik csak alacsony szénhidráttartalmú étrendet fogyasztottak.

A probléma az, hogy az egész tanulmány kidolgozott kamu volt.

John Bohannon újságíró és szándékosan kétes tudományos érdemekkel foglalkozó étrend-tanulmányt tervezett, vezetett, publikált és publikált, hogy pontot tegyen arról, hogy a kevés tudományos támogatás nélküli vagy anélküli állítások miként teszik a főcímeket és hajtják végre a diétákat.

Hogy csinálták

A tanulmányt a szeméttudományi étrendről szóló dokumentumfilm részeként tervezték, és a filmkészítők orvos (a tárgyalás lebonyolításához) és egy statisztikus (a számokkal való játékhoz) felsorakoztatták őket. Bohannont, aki PhD fokozattal rendelkezik a baktériumok molekuláris biológiájában és a sikeres tudományos csínytevések ismert története, a tanulmány közzétételéhez és nyilvánosságához hozták.

15 résztvevőt toboroztak, akiknek 150 eurót fizettek, megvizsgálták az esetleges egészségügyi problémákat, és elmondták, hogy a fogyókúráról szóló dokumentumfilmben lesznek - ami igaz.

Lám, a csokoládét és alacsony szénhidráttartalmú diétát fogyasztó csoport 10% -kal gyorsabban fogyott, mint az alacsony szénhidráttartalmú diéta csokoládé nélküli csoportja. A különbség statisztikailag szignifikáns volt, és Bohannonnak volt egy eladási kampánya.

Bohannonnak nem volt nehéz megszereznie a tanulmány közzétételét - a folyóiratokban a szakértői felülvizsgálat standardjai nagyon eltérőek, és sokan elfogadták a tanulmányt. Miután a tanulmányt elfogadták, Bohannon sajtóközleményt írt, hamis webhelyet készített elkészített kutatóközpontjának, és - bizonyosan - az újságírók elkezdtek írni a színlelt tanulmányról.

Úgy tűnt, hogy lehúzták.

Mit jelent

Bohannon az io9-en írt történetében a nagy "Bild" napilapot, a német "Cosmopolitan" weboldalt, valamint a német és az indiai "Huffington Post" weboldalakat sorolja fel a támadások miatt esett hírek között. Ezenkívül képernyőképeket tartalmaz a "Prevention" weboldalról, néhány brit bulvárlapról és a "Shape" magazin júniusi számáról.

Bohannon elégedettnek tűnik, hogy ezek a nagy közönségű publikációk felvették tanulmányát, "milliókat bolondítva" - állította az io9 címsora. De amint Daniel Engber újságíró rámutatott a Twitteren, talán mégsem volt ilyen nagy teljesítmény:

Ennek ellenére érdemes megtenni a figyelmeztetést, hogy egy kicsit szkeptikusabb légy olyan jelentésekben, amelyek szerint egy bizonyos étrend vagy étel jelentős hatással van az egészségére - különösen, ha ezek a jelentések bulvárban jelennek meg.

Ez a tanulmány nem különbözött annyira sok más étrend-vizsgálattól, amelyek szintén kis mintaméretet használnak. Sajnos nem gyakori, hogy a tudósok statisztikailag szignifikáns eredmények elérése érdekében többnyire ártatlanul módosítják adataikat egy kísérlet többszöri futtatásával vagy a kiugró értékek kizárásával.

Egy jó tanulmánynak tipikusan van egy hipotézise, majd teszteli. Ennek a tanulmánynak nem volt valódi hipotézise, és 18 különböző dolgot tesztelt - nem egyet -, hogy kiderüljön-e valamilyen statisztikailag jelentős összefüggés. A rosszul megtervezett étrend-vizsgálatokban ez valójában nem is olyan szokatlan. Ha elegendő dolgot mérünk ilyen kis csoportban, akkor ez a megközelítés mindenképpen hozamot fog eredményezni. valami. Bohannon így magyarázta:

Gondoljon a mérésekre, mint sorsjegyekre. Mindegyiknek kicsi az esélye, hogy megtérüljön egy „jelentős” eredmény formájában, amelyet egy történetet forgathatunk és eladhatunk a médiának. Minél több jegyet vásárol, annál valószínűbb, hogy nyer. Nem tudtuk pontosan, mi sül ki - a főcím az lehetett, hogy a csokoládé javítja az alvást vagy csökkenti a vérnyomást -, de tudtuk, hogy elég jó az esélyünk arra, hogy legalább egy „statisztikailag szignifikáns” eredményt kapjunk.

Más szavakkal, bár a tanulmány valóban statisztikailag szignifikáns hatást talált a fogyásra, pontosan ezt tervezték. Statisztikailag nagyobb valószínűséggel találták meg azt, ami jelentős hatásnak tűnt, de valójában fluke volt.

Javítás: Eltávolítottunk egy hivatkozást, amelyet a Daily Mail képernyőkép tartalmazott az io9 írásában, mivel csokoládé történetük egy másik tanulmányról szólt, nem pedig Bohannon kísérletéről.