Jednoducho ignorujte!
Pomáha čokoláda pri chudnutí? Červené víno lieči rakovinu? Každý deň sú publikované nezmyselné štúdie. Mali by sme si vždy položiť tri dôležité otázky.
Čokoláda vás zoštíhli! Kto by to bol povedal? Čísla sú však jasné: testované osoby dostávali stravu s nízkym obsahom sacharidov počas troch týždňov - jedna skupina tiež dostala za úlohu zjesť čokoládovú tyčinku denne. Hľa, čokoládová skupina stratila väčšiu váhu ako skupina bez čokolády. Slávny triumf čokolády a skvelý príbeh, ktorý sa dostal na popredné stránky po celom svete.
Keď sú takéto výsledky štúdie prezentované vo vede, úplne prvá otázka znie: je výsledok štatisticky významný? Medzi dvoma skupinami vždy existujú rozdiely - jedna bude mať v priemere o niečo vyšší krvný tlak, jedna bude mať v priemere väčšie topánky, jedna schudne viac ako druhá. Je to nevyhnutné. Otázkou je, či je možné tieto rozdiely vysvetliť čírou náhodou alebo či sú výsledkom skutočnej príčinnej súvislosti.
To sa dá vypočítať štatisticky - o „štatistickej významnosti“ sa hovorí, keď je nízka pravdepodobnosť, že taký rozdiel medzi týmito dvoma skupinami vznikne čisto náhodou bez akejkoľvek príčinnej príčiny.
V prípade štúdie o čokoláde bola vec jasná: matematicky boli výsledky štatisticky významné. Dokazuje to teda matematicky, že čokoláda pomáha pri chudnutí? Nie, dlho nie!
Dôležitosť: vypočítaný nezmysel
Príbeh o chudnúcej čokoláde bol čistý nezmysel. Išlo o mediálny experiment novinárov, ktorí chceli upozorniť na problém slabého spravodajstva o zlých štúdiách. Úmyselne bola vykonaná biedna štúdia s príliš malým počtom účastníkov a smiešne krátkym obdobím pozorovania na to, aby bolo možné určiť, či ju médiá budú nepochybne reprodukovať.
Merala sa celá škála parametrov - nielen váha, ale aj rôzne hodnoty krvi, celková pohoda a niekoľko ďalších. Pri akejkoľvek jednej hodnote je pravdepodobnosť nájdenia veľkého rozdielu medzi týmito dvoma skupinami úplnou náhodou pomerne malá, ale ak preskúmate dostatočný počet hodnôt, nakoniec nájdete rozdiel, ktorý vyzerá štatisticky významne. Môžete potom o tom nadšene referovať, o všetkom ostatnom mlčíte.
Dobré štúdie: čestné alebo podvedené?
Ak je výsledok štatisticky významný, štúdia odstránila iba prvú prekážku. Je tiež potrebné položiť si otázku: bola štúdia dobre vykonaná? Naozaj sa meria to, čo sa má merať - alebo je to len výsledok, ktorý sa autorom náhodou páčil?
Takéto špinavé triky sú úplne bežné. Predpokladám, že chcem dokázať, že červené víno znižuje riziko rakoviny. Mám dve skupiny - skupinu pijúcich červené víno a jednu, ktorá nepije červené víno. Protivne nenájdem štatisticky významný rozdiel vo frekvencii rakoviny. Môžem však údaje rozdeliť na rôzne typy rakoviny - od leukémie cez rakovinu žalúdka až po rakovinu pľúc. Potom mám zrazu oveľa viac príležitostí náhodne nájsť rozdiely medzi týmito dvoma skupinami. Ak hľadám dosť dlho, zaručene nájdem rakovinu, ktorá je v skupine s červeným vínom oveľa menej častá. (A pravdepodobne ďalší, ktorý sa v tejto skupine objavuje častejšie - ale to nemusím uvádzať v mojej tlačovej správe.)
Štatistický vzťah navyše neznamená, že jeden je príčinou druhého. Možno, že bohatší ľudia pijú viac červeného vína a môžu si súčasne dovoliť lepšiu zdravotnú starostlivosť? Takéto skresľujúce faktory musia byť zohľadnené v dobrej štúdii.
Klinický význam: Má to nejaký rozdiel?
Ale aj keď štúdia prinesie vysoko štatisticky významné výsledky a je vykonaná dobre, môže byť lepšie ignorovať ju. Je potrebné položiť si tretiu otázku - a tá sa často zabúda: je výsledok klinicky relevantný? Je efekt dostatočne veľký, nad ktorým vôbec stojí za to premýšľať?
Predpokladajme, že vyvinieme liek, ktorý skracuje dobu chrípkovej infekcie - v priemere štrnásť dní až trinásť dní a šestnásť hodín. Predpokladajme, že naša štúdia je taká dobrá, že tento efekt môžeme nepochybne dokázať, aj keď je taký malý. Boli by potom lekári nadšení odporúčaním tohto lieku? Pravdepodobne nie. Pacienti si skutočne nevšimnú účinok - aj keď tam skutočne môžu byť.
Často padneme do tejto pasce - nielen vtedy, keď existujú pozitívne účinky, ale ešte častejšie, keď panika informuje o nebezpečenstvách: Je akrylamid vo francúzskych zemiakoch nezdravý? Áno trochu. Ale je to relevantné? Nemali by ste sa báť, ak si nerobíte starosti so štrnástimi cigaretami, ktoré denne fajčíte? Zvyšujú soli hliníka v deodorante riziko rakoviny? Pravdepodobne nie - ale aj keby boli varovné hlasy správne, efekt by bol taký malý, že ďalších sto rozhodnutí, ktoré robíme každý deň, by malo väčší vplyv na naše zdravie. Spôsobujú pastelky rakovinu? Áno, možno, ak ich zjete veľa. Ale na akomkoľvek primerane realistickom scenári každodenného života to vôbec nevadí.
Samotná štatistika nestačí. To, že sa niekde v novinách hovorí „štatisticky významné“, ešte neznamená, že by na nás mal urobiť dojem. Tiež musíme vždy brať do úvahy, aký veľký je efekt, či je prekrytý inými efektmi, ako súvisí s inými efektmi. Až potom môžeme rozhodnúť, čoho sa báť a čo bezpečne ignorovať.
Florian Aigner je fyzik a vedec. Zaoberá sa nielen vzrušujúcimi prírodovednými témami, ale často aj ezoterikou a poverami, ktoré sa tak radi maskujú za vedu. Každý druhý utorok píše o vede, nezmysloch a rozdieloch medzi týmito dvoma oblasťami v zóne budúcnosti.