Едноставно, игнорирај!
Чоколадото помага при слабеење? Црвеното вино лечи рак? Бесмислени студии се објавуваат секој ден. Ние секогаш треба да си поставиме три важни прашања.
Чоколадото те прави тенок! Кој би помислил на тоа? Но, бројките се јасни: на испитаниците им беше дадена диета со малку јаглени хидрати три недели - на една група им беше дадена и задача да јадат чоколадна плочка на ден. Ете, ете: групата чоколада изгуби повеќе тежина отколку групата без чоколадо. Славен триумф за чоколадото и одлична приказна што ја направи на насловните страници ширум светот.
Кога ваквите резултати од студијата се презентирани во науката, првото прашање е: дали резултатот е статистички значаен? Секогаш има разлики помеѓу две групи - едната ќе има, во просек, малку повисок крвен притисок, едната ќе носи поголеми чевли во просек, едната ќе изгуби поголема тежина од другата. Неизбежно е. Прашањето е дали овие разлики можат да се објаснат со голема шанса или дали се резултат на вистинска, каузална врска.
Ова може да се пресмета статистички - се зборува за „статистичко значење“ кога веројатноста е мала дека таквата разлика помеѓу двете групи се појавува чисто случајно, без основна причинска причина.
Во случај на студија за чоколадо, работата беше јасна: математички, резултатите беа статистички значајни. Па, дали тоа докажува математички дека чоколадото помага во слабеењето? Не, не за долго време!
Значење: пресметана глупост
Приказната за чоколадото за слабеење беше чиста глупост. Тоа беше медиумски експеримент од новинари кои сакаа да привлечат внимание на проблемот со слабото покривање на слабите студии. Беше намерно спроведена мизерна студија, со премногу мал број учесници и смешно краток период на набудување за да се утврди дали медиумите ќе го репродуцираат несомнено.
Измерени се цела низа параметри - не само тежина, туку и разни вредности на крв, општа благосостојба и уште неколку други. Со која било единствена вредност, веројатноста да се најде голема разлика помеѓу двете групи со чиста случајност е прилично мала, но ако испитате доволен број вредности, на крајот ќе најдете разлика што изгледа статистички значајна. Потоа можете ентузијастички да известувате за тоа, вие молчите за сè друго.
Добри студии: искрен или измамен?
Ако резултатот е статистички значаен, студијата ја отстрани само првата пречка. Треба да се постави и прашањето: дали студијата е добро направена? Дали навистина го мери она што би требало да се измери - или е само резултат што им се допаднало на авторите?
Ваквите валкани трикови се доста чести. Да претпоставиме дека сакам да докажам дека црвеното вино го намалува ризикот од рак. Имам две групи - група за пиење црвено вино и друга што не пие црвено вино. Нервозно, не наоѓам статистички значајна разлика во фреквенцијата на ракот. Сепак, можам да ги разградам податоците во различни видови на рак - од леукемија до рак на желудник до рак на бели дробови. Потоа одеднаш имам многу повеќе можности случајно да најдам разлики помеѓу двете групи. Ако доволно долго пребарувам, гарантирано ќе најдам карцином што е многу поретко во групата црвено вино. (И веројатно друг кој се појавува почесто во оваа група - но не мора тоа да го вклучувам во моето соопштение за јавноста.)
Покрај тоа, статистичката врска не значи дека едната е причина за другата. Можеби побогатите луѓе пијат повеќе црвено вино и истовремено можат да си дозволат подобра здравствена заштита? Ваквите збунувачки фактори мора да бидат земени предвид при добра студија.
Клиничка важност: Дали има некаква разлика?
Но, дури и ако студијата произведе високо статистички значајни резултати и е добро направена, сепак може да биде подобро да се игнорира. Постои трето прашање што треба да се постави - и тоа често се заборава: дали резултатот е клинички релевантен? Дали ефектот е доволно голем за кој вреди да се размислува воопшто?
Да претпоставиме дека развиваме лек што го скратува времето што го трае инфекцијата со грип - од просечно четиринаесет дена на тринаесет дена и шеснаесет часа. Да претпоставиме дека нашата студија е толку добра што можеме да го докажеме овој ефект несомнено, иако е толку мал. Дали тогаш лекарите би биле воодушевени од препорачувањето на овој лек? Најверојатно не. Пациентите навистина нема да го забележат ефектот - дури и ако тој навистина може да биде таму.
Ние честопати паѓаме во оваа стапица - не само кога има позитивни ефекти, туку дури и почесто кога паника известува за опасности: Дали акриламидот во помфритот е нездрав? Да, малку. Но, дали е тоа релевантно? Треба ли да се плашите да не се грижите за четиринаесет цигари што ги пушите секој ден? Дали алуминиумските соли во дезодорансот го зголемуваат ризикот од рак? Веројатно не - но дури и ако гласовите за предупредување беа во право, ефектот ќе беше толку мал што сто други одлуки што ги носиме секој ден ќе имаат поголемо влијание врз нашето здравје. Дали боичките предизвикуваат рак? Да, можеби ако јадете многу од нив. Но, во кое било разумно реално сценарио од секојдневниот живот, тоа воопшто не е важно.
Само статистиката не е доволна. Само затоа што пишува „статистички значајно“ некаде во весникот не значи дека треба да сме импресионирани. Исто така, секогаш треба да размислуваме колку е голем ефектот, без разлика дали е преклопен со други ефекти, како е поврзан со други ефекти. Само тогаш можеме да одлучиме од што да се плашиме и што безбедно да игнорираме.
Флоријан Ајнер е физичар и научник. Тој не само што се занимава со возбудливи теми во природните науки, туку честопати и со езотеризмот и суеверието, кои сакаат да се маскираат во наука. Секој втор вторник тој пишува за науката, глупостите и разликата помеѓу овие две области во идната зона.