Błędy przy czytaniu badań

Mój ulubiony temat, który będzie się przewijał – skąd biorą się te wszystkie obłąkańcze teorie krążące po internecie, czyli co się dzieje, gdy człowiek bez żadnego przygotowania teoretycznego przeczyta badanie i spróbuje wyciągnąć wnioski.

Na początek badanie dotyczące roli genów w tzw „talencie”

http://link.springer.com/article/10.3758/s13423-014-0671-9

Po dokładnym sprawdzeniu 800 par bliźniąt, okazuje się, że 25% z ich biegłości w grze na pianinie ma swoje źródło w genach. Wykazano więc, że talent istnieje, ale odpowiada tylko za jedną czwartą sukcesu, zaś trzy czwarte to… no właśnie, co?

sad-boy-plays-piano-13879939285B6
Z takim podejściem żadna ilość talentu nie pomoże…

Powstała kiedyś taka książka, „Talent jest przeceniany”. Autor powołuje się w niej na szereg podobnych badań – na przykład w jednym z nich każdy skrzypek który osiągnął mistrzostwo ćwiczył około 10 000 godzin. Ani jeden wybitny muzyk nie zdobył mistrzostwa bez ciężkiej pracy. Wokół tego krąży całe mnóstwo teorii, według których talent to bardzo niewielka część tego, co można określić mianem „sukcesu”.

Prawda jest nieco inna. Po pierwsze, 25% było wartością średnią. Nie uwzględniono w niej tych rzadkich przypadków, gdy uszkodzenie sprawia, że niektórych rzeczy po prostu nie da się nauczyć – chyba nikt o zdrowych zmysłach nie uwierzy, że dziecko z zespołem Downa będzie się uczyć dokładnie tak samo szybko, jak jego brat bez tego zespołu. Są też odchyły w drugą stronę – na tyle rzadkie, że tego nie wyłapano (podobnie jak nie wyłapano żadnego upośledzonego).

Druga rzecz jest dużo istotniejsza. Wiek, w jakim zaczynamy praktykę. Bardzo pouczające są tu historie „dzikich dzieci” – takich wychowanych przez zwierzęta. W skrócie – jeśli do 7 roku życia dziecko nie nauczy się żyć jak człowiek, to nawet przez następne 30 lat już się tego nie zmieni. One nie tylko nie potrafiły mówić, ale też nie były w stanie nauczyć się chwytać ręką przedmiotu czy chodzić w pozycji wyprostowanej. W jednym z badań 40% dzieciaków, które zaczęły naukę gry poniżej 4 roku życia wykształciło tak zwany „słuch absolutny”, zaś wśród tych które zaczęły po 9 roku udało się to zaledwie 3%.

Innymi słowy, nawet jeśli odrzucimy istnienie „naturalnie wybitnego talentu” oraz „naturalnie niezdolnego do opanowania danej umiejętności”, w dalszym ciągu znakomita większość tak zwanego „sukcesu” będzie efektem tego, co przeżyliśmy we wczesnym dzieciństwie, czyli będzie całkowicie niezależna od nas i do tego, co teraz będziemy robić. 25% zależy od genów, 50% od naszego dzieciństwa, a tylko 25% włożonej teraz pracy.

Podobnie przy badaniu, w którym okazało się, że trzeba ćwiczyć dziesięć tysięcy godzin – prawidłowy wniosek jest taki, że bez względu na ilość wrodzonego (czy wytrenowanego we wczesnym dzieciństwie) talentu, trzeba właśnie tyle trenować, by osiągnąć mistrzostwo. Nie oznacza to jednak, że każdy kto poświęci tyle czasu zostanie mistrzem! W badaniu tym nie zbadano osób, które trenowały równie intensywnie jak najlepsi, a nie osiągnęli żadnego sukcesu – inna sprawa, że nikt o zdrowych zmysłach nie poświęci 10 000 godzin swojego życia, jeśli widzi, że nic z tego nie będzie.

To prawda, że praktyka i praca są najważniejszymi z czynników decydujących o tym, czy osiągniemy sukces – jak byśmy go nie definiowali. Ale to, co robią autorzy tych wszystkich książek „self help”, wmawianie ludziom, że można wybrać dowolną aktywność i być w niej mistrzem jest po prostu tworzeniem iluzji, która może kogoś kosztować życie – w sensie metaforycznym, gdy w pewnym momencie zorientujemy się, że przegraliśmy nasze szanse robiąc coś, co nigdy nie mogło się udać. Trzeba wybrać coś, co jednocześnie sprawia przyjemność i w czym jesteśmy nieźli.

Chyba nic bardziej nie pokazuje różnicy między talentem i pracą jak różnica w wynikach na siłowni między kobietami a mężczyznami. Bez wstrzykiwania sobie męskich hormonów, górna granica w wyciskaniu na ławce do jakiej jest w stanie dojść kobieta to jakieś 100 kg. Biorąc poprawkę na to, że nawet taki wynik jest możliwy do osiągnięcia wyłącznie dla tych, które mają specyficzne mutacje zmieniające budowę mięśni, zwiększające naturalny poziom testosteronu oraz mają odpowiednią budowę kości oraz rozmieszczenie przyczepów, przeciętna niewiasta po 10 latach ciężkiej pracy może liczyć na oszałamiający rezultat 70 kg. Czyli tyle, ile może osiągnąć mężczyzna po miesiącu.

Bardzo wiele nadinterpretacji jest przy ocenie badań dotyczących diet typu low-carb czy ketogennych. Jedno z nich, na które często powołują się apologeci:

http://www.ncbi.nlm.nih.gov/pubmed/24584583

Wszystko ładnie i pięknie, osoby na diecie ketogennej schudły średnio o 20 kg, osoby na zwykłej niskokalorycznej – o 7 kg. Ale wszystko rozbija się o jedno słówko – przed nazwą diety keto jest „very”, czyli „bardzo”. Porównano tutaj dietę keto która jest bardzo niskokaloryczna (800 kcal) z niskokaloryczną zwykłą (1500 kcal). Na tej zasadzie można „udowodnić”, że cukierki są zdrowsze od sałatek, bo jedząc 800 kcal cukierków schudnie się, a przy 4000 kcał sałatek utyje. Gdy porównano te dwie diety, ale przy jednakowej ilości kalorii okazało się, że wyniki były identyczne.

Kolejne badanie:

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2716748/

Tutaj dieta z bardzo niską ilością węglowodanów obniżyła poziom cholesterolu, zwiększyła poziom HDL i ogólnie była korzystna. Gdzie tkwi haczyk?

Haczyków jest tyle, że przypomina to „low quality bait” ze znanych memów. Po pierwsze, badanie dotyczyło osób mocno otyłych. Jak nie raz pisałem – nie wolno przekładać wyników uzyskanych u osób chorych na zdrową populację. Antybiotyki ratują życie u osoby z gruźlicą, ale mogą zabić zdrowego. Chemioterapia przedłuży życie u kogoś z rakiem, dramatycznie skróci u kogoś kto nowotworu nie ma. Po drugie, dieta składała się z gigantycznej ilości tłuszczy wielonienasyconych i jednonienasyconych, które same w sobie powodują zmiany poziomu cholesterolu. Po trzecie, w diecie było mniej kalorii niż w „klasycznym” odżywianiu, co samo w sobie musiało wpłynąć na parametry. Po czwarte zaś, każdy pacjent otrzymał gigantyczną dawkę witamin, które nawet bez żadnej diety zmieniłyby poziom cholesterolu. Prawdę mówiąc, gdyby do tego zestawu dorzucono im paczkę papierosów dziennie, też sumarycznie poprawiłby się stan zdrowia – co w żadnym wypadku nie jest „dowodem” na to, że papierosy są OK.

 

Comments

comments

2 thoughts on “Błędy przy czytaniu badań

  1. Należałoby jeszcze dodać informacje o zakładanym P dla tych badań, czy każdy badający podaje tę informację w publikacji, powinien, ale czy czytający wie, co to oznacza? Jeśli jest naukowcem, wie, jeśli laikiem – nie ma pojęcia jak do tego podejść.

Leave a Comment