Ostatnio komentowane
Jak media lekceważą 20 lat pracy naukowej
Wpisany przez Dapi czwartek, 10 grudnia 2009 18:58
Wpis na blogu Trystero, zainspirował mnie do popełnienia tekstu, na temat sposobu przedstawiania informacji na temat wskaźników rynkowych przez media. W przypadku tych wskaźników nieczęsto spotyka się informację na temat jego wartości wraz z podaniem błędu jakiemu ta wartość uzyskana podlega. Trystero przedstawił swoją opinie/analizę na temat komentarzy oraz wymowy wskaźnika bezrobocia podanego ostatnio przez BLS. Ja chciałbym zająć się zupełnie innym tematem - niepewnością statystyczną wyników.
Pojęcie to ma bardzo długa historię w która było "zamieszane" wiele osobistości, nie tylko zakresu matematyki. Przewija się w tym wszystkim i Newton i Format a przede wszystkim Bernoulli. Jacob Bernoullli - o tyle jest to ważne, że w pewnym okresie cały ten ród "rodził" nam genialne osoby.
A natchnienie przyniosła kometa. To punkt zwrotny w niepewności statystycznej. Widząc ją Bernoulli postanowił przestać być teologiem i nie uznał jej widoku za gniew boży. Uważał, żeby w racjonalny sposób podejmować różne decyzje trzeba mieć metodę na określanie prawdopodobieństwa zdarzeń. Stwierdził też, że im więcej razy obserwujemy określona grę tym pewniej jesteśmy w stanie określić prawdopodobieństwo wystąpienia określonego układu. Poświęcił na to dwadzieścia lat swojej pracy naukowej - która dzisiaj media lekceważą nawet jej nie podając. Lekceważą nie tylko Bernoulliego ale także później Gaussa. Owoc jego pracy to prawo wielkich liczb - tak dzisiaj nazywane. Aby nie wnikać za bardzo w matematykę: autor dał nam wzór który powie nam jaką próbę musimy mieć z całości aby z określoną niepewnością pomiaru przyjąć, że wynik który uzyskaliśmy jest istotny, inaczej odzwierciedla cała populację wyników, której przebadać nie jesteśmy w stanie.
Zaczęło się od doświadczenia z urną pełną kul białych i czarnych w ściśle określonych ilościach. Bernoulli losował kule, notując kolor a następnie wrzucając kule do urny. Doświadczenie miało pomóc w uzyskaniu odpowiedzi ile takich losowań należy wykonać aby z określonym przybliżeniem uzyskać wynik, iż w urnie jest 60% kul czarnych - o czym autor wiedział. Skończyło się niestety na liczbie ok. 25000 - Bernoulli umarł.
Zakładając, że 58 do 62% mieszkańców popiera burmistrza Bazylei, aby mieć 99.9% pewności, że uzyskamy taki wynik badania należało zapytać o to 25550 mieszkańców. Niestety tyle właśnie wynosiła całkowita liczba mieszkańców tego miasta, w tym okresie. To była moralna pewność.
Dzisiaj mamy do czynienia z istotnością statystyczną. Wiemy, że taki wynik, obarczony 5% błędem możemy uzyskać badając tylko 370 osób. Wiemy także że badając 1000 osób można mieć 90% pewności, że wskażemy rzeczywisty wynik z błędem 2%.
Bernoulli w swoich badaniach stosował wiele przybliżeń ponieważ pracował na odległych liczbach trójkata Pascala. Dzisiaj w wyniku wielu dalszych opracowań wiemy o wiele więcej. Mamy krzywą rozkładu normalnego, za pomocą której określamy błąd jaki może wystąpić w różnego typu badaniach.
Potocznie nazywane jest to marginesem błędu. Jeżeli ogłaszane wyniki mają sygnalizowany błąd 5% to oznacza to, że gdyby instytucja badająca powtarzała swoje badania to w 19 przypadkach na 20 wynik różniłby się od rzeczywistego, o mniej niż właśnie 5%. Czyli raz na 20 przypadków wynik jest z kosmosu. Pamiętać należy także o tym, że za każdym razem wynik będzie inny oraz o tym, że wyniki/zmiany w kolejnych badaniach, w granicach błędu należy ignorować.
W 2004 roku po konwencji Republikanów CNN ogłosiło, że poparcie dla Busha wzrosło o dwa punkty procentowe. Niestety błąd w cytowanym badaniu wynosił 3.5%. Media maja szybko informować, nie oznacza to, że mówią prawdę. A powodem jest tylko brak poszanowania dla pracy Bernoulliego.
Niestety w zyciu nie jest tak łatwo. Decyzje musimy często podejmować na podstawie zbyt małych próbek danych. Ale to już jest inna opowieść związana z Kahnemanem i prawem małych liczb, które żadnym prawem nie jest a tylko przypadłością ludzką.
Reasumując zmiana wskaźnika bezrobocia z 10.2 na 10% nie ma istotności statystycznej. Trzeba doczytać tylko jaki jest błąd przedstawionego wyniku. Pozwoli nam to w odpowiedni sposób podejść do przedstawianych danych. Nie oznacza to jednakże moim zdaniem, że należy w ogóle ich nie analizować. Trzeba mieć tylko to na względzie, aby nie wysnuwać zbyt daleko idących wniosków.
Jak powinny wyglądać newsy przedstawiające dane przedstawił w tak znakomity sposób Trystero, że pozwolę sobie zacytować komentarz w całości:
Dzien dobry Panstwu,
Urzad Statystyczny podal najnowsze dane o PKB w III kw. Zgodnie z nimi PKB wzrosl o 1,5% przy marginesie bledu 3%. Oznacza to, ze na dobra sprawe PKB mogl spasc 1,5% lub wzrosnac o 4,5% lub przyjac jakakolwiek wartosc pomiedzy tymi widelkami. Tak wiec, tak naprawde nie mamy zielonego pojecia co sie dzieje z nasza gospodarka ale prosze sie nie martwic poniewaz to, ze wszystkie modele ryzyka finansowego bankow, budzety panstwa i firm oraz tym podobne rzeczy sa skonstruowane w oparciu o te ulomne dane nie musi oznaczac, ze jesli okaze sie, dane nie odzwierciedlaja realnej gospodarki to system zalamie sie jak domek z kart.
| « poprzednia | następna » |
|---|
Komentarze
Nawet miałem poprawić ale jakoś mi zeszło
Najważniejsze że wiadomo o co chodzi...
Błędy w tego typu pomiarach to punkty procentowe, a przykład Trystero jest bardzo trafny w nawiązaniu do kontekstu całego wpisu.
Jedynie co do bezrobocia (i innych wskaźników gospodarczych) trzeba pocieszyć że nie są obarczone błędem interpolacji, bo przecież nie są one obliczane na podstawie próby, lecz raczej syntezowane z masy informacji szczegółowych które zbierane są przez odpowiednie instytucje.
Kanał RSS z komentarzami do tego postu.