Lemat Neymana-Pearsona

Lemat Neymana-Pearsona – twierdzenie z obszaru statystyki opublikowane przez Jerzego Neymana i Egona Pearsona w 1933. Stanowi – w amalgamacie z wcześniejszą propozycją Ronalda Fishera – jedną z podstaw procedury weryfikacji hipotez w podejściu częstościowym.

Kontekst i motywacja

Szablon:Główny artykuł Procedura testowa zaproponowana przez Fishera w 1925 miała następującą postać:

1. Wybierz hipotezę zerową $H_0.$ Nie musi ona zakładać zerowego efektu, tylko taki jaki chcesz sfalsyfikować.
2. Wykonaj obserwację i przedstaw jej surową wartość $p.$ Oceń na tej podstawie wartość dowodową danych według własnych kryteriów.
3. Korzystaj z tej procedury tylko jeśli badasz słabo znany obszar i nie masz lepszych narzędzi.

Neyman i Pearson uznali tę propozycję za niesatysfakcjonującą z szeregu powodów, i pracowali nad przedstawionym poniżej alternatywnym podejściem:

1. Wybierz dwie hipotezy, które chcesz porównać: $H_1$ i $H_2,$ oraz dostosowane do konkretnego problemu dopuszczalne ryzyko błędów pierwszego rodzaju $\alpha$ i drugiego rodzaju $\beta .$ Wykonaj na ich podstawie analizę kosztów w celu wybrania optymalnego testu i wielkości próby dla rozstrzygania pomiędzy hipotezami na wybranym poziomie błędów.
2. Jeśli zaobserwowane dane spełniają kryterium odrzucenia $H_1,$ postępuj tak jakby $H_2$ była prawdziwa; w przeciwnym razie postępuj tak, jakby prawdziwa była $H_1.$
3. Procedura ta nie rozstrzyga o prawdziwości hipotez, ale pozwala w długim horyzoncie czasowym utrzymywać ryzyko błędów w założonych granicach. Jest odpowiednia tylko do zastosowań, w których można jasno określić $\alpha$ i $\beta ,$ a $H_1$ i $H_2$ dają rozbieżne przewidywania.

Lemat Neymana-Pearsona jest matematyczną formalizacją i dookreśleniem pierwszego punktu, opisując metodę konstrukcji optymalnego warunku krytycznego dla przyjętych $\alpha$ i $\beta .$

Autorzy obu procedur dopracowywali je z biegiem lat i pozostawali w sporze o ich filozoficzne i praktyczne aspekty do końca życia. Po 1940 r. oba podejścia zaczęły być, wbrew wypowiedziom ich twórców, łączone w podręcznikach w coraz bardziej hybrydową i uproszczoną postać, i przedstawiane przy pomocy języka sugerującego, że pojedyncze wyniki mogą być używane do wyciągania wniosków o subiektywnym prawdopodobieństwie hipotez. Ma ona następującą formę – w krytycznym omówieniu Gigerenzera:

1. Przyjmij hipotezę zerową $H_0,$ która zakłada zerowy efekt (brak różnic lub korelacji). Nie potrzebujesz określać żadnych szczegółów własnej hipotezy badawczej.
2. Przyjmij ryzyko błędów pierwszego rodzaju $\alpha$ na poziomie istotności 5% i wykonaj test $H_0.$ Jeśli wartość p przekroczy $\alpha ,$ uznaj swoją hipotezę badawczą za potwierdzoną. Zależnie od wartości $p,$ możesz przedstawić wyniki jako „istotne” na poziomie $p<0,05,$ $p<0,01$ lub $p<0,001.$
3. Stosuj tę procedurę do wszystkich zastosowań.

Ta ostatnia metoda stała się w drugiej połowie XX wieku stosowaną powszechnie, i jest w ocenie m.in. Gigerenzera czy Cohena, „bezmyślnym rytuałem”, używanym zbyt często do celów, do których nie została nigdy przeznaczona ani uprawomocniona.

Intuicja

Rozkłady prawdopodobieństwa dla statystyki testowej w hipotezie zerowej i alternatywnej, w teście t dla dwóch grup niezależnych, przy N=100, d=0,5 i dwustronnym α=0,05, co oznacza poziom β≈0,3 (moc statystyczną ok. 70%).

Neyman i Pearson jasno odcięli się od kwestii bezpośredniej oceny hipotez, stwierdzając że „żaden test oparty na teorii prawdopodobieństwa nie może sam w sobie stanowić wartościowego dowodu prawdziwości lub fałszywości hipotez”. Uznali, że są natomiast w stanie formalnie opisać reguły decyzyjne, które pozwalają przynajmniej na długoterminowe unikanie błędów.

Ich propozycja opiera się na założeniu, że $H_1$ i $H_2$ prognozują różne rozkłady badanego parametru w populacji, oraz że próby mogą być z niej pobierane wielokrotnie. Reguły prawdopodobieństwa uzasadniają wówczas oczekiwanie, że w długim okresie próby odzwierciedlą leżący u ich podłoża prawdziwy rozkład. Definiują następnie test statystyczny jako regułę rozstrzygającą pomiędzy hipotezami na podstawie tego, czy próba leży w krytycznym regionie rozkładu który jest zdecydowanie bardziej prawdopodobny dla jednej z nich. To, co badacz uzna za krytyczny region, zależy w ujęciu Neymana i Pearsona od konieczności balansowania ryzyka błędów $\alpha$ i $\beta$.

Ujęcie to wyznacza cztery podstawowe możliwości – dwa trafne rozpoznania i dwa błędy – odpowiadające przyjęciu:

• prawdziwej hipotezy $H_1,$
• fałszywej hipotezy $H_1$ (błąd pierwszego rodzaju, którego ryzyko to $\alpha$),
• prawdziwej hipotezy $H_2,$
• fałszywej hipotezy $H_2$ (błąd drugiego rodzaju, którego ryzyko to $\beta$).

W tym zakresie w jakim rozkłady pokrywają się, istnieje niebezpieczeństwo że próba pochodząca z jednego z nich może zostać omyłkowo przypisana drugiemu. Lemat dowodzi, że sensowny („najlepszy”) region krytyczny leży na tym zakresie, „na skraju” rozkładów. Ceteris paribus, $\alpha$ i $\beta$ wykluczają się – zmiana regionu krytycznego która zwiększa jedno z nich, musi zmniejszać drugie. Najlepszy obszar krytyczny można więc określić jako $\alpha$ szerokości o minimalnym prawdopodobieństwie z jednego rozkładu, który wyznacza jednocześnie analogiczne $\beta$ szerokości drugiego – niezależnie od tego jakie konkretnie $\alpha$ zostało wybrane.

Powyższa konstrukcja regionu krytycznego stanowi podstawę testu statystycznego o najwyższej mocy. Można go zrealizować ilorazem funkcji wiarygodności danych przy założeniu obu rozkładów, rozstrzygającym na korzyść jednego z nich zależnie od tego, czy plasuje próbę w obszarze krytycznym. Jeśli przyjęto trafny model statystyczny do określania wiarygodności, a próby są losowe, to decyzje oparte na rezultatach takiego testu asymptotycznie (w liczbie prób zmierzającej do nieskończoności) prowadzą do błędów jedynie z przyjętymi nominalnymi poziomami ryzyka.

W uproszczeniu, lemat sprowadza się do tego, że region krytyczny testu powinien leżeć „na skraju” rozkładów. Jego historyczne znaczenie polega też na ogólnym przedstawieniu podejścia Neymana i Pearsona do testów, oraz opracowaniu zagadnienia mocy testu we wnioskowaniu statystycznym.

Lemat

Poniższa ekspozycja lematu Neymana-Pearsona oparta jest na jego prezentacji w podręczniku Mooda, Graybilla i Boesa.

Niech $X$ będzie próbą losową z funkcji $f(x;\theta )$ na mierze prawdopodobieństwa $\mu ,$ gdzie hipotetyczny parametr $\theta$ przyjmuje jedną z dwóch znanych wartości ${\theta }_0$ lub ${\theta }_1,$ a $\alpha$ stałą z przedziału $0<\alpha <1.$ Niech $k^{*}$ będzie dodatnią stałą, a region krytyczny $C^{*}$ podzbiorem całej przestrzeni probabilistycznej $\chi ,$ które spełniają warunki:

1. $P_{{\theta }_0}[X\in C^{*}]=\alpha ,$
2. $\lambda =\frac{L({\theta }_0;X)}{L({\theta }_1;X)}=\frac{L_0}{L_1}⩽k^{*}$ jeśli $X\in C^{*}$ oraz $\lambda ⩾k^{*}$ jeśli $X\in \stackrel{*}{\stackrel{‾}{C}}.$

Wówczas test ${\mathrm{T}}^{*}$ odpowiadający regionowi krytycznemu $C^{*}$ jest testem hipotez $H_0:\theta ={\theta }_0$ i $H_1:\theta ={\theta }_1$ o największej mocy $(1-\beta )$ przy danym $\alpha .$

Dla przypomnienia, wiarygodność to w tym przypadku całkowite prawdopodobieństwo danych obserwacji przy prawdziwości konkretnego parametru: $L_j=L({\theta }_j;X)=\prod _{i=1}^{n}f(x_i;{\theta }_j)$ dla $j\in (0,1),$ a $\stackrel{*}{\stackrel{‾}{C}}$ to dopełnienie zbioru: $\stackrel{*}{\stackrel{‾}{C}}=\chi -C^{*}.$

Dowód

Przyjmijmy, że $k^{*}$ i $C^{*}$ spełniające warunki 1 i 2 istnieją. Jeśli nie ma żadnego innego testu o istotności $\alpha$ lub niższej, ${\mathrm{T}}^{*}$ jest automatycznie testem o najwyższej mocy. Załóżmy, że istnieje alternatywny test $\mathrm{T}$ o takiej istotności istnieje, z regionem krytycznym $C:$ $P_{{\theta }_0}[X\in C]⩽\alpha .$ Dowód wymaga wykazania, że nie ma wyższej mocy, ${\pi }_{{\mathrm{T}}^{*}}⩾{\pi }_{\mathrm{T}}.$

Kroki dowodu wykorzystują wiele wzajemnych relacji zbiorów $C^{*}$ i $C,$ w związku z czym w podążaniu za nim może być pomocne odwoływanie się do ich prostego diagramu Venna.

Przyjmijmy, że dla każdego podzbioru $R\in \chi$ oraz $j\in (0,1)$ będziemy zapisywać następujące całki wielokrotne dla skrótu w następujący sposób:

$\underset{R}{\int }\dots \int [\prod _{i=1}^{n}f(x_i;{\theta }_j)]=\underset{R}{\int }{L}_j.$

Udowodnienie że ${\pi }_{{\mathrm{T}}^{*}}⩾{\pi }_{\mathrm{T}}$ jest równoważne wykazaniu, że $\underset{C^{*}}{\int }{L}_1⩾\underset{C}{\int }{L}_1.$ Następnie:

$\underset{C^{*}}{\int }{L}_1-\underset{C}{\int }{L}_1=\underset{C^{*}\bar{C}}{\int }{L}_1-\underset{C\stackrel{*}{\stackrel{‾}{C}}}{\int }{L}_1⩾\frac{1}{k^{*}}\underset{C^{*}\bar{C}}{\int }{L}_0-\frac{1}{k^{*}}\underset{C\stackrel{*}{\stackrel{‾}{C}}}{\int }{L}_0,$

ponieważ dla regionu krytycznego $C^{*},$ i stąd także dla $C^{*}\bar{C}:$

$L_1⩾\frac{L_0}{k^{*}},$

a dla dopełnienia regionu, $\stackrel{*}{\stackrel{‾}{C}},$ czyli także dla $C\stackrel{*}{\stackrel{‾}{C}}:$

$L_1⩽\frac{L_0}{k^{*}}$ oraz $-L_1⩾-\frac{L_0}{k^{*}}.$

Jednakże:

$\begin{array}{cc}& \frac{1}{k^{*}}(\underset{C^{*}\bar{C}}{\int }{L}_0-\underset{C\stackrel{*}{\stackrel{‾}{C}}}{\int }{L}_0)\\ =& \frac{1}{k^{*}}(\underset{C^{*}\bar{C}}{\int }{L}_0+\underset{C^{*}C}{\int }{L}_0-\underset{C^{*}C}{\int }{L}_0-\underset{C\stackrel{*}{\stackrel{‾}{C}}}{\int }{L}_0)\\ =& \frac{1}{k^{*}}(\underset{C^{*}}{\int }{L}_0-\underset{C}{\int }{L}_0)\\ =& \frac{1}{k^{*}}(\alpha -{\alpha }_{{\mathrm{T}}^{*}})⩾0\end{array}$

co pozwala na konkludowanie dowodu:

$\underset{C^{*}}{\int }{L}_1-\underset{C}{\int }{L}_1⩾0.$