Bootstrap (statystyka)

Bootstrap (pol. metody samowsporne) – wprowadzone przez Bradleya Efrona metody szacowania rozkładu błędów estymacji, za pomocą wielokrotnego losowania ze zwracaniem z próby. Są przydatne szczególnie, gdy nie jest znana postać rozkładu zmiennej w populacji. Ponieważ bootstrap w podstawowej wersji nie czyni założeń co do rozkładu w populacji, może być zaliczony do metod nieparametrycznych. Metody bootstrap zalicza się do metod repróbkowania, do których należą również testy permutacyjne, sprawdzian krzyżowy i metoda jackknife.

Próba bootstrap

Próbą bootstrap (lub próbą typu bootstrap) nazywamy $n$-elementową próbę losową ${𝐗}^{*}$ z rozkładu pewnej ustalonej $n$-elementowej próby $𝐗=(x_1,x_2,\dots ,x_n)$ z populacji $\mathrm{\Omega }.$

Innymi słowy jest to próba powstała przez losowanie ze zwracaniem $n$ elementów z $𝐗.$

Zasada bootstrap

Niech $T$ będzie pewną statystyką, dającą się przedstawić jako funkcja dystrybuanty:

$\theta =T(F)$

i w przypadku zastosowania do rozkładu empirycznego jej wynikiem jest estymator $\hat{\theta }:$

$\hat{\theta }=T(\hat{F}).$

Warunki te spełnia szeroka klasa statystyk.

Zasada bootstrap mówi, że rozkład statystyki

$T(F({𝐗}^{*}))-T(F(𝐗)),$

przy ustalonej realizacji $X,$ jest bliski rozkładowi statystyki

$T(F(𝐗))-T(F(\mathrm{\Omega })),$

czyli rozkładowi błędów estymacji parametru $\theta$ w populacji.

Metoda bootstrap

Zgodnie z zasadą bootstrap w celu oszacowania rozkładu błędów estymacji, należy:

1. wielokrotnie ($k$ razy) wylosować niezależne próby losowe bootstrap ${𝐗}_1^{*},{𝐗}_2^{*},\dots ,{𝐗}_k^{*}$ na podstawie jednej realizacji $𝐗.$
2. obliczyć dla nich wartości:

   ${\hat{\theta }}_1^{*}=T(F({𝐗}_1^{*}))-\hat{\theta },$

   ${\hat{\theta }}_2^{*}=T(F({𝐗}_2^{*}))-\hat{\theta },$

   $\dots ,$

   ${\hat{\theta }}_k^{*}=T(F({𝐗}_k^{*}))-\hat{\theta }.$

Otrzymany rozkład $({\hat{\theta }}_1^{*},{\hat{\theta }}_2^{*},\dots ,{\hat{\theta }}_k^{*})$ jest przybliżeniem rozkładu błędów estymacji za pomocą statystyki $T$ zastosowanej do próby $n$-elementowej parametru $\theta$ w populacji.

Liczba $k$ powinna być możliwie duża (im większa tym dokładniejsze oszacowanie). W literaturze podawane są coraz większe liczby, w miarę jak rosną możliwości obliczeniowe komputerów.

Błąd standardowy typu bootstrap

Histogram uzyskanego rozkładu błędów można przedstawić na wykresie. Można też obliczyć dla niego rozmaite dalsze statystyki, takie jak błąd standardowy:

${\mathrm{SE}}_{{\hat{\theta }}^{*}}=\sqrt{\frac{1}{k-1}\sum _{i=1}^k({\hat{\theta }}_i^{*}-\overline{{\theta }^{*}}{)}^2},$

gdzie:

$\overline{{\theta }^{*}}=\frac{\sum _{i=1}^k{\hat{\theta }}_i^{*}}{k}.$

Przedziały ufności typu bootstrap

Najprostszą metodą stworzenia przedziału ufności estymatora za pomocą rozkładu ${\hat{\theta }}^{*}$ jest przybliżenie go rozkładem normalnym. Jest to metoda bardzo prosta, poszukiwany przedział ma postać:

$(\hat{\theta }-z_{1-\frac{\alpha }{2}}{\mathrm{SE}}_{{\hat{\theta }}^{*}},\hat{\theta }+z_{1-\frac{\alpha }{2}}{\mathrm{SE}}_{{\hat{\theta }}^{*}}).$

Metoda ta nie zawsze daje się jednak zastosować, gdyż często błąd nie ma rozkładu normalnego. Wymaga ona zatem sprawdzenia normalności rozkładu i arbitralnej decyzji, czy jest on wystarczająco normalny.

Alternatywną metodą jest percentylowy przedział ufności typu bootstrap, który może być stosowany przy dowolnej postaci rozkładu błędów:

$(\hat{\theta }-q_{1-\frac{\alpha }{2}}^{*},\hat{\theta }+q_{1-\frac{\alpha }{2}}^{*}),$

gdzie $q_{\alpha }^{*}$ to kwantyl rzędu $\alpha$ z rozkładu ${\hat{\theta }}^{*}-\hat{\theta }.$

Jeszcze inna metoda postuluje najpierw wykonanie studentyzacji rozkładu przed wyliczeniem przedziału percentylowego. To, która metoda daje najdokładniejsze wyniki, zależy od typu rozkładu w populacji (w szczególności obecności obserwacji odstających) oraz założonej metody oceny dokładności.

Testowanie hipotez metodą bootstrap

Metoda bootstrap jest też używana do weryfikacji hipotez statystycznych, o ile da się tę weryfikację sprowadzić do badania błędu estymacji za pomocą statystyki spełniającej warunki bootstrapu.

Na przykład gdy hipotezą zerową jest wartość oczekiwana w populacji $\mu =10,$ a w próbie uzyskaliśmy średnią $\overline{𝐗}=9,23,$ wówczas wartość $p$ jest prawdopodobieństwem, że średnia z próby będzie się różniła od średniej w populacji o co najmniej $10-9,23=0,77.$ Prawdopodobieństwo to można oszacować, losując próby bootstrap z $𝐗$ i sprawdzając w jakim odsetku losowań średnia wykracza poza przedział $(9,23-0,77,9,23+0,77).$

Odmiany metody

Istnieje wiele odmian bootstrapu. W jednej z nich próby bootstrap nie są losowane bezpośrednio z próby $𝐗,$ lecz z rozkładu podobnego do rozkładu $𝐗,$ z wygładzoną dystrybuantą.

Istnieją też bardziej skomplikowane procedury bootstrapu dla próbkowania bez zwracania, problemów obejmujących dwie próby, regresji, szeregów czasowych, próbkowania hierarchicznego i innych problemów statystycznych.

Odmiana bootstrapu zwana bagging jest stosowana przy konstruowaniu modeli klasyfikacyjnych i regresyjnych, ograniczając zjawisko przeuczenia (Breiman 1984).

Bibliografia

• Szablon:Cytuj książkę
• Szablon:Cytuj książkę
• Szablon:Cytuj książkę

Linki zewnętrzne

• Bootstrap Sampling Tutorial Szablon:Lang: wprowadzenie do bootstrapu z użyciem Microsoft Excel
• Bootstrap tutorial from ICASSP 99 Szablon:Lang: podręcznik napisany z punktu widzenia przetwarzania sygnałów