Twierdzenie Gaussa-Markowa

Twierdzenie Gaussa-Markowa – twierdzenie statystyki mówiące, że estymator najmniejszych kwadratów jest (o ile jest on stosowalny) najlepszym (tj. mającym najmniejszą wariancję) estymatorem spośród liniowych, nieobciążonych estymatorów liniowego modelu regresjiSzablon:Odn.

Twierdzenie

Niech dany będzie model regresji liniowej, zapisany w notacji macierzowej:

$\underset{\_}{y}=X\underset{\_}{\beta }+\underset{\_}{\epsilon },(\underset{\_}{y},\underset{\_}{\epsilon }\in {ℝ}^n,\underset{\_}{\beta }\in {ℝ}^K,X\in {ℝ}^{n\times K}),$

tj.

$y_i=\sum _{j=1}^K{\beta }_j{X}_{ij}+{\epsilon }_i(i=1,2,\dots ,n),$

gdzie ${\beta }_j$ są współczynnikami modelu, $X_{ij}$ są zmiennymi objaśniającymi natomiast ${\epsilon }_i$ są zmiennymi losowymi błędu (nazywanymi czasami szumem). W przypadku modelu regresji ze stałą, wprowadza się dodatkowy współczynnik ${\beta }_{K+1}$ oraz odpowiadającą mu kolumnę jedynek: $X_{i(K+1)}=1$ dla wszelkich $i.$

Założenia twierdzenia Gaussa-Markowa:

• wartość oczekiwana szumu wynosi 0:

$𝖤[{\epsilon }_i]=0$ dla wszelkich $i.$

• homoskedastyczność: wariancje szumu istnieją i są równe:

$𝖵𝖺𝗋({\epsilon }_i)={\sigma }^2<\mathrm{\infty },$

• szumy są parami nieskorelowane:

$𝖢𝗈𝗏({\epsilon }_i,{\epsilon }_j)=0,(i\ne j).$

Liniowy estymator ${\beta }_j$ jest po prostu kombinacją liniową $y_i:$

${\hat{\beta }}_j=c_{1j}{y}_1+\dots +c_{nj}{y}_n,$

w której współczynniki $c_{ij}$ nie zależą od ${\beta }_j,$ ale mogą zależeć od $X_{ij}.$ Z definicji, estymator ${\hat{\beta }}_j$ jest nieobciążony, gdy

$𝖤\left[{\hat{\beta }}_j\right]={\beta }_j.$

Niech

$\sum _{j=1}^K{\lambda }_j{\beta }_j$

będzie kombinacją liniową współczynników. Wówczas błąd średniokwadratowy odpowiadający takiemu oszacowaniu wynosi

$𝖤\left[{\left(\sum _{j=1}^K{\lambda }_j({\hat{\beta }}_j-{\beta }_j)\right)}^2\right],$

Z uwagi na to, że rozważane tu estymatory są nieobciążone, błąd średniokwadratowy jest równy wariancji rzeczonej kombinacji liniowej. Najlepszym nieobciążonym estymatorem (ang. BLUE) jest wektor $\beta$ o parametrach ${\beta }_j,$ którego błąd średniokwadratowy jest najmniejszy spośród wszystkich wektorów $\lambda$ będących kombinacjami liniowymi parametrów. Równoważnie, macierz

$𝖵𝖺𝗋\left(\tilde{\beta }\right)-𝖵𝖺𝗋\left(\hat{\beta }\right)$

jest nieujemnie określona dla każdego liniowego, nieobciążonego estymatora $\tilde{\beta }$ (zob. uwagi o dowodzie). Estymator najmniejszych kwadratów (ang. OLS) to funkcja

$\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }y$

zależna od $y$ oraz $X$ (gdzie $X^{\prime }$ oznacza transpozycję macierzy $X$). Funkcja ta minimalizuje sumę kwadratów błędów przypadkowych, tj.

$\sum _{i=1}^n{(y_i-{\hat{y}}_i)}^2=\sum _{i=1}^n{(y_i-\sum _{j=1}^K{\hat{\beta }}_j{X}_{ij})}^2.$

Twierdzenie Gaussa-Markowa orzeka, że

estymator średniokwadraowy (OLS) jest najlepszym nieobciążonym liniowym estymatorem (BLUE)Szablon:Odn.

Dowód

Niech $\tilde{\beta }=Cy$ będzie dowolnym liniowym etymatorem $\beta ,$ gdzie $C=(X^{\prime }X{)}^{-1}{X}^{\prime }+D$ a $D$ jest $K\times n$ niezerową macierzą. Zakładając nieobciążoność, najlepszy estymator nieobciążony to estymator o minimalnej wariancji. By zakończyć dowód należy wykazać, że wariancja $\tilde{\beta }=Cy$ nie jest mniejsza od wariancji $\hat{\beta },$ tj. estymatora najmniejszych kwadratów.

$\begin{array}{cc}𝖤\left[\tilde{\beta }\right]& =𝖤[Cy]\\ & =𝖤[((X^{\prime }X{)}^{-1}{X}^{\prime }+D)(X\beta +\epsilon )]\\ & =((X^{\prime }X{)}^{-1}{X}^{\prime }+D)X\beta +((X^{\prime }X{)}^{-1}{X}^{\prime }+D)𝖤[\epsilon ]\\ & =((X^{\prime }X{)}^{-1}{X}^{\prime }+D)X\beta & & 𝖤[\epsilon ]=0\\ & =(X^{\prime }X{)}^{-1}{X}^{\prime }X\beta +DX\beta \\ & =(I_K+DX)\beta .\end{array}$

Oznacza to, że estymator $\tilde{\beta }$ jest nieobciążony wtedy i tylko wtedy, gdy $DX=0.$ W tym wypadku:

$\begin{array}{cc}𝖵𝖺𝗋\left(\tilde{\beta }\right)& =𝖵𝖺𝗋(Cy)\\ & =C𝖵𝖺𝗋(y)C^{\prime }\\ & ={\sigma }^{2}C{C}^{\prime }\\ & ={\sigma }^2((X^{\prime }X{)}^{-1}{X}^{\prime }+D)(X(X^{\prime }X{)}^{-1}+D^{\prime })\\ & ={\sigma }^2((X^{\prime }X{)}^{-1}{X}^{\prime }X(X^{\prime }X{)}^{-1}+(X^{\prime }X{)}^{-1}{X}^{\prime }{D}^{\prime }+DX(X^{\prime }X{)}^{-1}+D{D}^{\prime })\\ & ={\sigma }^2(X^{\prime }X{)}^{-1}+{\sigma }^2(X^{\prime }X{)}^{-1}(DX{)}^{\prime }+{\sigma }^{2}DX(X^{\prime }X{)}^{-1}+{\sigma }^{2}D{D}^{\prime }\\ & ={\sigma }^2(X^{\prime }X{)}^{-1}+{\sigma }^{2}D{D}^{\prime }& & DX=0\\ & =𝖵𝖺𝗋\left(\hat{\beta }\right)+{\sigma }^{2}D{D}^{\prime }& & {\sigma }^2(X^{\prime }X{)}^{-1}=𝖵𝖺𝗋\left(\hat{\beta }\right)\end{array}$

Macierz DD' jest nieujemnie określona, $𝖵𝖺𝗋\left(\tilde{\beta }\right)$ dominuje zatem $𝖵𝖺𝗋\left(\hat{\beta }\right)$ poprzez macierz nieujemnie określonąSzablon:Odn (zob. uwagi o dowodzie).

Uwaga o dowodzie

Powyższy dowód opiera się na równoważności warunku

$𝖵𝖺𝗋\left(\tilde{\beta }\right)-𝖵𝖺𝗋\left(\hat{\beta }\right)⩾0$

z tym, że najlepszym (tj. mającym minimalną wariancję) estymatorem ${\ell }^t\beta$ jest ${\ell }^t\hat{\beta }.$ Zależność taka istotnie zachodzi. Niech ${\ell }^t\tilde{\beta }$ będzie dowolnym liniowym, nieobciążonym estymatorem ${\ell }^t\beta .$ Wówczas

$\begin{array}{cc}𝖵𝖺𝗋\left({\ell }^t\tilde{\beta }\right)& ={\ell }^t𝖵𝖺𝗋\left(\tilde{\beta }\right)\ell \\ & ={\sigma }^2{\ell }^t(X^{\prime }X{)}^{-1}\ell +{\ell }^{t}D{D}^t\ell \\ & =𝖵𝖺𝗋\left({\ell }^t\hat{\beta }\right)+(D^t\ell {)}^t(D^t\ell )& & {\sigma }^2{\ell }^t(X^{\prime }X{)}^{-1}\ell =𝖵𝖺𝗋\left({\ell }^t\hat{\beta }\right)\\ & =\mathrm{Var}\left({\ell }^t\hat{\beta }\right)+\Vert D^t\ell \Vert \\ & ⩾𝖵𝖺𝗋\left({\ell }^t\hat{\beta }\right)\end{array}$

W tym wypadku, równość zachodzi wtedy i tylko wtedy, gdy $D^t\ell =0.$ Zachodzi wówczas

$\begin{array}{cccc}{\ell }^t\tilde{\beta }& ={\ell }^t(((X^{\prime }X{)}^{-1}{X}^{\prime }+D)Y)& & \\ & ={\ell }^t(X^{\prime }X{)}^{-1}{X}^{\prime }Y+{\ell }^{t}DY\\ & ={\ell }^t\hat{\beta }+(D^t\ell {)}^{t}Y\\ & ={\ell }^t\hat{\beta }& & D^t\ell =0\end{array}$

Oznacza to, że równość zachodzi wtedy i tylko wtedy, gdy

${\ell }^t\tilde{\beta }={\ell }^t\hat{\beta },$

co implikuje jedyność estymatora najmniejszych kwadratów (OLS) jako estymatora BLUESzablon:Odn.

Bibliografia

• N.H. Bingham, J.M. Fry, Regression: Linear Models in Statistics, Springer Undergraduate Mathematics Series, 2010.
• A. Sen, M. Srivastava, Regression Analysis Theory, Methods, and Applications, Springer-Verlag, New York, 1990.