Regresja liniowa

Przykład danych z modelem liniowym dopasowanym metodą najmniejszych kwadratów

Regresja liniowa – w modelowaniu statystycznym, metody oparte na liniowych kombinacjach zmiennych i parametrów dopasowujących model do danych. Dopasowana linia lub krzywa regresji reprezentuje oszacowaną wartość oczekiwaną zmiennej $y$ przy konkretnych wartościach innej zmiennej lub zmiennych $x.$ W najprostszym przypadku dopasowana jest stała lub funkcja liniowa, na przykład:

$y={\beta }_0+{\beta }_{1}x.$

Zmienna $y$ jest tradycyjnie nazywana zmienną objaśnianą lub zależną. Zmienne $x$ nazywa się zmiennymi objaśniającymi lub niezależnymi. Zarówno zmienne objaśniane i objaśniające mogą być wielkościami skalarnymi lub wektorami.

Regresja w ogólności to problem estymacji warunkowej wartości oczekiwanej. Regresja liniowa jest nazywana liniową, gdyż zakładanym modelem zależności między zmiennymi zależnymi a niezależnymi jest przekształcenie liniowe (afiniczne) względem parametrów, reprezentowane w przypadku wielowymiarowym przez macierz.

Model regresji liniowej

Niech dany będzie zbiór danych zaobserwowanych $\{y_i,x_{i1},\dots ,x_{ip}{\}}_{i=1}^n.$ Model regresji liniowej zakłada, że istnieje liniowa (afiniczna) relacja pomiędzy zmienną zależną $y_i$ a wektorem $p\times 1$ regresorów ${𝐱}_i.$ Zależność ta jest modelowana przez uwzględnienie składnika losowego (błędu) ${\epsilon }_i,$ który jest zmienną losową. Dokładniej, model ten jest postaci

$y_i={\beta }_{0}1+{\beta }_1{x}_{i1}+\dots +{\beta }_p{x}_{ip}+{\epsilon }_i={𝐱}_i^{\mathrm{\top }}\mathit{\beta }+{\epsilon }_i,i=1,\dots ,n,$

gdzie ${\mathrm{\top }}^{}$ oznacza transpozycję, tj. ${𝐱}_i^{\mathrm{\top }}\mathit{\beta }$ jest iloczynem skalarnym wektorów ${𝐱}_i$ oraz $\mathit{\beta }.$

Powyższe $n$ równań można zapisać w sposób macierzowy:

$𝐲=X\mathit{\beta }+\mathit{\epsilon },$

gdzie:

$𝐲=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right),X=\left(\begin{array}{c}{𝐱}_1^{\mathrm{\top }}\\ {𝐱}_2^{\mathrm{\top }}\\ ⋮\\ {𝐱}_n^{\mathrm{\top }}\end{array}\right)=\left(\begin{array}{cccc}1& x_{11}& \dots & x_{1p}\\ 1& x_{21}& \dots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ 1& x_{n1}& \dots & x_{np}\end{array}\right),\mathit{\beta }=\left(\begin{array}{c}{\beta }_0\\ {\beta }_1\\ {\beta }_2\\ ⋮\\ {\beta }_p\end{array}\right),\mathit{\epsilon }=\left(\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ⋮\\ {\epsilon }_n\end{array}\right).$

Najczęściej wykorzystuje się do tego celu klasyczną metodę najmniejszych kwadratów i jej pochodne. Metoda ta jest najstarsza i najłatwiejsza do zastosowania, choć posiada wady (np. niewielką odporność na elementy odstające), które udało się usunąć w innych, mniej rozpropagowanych metodach. Są to odporne metody statystyczne, do których należy regresja medianowa i algorytmy z regularyzacją.

Kwartet Anscombe’a

Niedostateczność prostych algorytmów w ogólnym przypadku pokazuje m.in. kwartet Anscombe’a – specjalnie przygotowany zestaw czterech zbiorów danych, które mają niemal tożsame wskaźniki statystyczne (średnią i wariancję w kierunku X i Y, współczynnik korelacji oraz prostą regresji) mimo znacząco różnego charakteru danych.

Testy oparte na modelu liniowym

Wiele klasycznych narzędzi statystycznych opatrzonych własnymi nazwami, takich jak współczynnik korelacji $r$ Pearsona, ANOVA czy test t Studenta jest szczególnymi przypadkami lub aspektami modelu liniowego. Dotyczy to również licznych testów nieparametrycznych, w których przypadku zamiast surowych wartości zmiennych stosuje się rangi obserwacji.

Historycznie, klasyczne narzędzia stanowiły proste, gotowe do użycia modele z dobrze opisanymi właściwościami. W wielu przypadkach wymagają one jedynie obliczenia kilku średnich arytmetycznych, ignorując tym samym większość informacji zawartych w danych. W ortodoksyjnym podejściu częstościowym test realizuje się następnie z reguły przez określenie prawdopodobieństwa danych przy założeniu modelu zerowego: o odpowiedniej dla sytuacji strukturze, ale zakładającego zerowe zależności. Modele zerowe dla klasycznych testów mają dobrze znane rozkłady prawdopodobieństwa, i wykonanie testu polegało na odnalezieniu odpowiedniej wartości w standardowej tabeli w podręczniku.

Prostota technik pozwoliła na ich łatwe i powszechne stosowanie w epoce niskiej dostępności i mocy komputerów. Zwyczaj ten ukrywa jednak ich strukturalną i poznawczą banalność, i zachęca do zaniedbywania surowych założeń warunkujących ich trafność. Współcześnie statystycy mogą tworzyć i stosować modele oraz testy dużo dokładniej dopasowane do konkretnych zastosowań i ograniczeń.

Poniższa tabela – oparta na pracy Lindeløva – przedstawia równoważne klasycznym narzędziom modele liniowe, gdzie $D$ reprezentuje zmienne typu dummy, przyjmujące wartości 1 lub 0 dla obserwacji należących (lub nie) do konkretnej grupy obserwacji, $ranga()$ to funkcja mapująca surowe wartości zmiennych na ich relatywne rangi (w niektórych przypadkach ze znakiem, rozróżniając wartości ujemne i dodatnie), a $ϵ$ to wyraz błędu.

Klasyczne testy statystyczne jako szczególne przypadki regresji liniowej

Nazwa zwyczajowa	Równoważny model liniowy	Opis słowny
test t Studenta dla jednej próby	$y={\beta }_0+ϵ$	Czy średnia (lub mediana) obserwacji jest ich dobrym predyktorem?
test Wilcoxona dla jednej próby	${\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{a}}_{-}^{+}(y)={\beta }_0+ϵ$
test t Studenta dla par obserwacji	$y_2-y_1={\beta }_0+ϵ$	Czy średnia (lub mediana) różnic obserwacji jest ich dobrym predyktorem?
test Wilcoxona dla par obserwacji	${\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{a}}_{-}^{+}(y_2-y_1)={\beta }_0+ϵ$
korelacja r Pearsona	$y={\beta }_0+{\beta }_{1}x+ϵ$	Czy model liniowy jest dobrym predyktorem obserwacji (lub ich rang)?
korelacja Spearmana	$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{a}(y)={\beta }_0+{\beta }_1\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{a}(x)+ϵ$
test $t$ Studenta dla dwóch prób	$y={\beta }_0+{\beta }_{1}D+ϵ$	Czy średnie grup są dobrym predyktorem obserwacji (lub ich rang)?
test Manna-Whitneya	${\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{a}}_{-}^{+}(y)={\beta }_0+{\beta }_{1}D+ϵ$
jednoczynnikowa ANOVA	$y={\beta }_0+{\beta }_1{D}_1+{\beta }_2{D}_2+\dots +{\beta }_n{D}_n+ϵ$
test Kruskala-Wallisa	${\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{a}}_{-}^{+}(y)={\beta }_0+{\beta }_1{D}_1+{\beta }_2{D}_2+\dots +{\beta }_n{D}_n+ϵ$
jednoczynnikowa ANCOVA	$y={\beta }_0+{\beta }_1{D}_1+{\beta }_2{D}_2+\dots +{\beta }_n{D}_n+{\beta }_{x}x+ϵ$	Czy średnie grup oraz ich liniowy model są dobrym predyktorem obserwacji (lub ich rang)?
dwuczynnikowa ANOVA	$\begin{array}{cc}y={\beta }_0& +{\beta }_1{D}_1+{\beta }_2{D}_2+\dots +{\beta }_n{D}_n\\ & +{\beta }_o{E}_1+{\beta }_p{E}_2+\dots +{\beta }_r{E}_m\\ & +{\beta }_s{D}_1{E}_1+{\beta }_t{D}_1{E}_2+\dots +{\beta }_u{D}_n{E}_m+ϵ\end{array}$	Czy średnie grup oraz ich iloczynów są dobrym predyktorem obserwacji?