Współczynnik determinacji

Kwartet Anscombe’a – cztery zbiory obserwacji, które pasują w identycznym stopniu (także w sensie R²) do takiego samego modelu liniowego.

Współczynnik determinacji R² – jedna z miar jakości dopasowania modelu do danych uczących. Jego dopełnieniem jest współczynnik zbieżności, ${\phi }^2=1-R^2.$ Występuje obecnie w wielu wariantach stosujących różnorodne poprawki. Jego pierwotne opracowanie przypisuje się m.in. publikacji Sewalla Wrighta z 1921, która opiera się z kolei m.in. na artykule K. Pearsona z 1897.

Obecnie, współczynnik determinacji wykorzystuje się głównie w celach pomocniczych. Lepszymi narzędziami do tego celu są np. kryteria informacyjne AIC, BIC, czy sprawdzian krzyżowy. Już Wright nie przedstawiał R² jako wyczerpującej miary dopasowania modelu do badanego zjawiska, szczególnie nie w sensie wyjaśnienia przyczynowego. Współczynnik determinacji opisuje jedynie oszacowaną na podstawie próby macierz wielokrotnej korelacji obecnych w modelu zmiennych, przy założeniu prawdziwości modelu. Ignoruje dopasowanie modelu do danych spoza próby, oraz problem pominiętych zmiennych. Maksymalizacja tej miary prowadzi do nadmiernego dopasowania modelu do danych uczących. Schmueli uznaje w tym kontekście tradycję opisywania korelacji zmiennych jako ich wzajemnego wyjaśniania lub determinacji – co może sugerować wytłumaczenie przyczynowe – za szczególnie zwodniczą.

Współczynnik determinacji

Informuje o tym, jaka część zmienności (wariancji) zmiennej objaśnianej w próbie pokrywa się z korelacjami ze zmiennymi zawartymi w modelu. Jest on więc miarą stopnia, w jakim model pasuje do próby. Współczynnik determinacji przyjmuje wartości z przedziału [0;1] jeśli w modelu występuje wyraz wolny, a do estymacji parametrów wykorzystano metodę najmniejszych kwadratów. Jego wartości najczęściej są wyrażane w procentach. Dopasowanie modelu jest tym lepsze, im wartość R² jest bliższa jedności. Wyraża się on wzorem:

$R^2:=\frac{\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}{\sum _{i=1}^n(y_i-\bar{y}{)}^2}⩾0,$

gdzie:

$y_i$ – $i$-ta obserwacja zmiennej $y,$

${\hat{y}}_i$ – wartość teoretyczna zmiennej objaśnianej (na podstawie modelu),

$\bar{y}$ – średnia arytmetyczna empirycznych wartości zmiennej objaśnianej.

Interpretacja

Współczynnik $R^2$ ma jasną interpretację tylko w sytuacji, gdy współczynniki modelu $y=X\beta +\epsilon$ zostały wyestymowane metodą najmniejszych kwadratów i w modelu występuje wyraz wolny. Wówczas $0⩽R^2⩽1$ i R^2 można interpretować jako miarę dopasowania modelu do danych.

Dowód.

$\begin{array}{cc}& \sum _{i=1}^n(y_i-\bar{y}{)}^2\\ =& \sum _{i=1}^n(y_i-{\hat{y}}_i+{\hat{y}}_i-\bar{y}{)}^2\\ =& \sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2+2\sum _{i=1}(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y}).\end{array}$

Ostatnią sumę możemy rozpisać

$\sum _{i=1}^n(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})=\sum _{i=1}^n(y_i-{\hat{y}}_i){\hat{y}}_i-\bar{y}\sum _{i=1}^n(y_i-{\hat{y}}_i).$

Pierwsza z tych sum jest równa

$\begin{array}{cc}& \sum _{i=1}^n(y_i-{\hat{y}}_i){\hat{y}}_i\\ =& {\hat{y}}^T(y-\hat{y})\\ =& {\hat{\beta }}^T{X}^T(y-\hat{y})\\ =& {\hat{\beta }}^T{X}^T(y-X\hat{\beta })\\ =& {\hat{\beta }}^T{X}^{T}y-{\hat{\beta }}^T{X}^{T}X\hat{\beta }\\ =& {\hat{\beta }}^T{X}^{T}y-{\hat{\beta }}^T{X}^{T}X(X^{T}X{)}^{-1}{X}^{T}y=0.\end{array}$

Z powyższego rachunku wynika także, że w metodzie najmniejszych kwadratów macierz $X^T$ jest ortogonalna do wektora reszt $y-\hat{y},$ tzn.

$X^T(y-\hat{y})=0.$

Jeżeli w modelu $y=X\beta +\epsilon$ występuje wyraz wolny, to macierz $X$ zwiera kolumnę, a macierz $X^T$ – rząd jedynek. W takiej sytuacji tożsamość $X^T(y-\hat{y})=0$ implikuje równość

$\sum _{i=1}(y_i-{\hat{y}}_i)=0$

i otrzymujemy

$\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2.$

Wówczas

$R^2:=\frac{\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}{\sum _{i=1}^n(y_i-\bar{y}{)}^2}=\frac{\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}{\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}=\frac{1}{1+\frac{\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2}{\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}}⩽1◼$

Współczynnik zbieżności

Współczynnik zbieżności ${\phi }^2$ określa, jaka część zaobserwowanej w próbie zmienności zmiennej objaśnianej nie pasuje do modelu (mieści się w jego błędzie). Współczynnik zbieżności przyjmuje wartości z przedziału [0;1]; wartości te najczęściej są wyrażane w procentach. Dopasowanie modelu jest tym lepsze, im wartość ${\phi }^2$ jest bliższa zeru. Wyraża się on wzorem:

${\phi }^2:=1-R^2,$

lub też (jeżeli w modelu występuje wyraz wolny, a współczynniki zostały wyestymowane metodą najmniejszych kwadratów)

$\begin{array}{cc}{\phi }^2& =1-R^2\\ & =\frac{\sum _{i=1}^n(y_i-\bar{y}{)}^2}{\sum _{i=1}^n(y_i-\bar{y}{)}^2}-\frac{\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}{\sum _{i=1}^n(y_i-\bar{y}{)}^2}\\ & =\frac{\sum _{i=1}^n(y_i-\bar{y}{)}^2-\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}{\sum _{i=1}^n(y_i-\bar{y}{)}^2}\\ & =\frac{\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2}{\sum _{i=1}^n(y_i-\bar{y}{)}^2},\end{array}$

gdzie ${\hat{y}}_i,$ $y_i$ oraz $\bar{y}$ są określone jak w części poprzedniej.