Odległość Mahalanobisa

Odległość Mahalanobisa – odległość między dwoma punktami w wielowymiarowej przestrzeni różnicująca wkład poszczególnych składowych współrzędnych punktów oraz wykorzystująca korelacje między nimi. Znajduje ona zastosowanie w statystyce, przy wyznaczaniu podobieństwa między nieznanym wektorem losowym a wektorem ze znanego zbioru. Zdefiniowana przez Prasantę Chandrę Mahalanobisa w 1936 roku.

Definicja

Dane mamy 2 wektory losowe $𝐱=[x_1,x_2,\dots ,x_n],$ $𝐲=[y_1,y_2,\dots ,y_n]$ w przestrzeni ${ℝ}^n,$ oraz pewną symetryczną, dodatnio określoną macierz $C.$ Odległość Mahalanobisa zdefiniowana jest jako:

$d_m(𝐱,𝐲):=\sqrt{(𝐱-𝐲{)}^T{C}^{-1}(𝐱-𝐲)}$

Interpretacja

Odległość Mahalanobisa stosuje się w analizie skupień. Mając dany zbiór punktów tworzących pewną klasę, możemy wyznaczyć dla niego wektor średni $\mathit{\mu }=[{\mu }_1,{\mu }_2,\dots ,{\mu }_n]$ oraz macierz kowariancji $C,$ które odzwierciedlają pewien charakter tej klasy. Badając przynależność nieznanego wektora losowego $𝐱$ do danej klasy, mierzy się jego podobieństwo do wektora $\mathit{\mu },$ uwzględniając przy tym informację o wariancjach poszczególnych składowych oraz korelacjach między nimi. Miarą takiego podobieństwa jest odległość Mahalanobisa, nazywana ważoną odległością euklidesową, przy czym macierzą wag jest $C^{-1}.$

Rozważmy trzy przypadki różnych zbiorów danych:

Przypadek 1

Poszczególne składowe w zbiorze mają równe wariancje (można przyjąć, że są one równe 1) i nie są skorelowane. Wówczas macierz kowariancji $C$ jest macierzą jednostkową, a odległość Mahalanobisa jest równa odległości euklidesowej:

$\begin{array}{cc}{d}_m(𝐱,\mathit{\mu })& =\sqrt{(x_1-{\mu }_1{)}^2+\dots +(x_n-{\mu }_n{)}^2}\\ & =\sqrt{(𝐱-\mathit{\mu }){𝕀}^{-1}(𝐱-\mathit{\mu }{)}^T}\end{array}$

Punkty o identycznej odległości od pewnego danego punktu centralnego tworzą na płaszczyźnie okrąg, a w przestrzeni o trzech lub więcej wymiarach odpowiednio sferę i hipersferę. Szablon:Clear

Przypadek 2

Składowe $x_1,x_2,\dots ,x_n$ wektora losowego $𝐱$ nie są skorelowane, lecz mają różne wariancje: ${\sigma }_1^2,{\sigma }_2^2,\dots ,{\sigma }_n^2.$ Aby znormalizować poszczególne składowe należy je podzielić przez odpowiadające im wariancje:

$\begin{array}{cc}{d}_m(𝐱,\mathit{\mu })& =\sqrt{\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1^2}+\dots +\frac{(x_n-{\mu }_n{)}^2}{{\sigma }_n^2}}\\ & =\sqrt{(𝐱-\mathit{\mu })D^{-1}(𝐱-\mathit{\mu }{)}^T}\end{array}$

gdzie $D$ jest macierzą diagonalną $\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\sigma }_1^2,{\sigma }_2^2,\dots ,{\sigma }_n^2).$

Punkty o identycznej odległości tworzą na płaszczyźnie elipsę, a w przestrzeni trójwymiarowej elipsoidę, przy czym osie utworzonej figury są równoległe do osi układu współrzędnych. Szablon:Clear

Przypadek 3

Składowe mają różne wariancje i są skorelowane: ${\sigma }_{ij}^2>0,1⩽i,j⩽n.$ Odpowiada to pełnej macierzy kowariancji $C,$ a utworzona przez punkty o tej samej odległości elipsa jest obrócona o pewien kąt względem osi układu współrzędnych. Obrót ten jest dany przez macierz wektorów własnych macierzy $C{}^{-1},$ zaś długości półosi hiper-elipsoidy są określone przez odwrotności pierwiastków kwadratowych jej wartości własnych $\frac{1}{\sqrt{{\lambda }_1}},\dots ,\frac{1}{\sqrt{{\lambda }_n}},.$

Wartości własne spełniają równanie charakterystyczne, które w ogólności dla macierzy symetrycznej kwadratowej rozmiaru [$n$ x $n$] sprowadza się do poszukiwania pierwiastków wielomianu $n$ tego stopnia. Szablon:Clear

Zastosowania

• Kwadrat odległości Mahalanobisa występuje w wykładniku wielowymiarowego rozkładu Gaussa.
• W zagadnieniach grupowania danych, np. klasteryzacji rozmytej, odległość Mahalanobisa wykorzystana jest do określania kształtu grupy (klastra). Przykładem jest algorytm GK (Gustaffsona-Kessela).