Dywergencja Jensena-Shannona

Dywergencja Jensena-Shannona – miara rozbieżności między dwoma rozkładami prawdopodobieństwaSzablon:R.

Definicja

Miara opisana jest następującym wzorem:

$\mathrm{J}\mathrm{S}\mathrm{D}(p_1,p_2)=H({\pi }_1{p}_1+{\pi }_2{p}_2)-{\pi }_{1}H(p_1)-{\pi }_{2}H(p_2),$

gdzie ${\pi }_1$ i ${\pi }_2$ oznaczają wagi, $p_1$ i $p_2$ oznaczają porównywane rozkłady, a $H$ jest funkcją entropii ShannonaSzablon:R.

W przypadku dwóch rozkładów opisujących zmienną losową $X$ i równych wag $({\pi }_1={\pi }_2=0,5)$ wzór na dywergencję Jensena-Shannona jest następującySzablon:R:

$\mathrm{J}\mathrm{S}\mathrm{D}(p_1,p_2)=\frac{1}{2}\sum _{x\in X}{p}_1(x){\log }_2\frac{p_1(x)}{\frac{1}{2}{p}_1(x)+\frac{1}{2}{p}_2(x)}+\frac{1}{2}\sum _{x\in X}{p}_2(i){\log }_2\frac{p_2(x)}{\frac{1}{2}{p}_1(x)+\frac{1}{2}{p}_2(x)},$

co oznacza, że dywergencję Jensena-Shannona można wyrazić jako średnią dywergencji Kullbacka-Leiblera $(KLD):$

$\mathrm{J}\mathrm{S}\mathrm{D}(p_1,p_2)=\frac{1}{2}KLD(p_1,m)+\frac{1}{2}KLD(p_2,m),$

gdzie $m=\frac{1}{2}{p}_1+\frac{1}{2}{p}_2$Szablon:R.

Własności

Dywergencja Jensena-Shannona jest nieujemna i równa 0 w przypadku identyczności rozkładów. W przeciwieństwie do wielu miar dywergencji rozkładów pozwalających porównywać dwa rozkłady, dywergencja Jensena-Shannona może być uogólniona na dowolną skończoną liczbę rozkładówSzablon:R.