Tekst źródłowy strony Dywergencja Jensena-Shannona

'''Dywergencja Jensena-Shannona''' – miara rozbieżności między dwoma [[Rozkład prawdopodobieństwa|rozkładami prawdopodobieństwa]]{{r|lin1991}}.

== Definicja ==
Miara opisana jest następującym wzorem:
: <math>\mathrm{JSD}(p_1,p_2) = H(\pi_1 p_1+\pi_2 p_2)-\pi_1 H(p_1)-\pi_2H(p_2),</math>

gdzie <math>\pi_1</math> i <math>\pi_2</math> oznaczają wagi, <math>p_1</math> i <math>p_2</math> oznaczają porównywane rozkłady, a <math>H</math> jest funkcją entropii Shannona{{r|lin1991}}.

W przypadku dwóch rozkładów opisujących zmienną losową <math>X</math> i równych wag <math>(\pi_1 = \pi_2 = 0{,}5)</math> wzór na dywergencję Jensena-Shannona jest następujący{{r|lin1991}}:
: <math>\mathrm{JSD}(p_1,p_2) = \frac12 \sum_{x \in X} p_1(x) \log_2 \frac{p_1(x)}{\frac12 p_1(x) + \frac12 p_2(x)} + \frac12 \sum_{x \in X} p_2(i) \log_2 \frac{p_2(x)}{\frac12 p_1(x) + \frac12 p_2(x)},</math>

co oznacza, że dywergencję Jensena-Shannona można wyrazić jako średnią [[Dywergencja Kullbacka-Leiblera|dywergencji Kullbacka-Leiblera]] <math>(KLD){:}</math>
: <math>\mathrm{JSD}(p_1,p_2)= \frac12 KLD(p_1,m) + \frac12 KLD(p_2,m),</math>

gdzie <math>m = \frac12 p_1+\frac12 p_2</math>{{r|lu}}.

== Własności ==
Dywergencja Jensena-Shannona jest nieujemna i równa 0 w przypadku identyczności rozkładów.
W przeciwieństwie do wielu miar dywergencji rozkładów pozwalających porównywać dwa rozkłady, dywergencja Jensena-Shannona może być uogólniona na dowolną skończoną liczbę rozkładów{{r|lin1991}}.

== Przypisy ==
<references>
* <ref name=lin1991>{{Cytuj |autor = Jianhua Lin |tytuł = Divergence Measures Based on the Shannon Entropy |czasopismo = IEEE Transactions on Information Theory |wolumin = 37 |numer = 1 |data = 1991 |s = 145–151 |doi = 10.1109/18.61115 |url = https://www.cise.ufl.edu/~anand/sp06/jensen-shannon.pdf}}</ref>
* <ref name=lu>{{Cytuj |autor = Jinghui Lu, Maeve Henchion, Brian Mac Namee |tytuł = Diverging Divergences: Examining Variants of Jensen Shannon Divergence for Corpus Comparison Tasks |czasopismo = Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020) |miejsce = Marsylia |data = 2020 |s = 6740–6744 |url = https://aclanthology.org/2020.lrec-1.832.pdf}}</ref>
</references>

{{Kontrola autorytatywna}}

[[Kategoria:Odległości]]
[[Kategoria:Miary podobieństwa dwóch rozkładów]]
[[Kategoria:Teoria informacji]]