Entropia krzyżowa

Entropia krzyżowa – wartość używana w teorii informacjiSzablon:R. Wykorzystywana do oceny nietrafności rozkładu względem drugiego rozkładu hipotetycznie prawdziwegoSzablon:R.

Definicja

Wzór na entropię krzyżową dyskretnej zmiennej losowej $X$ o zbiorze wartości $\{x_1,x_2,...,x_n\}$ i zdefiniowanych na nich rozkładach prawdopodobieństw $p$ i $q$Szablon:R:

$H(p,q,X)=-\sum _{i=1}^{n}p(x_i)\log q(x_i).$

Interpretując entropię krzyżową jako miarę nietrafności, za $p$ przyjmuje się rozkład traktowany jako prawdziwy, a za $q$ rozkład ocenianySzablon:R.

Własności

PonieważSzablon:R

$H(p,q)=-\sum _{i=1}^{n}p(x_i)\log q(x_i)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)-\sum _{i=1}^{n}p(x_i)\log \frac{q(x_i)}{p(x_i)},$

entropię krzyżową można interpretować jako sumę entropii dla rzeczywistego rozkładu prawdopodobieństwa $p$ oraz miary dywergencji Kullbacka-Leiblera między $p$ i $q$Szablon:R:

$H(p,q)=H(p)+d_{KL}(p,q).$

Traktując entropię krzyżową jako nietrafność $q$ względem $p,$ można traktować ją jako sumę nietrafności związanej z niepewnością $H(p)$ i nietrafności związanej z błędem $q$ względem $p$Szablon:R.