Entropia warunkowa

Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej $Y,$ jeśli wcześniej znamy wartość innej zmiennej losowej $X.$ Zapisuje się ją jako $H(Y|X)$ i tak jak inne entropie mierzy w bitach.

Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych $X$ i $Y$ jest większa od entropii samej zmiennej $X,$ czyli ile dodatkowej informacji dostajemy na podstawie zmiennej $Y,$ jeśli znamy zmienną $X.$

Definicja

Formalnie dla dyskretnych zmiennych losowych $X$ i $Y$ entropia $Y$ warunkowana przez $X$ może być zdefiniowana jako:

$H(Y|X)=\sum _{x\in X}p(x)H(Y|x),$

gdzie:

$H(Y|x)=\sum _{y\in Y}p(y|x)\log \frac{1}{p(y|x)}.$

A zatem:

$H(Y|X)=\sum _{x\in X}p(x)\sum _{y\in Y}p(y|x)\log \frac{1}{p(y|x)}.$

Wzór ten można zapisać również jako:

$H(Y|X)=-\sum _{y\in Y}\sum _{x\in X}p(x,y)\log \frac{p(x,y)}{p(x)}.$

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

$H(Y|X)=-\underset{Y}{\int }\underset{X}{\int }p(x,y)\log \frac{p(x,y)}{p(x)}dxdy,$

gdzie $p(x,y)$ oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a $p(x)$ jest gęstością prawdopodobieństwa $X.$

Alternatywnie tę samą definicję można zapisać jako

$H(Y|X)=H(X,Y)-H(X),$

gdzie $H(X,Y)$ oznacza entropię produktową $X$ i $Y,$ a $H(X)$ oznacza entropię $X.$

Jeśli $X$ i $Y$ są niezależne, poznanie $X$ nie daje żadnych informacji o $Y.$ Wtedy entropia warunkowa jest po prostu równa entropii $Y:$ $H(Y|X)=H(Y).$

Z drugiej strony, jeśli $Y$ jest funkcją $X,$ to poznanie $X$ całkowicie determinuje wartość $Y.$ Wtedy $H(Y|X)=0.$

Własności

Dla dowolnych

$X$

i

$Y$

zachodzi:

$H(Y|X)=H(X,Y)-H(X)$

(reguła łańcuchowa dla entropii)

$H(Y|X)⩽H(Y)$

$H(Y|X)=H(X|Y)-H(X)+H(Y)$

(twierdzenie Bayesa dla entropii)

$H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)$

$H(X,Y)=H(X)+H(Y)-I(X;Y)$

$I(X;Y)⩽H(X)$

gdzie

$I(X;Y)$

to informacja wzajemna między

$X$

i

$Y.$

Jeśli

$X$

i

$Y$

są zdarzeniami niezależnymi:

$H(Y|X)=H(Y)$

Pomimo iż wartość wyrażenia

$H(Y|X=x)$

może być zarówno większa, jak i mniejsza od

$H(Y),$

entropia warunkowa

$H(Y|X)$

jest zawsze niewiększa niż

$H(Y).$

Wartość

$H(Y|X=x)$

równa jest zero w szczególnym przypadku, gdy

$Y$

jest funkcją zmiennej

$X.$

Zobacz też

• informacja wzajemna