Entropia binarna

Entropia zmiennej losowej X przyjmującej wartość 0 lub 1.

Entropia binarna – w teorii informacji jest zdefiniowana jako entropia zmiennej losowej X, która przyjmuje tylko dwie wartości: 0 lub 1.

Jeśli $X=1$ zachodzi z prawdopodobieństwem $Pr(X=1)=p,$ a $X=0$ zachodzi z prawdopodobieństwem $Pr(X=0)=1-p,$ to entropia Shannona wynosi:

$H(X)=H_b(p)=p{\log }_{2}p+(1-p){\log }_2(1-p),$

gdzie:

$0\log 0$ jest przyjęte jako 0. Podstawą logarytmu zwykle jest 2. Zobacz logarytm binarny.

W przypadku kiedy $p=\frac{1}{2},$ entropia binarna przyjmuje maksymalną wartość i wynosi 1 bit.

Funkcja entropii binarnej $H_b(p),$ w odróżnieniu od entropii Shannona $H(X),$ przyjmuje jako argument liczbę rzeczywistą $p$ zamiast rozkładu prawdopodobieństwa $X.$

Pochodna

Pochodna funkcji entropii binarnej może być zapisana za pomocą funkcji logitowej:

$\frac{d}{dp}{H}_{\text{b}}(p)=-{\mathrm{logit}}_2(p)=-{\log }_2\left(\frac{p}{1-p}\right).$

Zobacz też

• entropia (teoria informacji)

Linki zewnętrzne

• David J.C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. Szablon:ISBN.