Ilość informacji

Ilość informacji – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli informację, termin używany w matematycznej teorii informacji.

Ilościowym aspektem informacji zajmuje się statystyczno-syntaktyczna teoria informacji Hartleya i Shannona. Miary ilości informacji są w niej oparte na prawdopodobieństwie zajścia zdarzenia. Jako miarę ilości informacji przyjmuje się wielkość niepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu). Zdarzenia (komunikaty) mniej prawdopodobne dają więcej informacji. To podejście pomija znaczenie (semantykę), jakie niesie komunikat, a skupia się jedynie na jego składni (syntaktyce).

Miary ilości informacji

1. Ilość informacji otrzymanej przy zajściu zdarzenia $x_i$ (entropia tego zdarzenia, entropia indywidualna, samoinformacja komunikatu) to (Hartley 1928):

$I_i=h_i={\log }_r\frac{1}{p_i}=-{\log }_r{p}_i,$

gdzie:

$I_i$ – ilość informacji otrzymanej przy zajściu zdarzenia $x_i,$

$p_i$ – prawdopodobieństwo zajścia zdarzenia $x_i,$

$r$ – podstawa logarytmu.

W teorii informacji najczęściej stosuje się logarytm o podstawie $r=2,$ wówczas jednostką informacji jest bit (szanon). Przy $r$ = e jednostką jest nat (nit), natomiast przy $r$ = 10 – dit (hartley).

2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru $n$ zdarzeń (entropia bezwarunkowa tego zbioru, entropia zmiennej losowej, entropia przeciętna, przeciętna samoinformacja komunikatu) to średnia arytmetyczna ważona ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeń (Shannon 1948):

$H(X)=\sum _{i=1}^n{p}_i{\log }_r\frac{1}{p_i}=-\sum _{i=1}^n{p}_i{\log }_r{p}_i,$

gdzie:

$H(X)$ – entropia bezwarunkowa zbioru X,

$n$ – liczba zdarzeń w zbiorze,

$p_i$ – prawdopodobieństwo zajścia zdarzenia $x_i.$

3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. informacja wzajemna, albo po prostu ilość informacji o X zawarta w Y, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y (entropią warunkową X pod warunkiem Y):

$I(X;Y)=H(X)-H(X|Y),$

gdzie:

$I(X;Y)$ – informacja wzajemna Y o X,

$H(X)$ – entropia bezwarunkowa zbioru (zmiennej) X,

$H(X|Y)$ – entropia warunkowa X pod warunkiem Y.

Innymi słowy, $I(X:Y)$ dotyczy informacji dostarczonej przez zmienną $Y$ o zmiennej $X.$

Gdy odebrany komunikat zmniejsza nieokreśloność X do zera $(H(X|Y)=0),$ ilość przekazanej informacji jest równa entropii źródła $I(X;Y)=H(X).$ Także $I(X;X)=H(X)$ (zawartość informacji w źródle, w zmiennej losowej, samoinformacja), gdyż $H(X|X)=0.$