Tekst źródłowy strony Ilość informacji

'''Ilość informacji''' – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli [[Informacja|informację]], termin używany w matematycznej [[teoria informacji|teorii informacji]].

Ilościowym aspektem informacji zajmuje się [[Statystyka|statystyczno]]-[[Syntaktyka (logika)|syntaktyczna]] teoria informacji [[Ralph Hartley|Hartleya]] i [[Claude E. Shannon|Shannona]]. Miary ilości informacji są w niej oparte na [[prawdopodobieństwo|prawdopodobieństwie]] zajścia [[Zdarzenie losowe (teoria prawdopodobieństwa)|zdarzenia]]. Jako miarę ilości informacji przyjmuje się wielkość niepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu)<ref>Stefan Mynarski, ''Elementy teorii systemów i cybernetyki'', 1979, s. 155.</ref>. Zdarzenia (komunikaty) mniej prawdopodobne dają więcej informacji. To podejście pomija znaczenie ([[semantyka (logika)|semantykę]]), jakie niesie komunikat, a skupia się jedynie na jego składni ([[syntaktyka (logika)|syntaktyce]]).

== Miary ilości informacji ==
1. Ilość informacji otrzymanej przy zajściu zdarzenia <math>x_i</math> (entropia tego zdarzenia, entropia indywidualna, samoinformacja komunikatu) to (Hartley 1928):
:: <math>I_i = h_i = \log_r \frac{1}{p_i} = -\log_r {p_i},</math>

gdzie:
: <math>I_i</math> – ilość informacji otrzymanej przy zajściu zdarzenia <math>x_i,</math>
: <math>p_i</math> – prawdopodobieństwo zajścia zdarzenia <math>x_i,</math>
: <math>r</math> – podstawa [[logarytm]]u.

W teorii informacji najczęściej stosuje się logarytm o podstawie <math>r = 2,</math> wówczas [[Jednostka informacji|jednostką informacji]] jest [[bit]] (szanon<ref>{{encyklopedia PWN|id = 3982470|tytuł=szanon|data dostępu=2010-01-22}}</ref>). Przy <math>r</math> = ''[[Podstawa logarytmu naturalnego|e]]'' jednostką jest [[Nat (jednostka miary)|nat]] (nit), natomiast przy <math>r</math> = 10 – [[Ban (informacja)|dit]] (hartley).

2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru <math>n</math> zdarzeń ([[Entropia (teoria informacji)|entropia bezwarunkowa]] tego zbioru, entropia [[Zmienna losowa|zmiennej losowej]], entropia przeciętna, przeciętna samoinformacja komunikatu) to średnia arytmetyczna ważona ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeń<ref>Stefan Mynarski ''Elementy teorii systemów i cybernetyki'' 1979 s. 156.</ref> (Shannon 1948):
:: <math>H(X)=\sum_{i=1}^np_i\log_r \frac{1}{p_i}= -\sum_{i=1}^np_i\log_r {p_i},</math>

gdzie:
: <math>H(X)</math> – entropia bezwarunkowa zbioru X,
: <math>n</math> – liczba zdarzeń w zbiorze,
: <math>p_i</math> – prawdopodobieństwo zajścia zdarzenia <math>x_i.</math>

3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. [[informacja wzajemna]], albo po prostu ilość informacji o X zawarta w Y, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y ([[Entropia warunkowa|entropią warunkową]] X pod warunkiem Y)<ref>Stefan Mynarski ''Elementy teorii systemów i cybernetyki'' 1979 s. 159.</ref><ref>A.M. Jagłom, I.M. Jagłom, ''Prawdopodobieństwo i informacja'', 1963 s. 91.</ref>:
:: <math>I(X;Y)  =  H(X) - H(X|Y),</math>

gdzie:
: <math>I(X;Y)</math> – informacja wzajemna Y o X,
: <math>H(X)</math> – entropia bezwarunkowa zbioru (zmiennej) X,
: <math>H(X|Y)</math> – entropia warunkowa X pod warunkiem Y.

Innymi słowy, <math>I(X:Y)</math> dotyczy informacji dostarczonej przez zmienną <math>Y</math> o zmiennej <math>X.</math>

Gdy odebrany komunikat zmniejsza nieokreśloność X do zera <math>(H(X|Y) = 0),</math> ilość przekazanej informacji jest równa entropii źródła <math>I(X;Y) = H(X).</math> Także <math>I(X;X) = H(X)</math> (zawartość informacji w źródle, w zmiennej losowej, samoinformacja), gdyż <math>H(X|X) = 0.</math>

== Przypisy ==
{{Przypisy}}

[[Kategoria:Teoria informacji]]