Tekst źródłowy strony Entropia (teoria informacji)

{{Inne znaczenia|pojęcia z dziedziny teorii informacji|[[entropia (ujednoznacznienie)|inne znaczenia tego terminu]]}}
'''Entropia''' – średnia [[ilość informacji]], przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to [[średnia ważona]] ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są [[prawdopodobieństwo|prawdopodobieństwa]] nadania poszczególnych wiadomości.

Wzór na entropię zmiennej losowej <math>X</math> o zbiorze wartości <math>\{x_1, x_2, \dots, x_n\}</math>{{r|shannon11}}:
: <math>H(X) = \sum_{i=1}^np(x_i)\log_r \frac{1}{p(x_i)} = -\sum_{i=1}^np(x_i)\log_r {p(x_i)},</math>

gdzie <math>p(x_i)</math> to prawdopodobieństwo zajścia zdarzenia <math>x_i,</math> a <math>r</math> to podstawa logarytmu. W teorii informacji najczęściej stosuje się [[logarytm]] o podstawie 2, wówczas jednostką entropii jest [[bit]]. Dla <math>r=e</math> jednostka ta nazywa się [[Nat (jednostka miary)|nat]] (nit), natomiast dla <math>r=10</math> – [[Ban (informacja)|dit]] lub hartley. W przypadku gdy <math>p(x_i) = 0</math> dla pewnego <math>i,</math> wartość składnika <math>0 \log_r{0}</math> jest przyjmowana jako 0, co jest zgodne z granicą:
: <math>\lim_{p\to0+}p\log (p) = 0.</math>

W latach 60. XX wieku węgierski matematyk [[Alfred Rényi]] uogólnił pojęcie entropii do zbioru funkcji za pomocą których można opisać ilościowo różnorodność, niepewność czy [[losowość]] systemu. Miara ta od jego nazwiska nazywana jest [[entropia Rényi|entropią Rényi]].

Entropię można interpretować jako niepewność wystąpienia danego [[Przestrzeń zdarzeń elementarnych|zdarzenia elementarnego]] w następnej chwili. Jeżeli jakieś zdarzenie w zbiorze zdarzeń występuje z prawdopodobieństwem równym 1, to entropia układu wynosi wówczas 0, gdyż z góry wiadomo, co się stanie – nie ma niepewności.

Własności entropii:
* jest nieujemna;
* jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same (maksymalna niepewność){{r|shannon11}};
* jest równa 0, gdy prawdopodobieństwa stanów systemu poza jednym wynoszą 0, a jednego stanu – 1 (maksymalna pewność){{r|shannon11}};
* własność superpozycji – gdy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii{{r|shannon12}};
* jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi <math>H(X^{(k)}) = kH(X).</math>

Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia [[entropia|entropii]] znanego z [[termodynamika|termodynamiki]] w kategoriach teorii informacji. Okazało się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.

Pojęcie entropii jest bardzo przydatne np. w dziedzinie [[Kompresja (informatyka)|kompresji danych]]. Entropię zerowego rzędu można obliczyć znając [[histogram]] ciągu symboli. Jest to iloczyn entropii i liczby znaków w ciągu. Osiągi [[kodowanie Huffmana|kodowania Huffmana]] są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się [[kodowanie arytmetyczne]].

Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.

== Przykład ==
W przypadku, gdy prawdopodobieństwa poszczególnych zdarzeń w zbiorze są równe, powyższy wzór można stosować w postaci uproszczonej:
: <math>H(X) = \log_2(n),</math>

gdzie: <math>n</math> oznacza wielkość zbioru. Przykładowo dla zbioru 26 liter alfabetu <math>(n=26)</math> entropia każdej z nich wynosi około 4,7, więc ośmioznakowy ciąg liter wykorzystywany np. jako [[Hasło (kryptografia)|hasło]] będzie miał entropię 37,6.

Moneta, która wyrzuca z takim samym prawdopodobieństwem orły i reszki, ma 1 bit entropii na rzut:
: <math>- p_O \log_2 p_O - p_R \log_2 p_R = -\frac 1 2 \log_2 \frac 1 2 - \frac 1 2 \log_2 \frac 1 2 = \frac 1 2 + \frac 1 2 = 1.</math>

Jednakże jeśli moneta z jakieś przyczyny daje zafałszowany wynik (statystycznie częściej daje albo orła albo reszkę z określonym prawdopodobieństwem) mamy do czynienia z sytuacją, w której jest mniejsza niepewność (możemy łatwiej przewidzieć wynik). Objawia się to niższą entropią. Przykładowo, jeśli założymy, że z czterech rzutów wypadły 3 reszki to podstawiając do wzoru otrzymamy entropię równą 0,81. Idąc do [[Ekstremum funkcji|ekstremum]], przy czterech rzutach i 4 reszkach lub 4 orłach entropia osiąga minimum, czyli 0, ponieważ nie ma niepewności (wiemy co wydarzy się w następnym rzucie). Przedstawiony przykład jest skrajnie uproszczony i próba czterech rzutów jest za mała, aby wyciągać jakieś statystyczne wnioski, ale dobrze obrazuje problem.

Ogólniej każde źródło dające <math>N</math> równie prawdopodobnych wyników ma <math>log_2 N</math> bitów na symbol entropii:
: <math>-\sum_{i=1}^N \frac 1 N \log_2 \frac 1 N = -N \frac 1 N \log_2 \frac 1 N = -\log_2 \frac 1 N = \log_2 N.</math>

Ponadto inną miarą związaną z entropią [[Claude E. Shannon|Shannona]] jest [[entropia metryczna]], która uwzględnia długość informacji (entropia dzielona jest przez długość wiadomości) i pozwala zmierzyć losowość informacji.

== Zobacz też ==
{{wikisłownik|entropia}}
* [[współczynnik niepewności|entropia produktowa]]
* [[entropia krzyżowa]]
* [[entropia warunkowa]]
* [[informacja wzajemna]]
* [[łańcuch Markowa]]
* [[teoria informacji]]

== Przypisy ==
<references>
* <ref name="shannon11">{{Cytuj |autor = Claude Elwood Shannon |tytuł = A Mathematical Theory of Communication |data = 1949 |wydawca = University of Illinois Press |url = https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf |s = 11}}</ref>
* <ref name="shannon12">{{Cytuj |autor = Claude Elwood Shannon |tytuł = A Mathematical Theory of Communication |data = 1949 |wydawca = University of Illinois Press |url = https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf |s = 12}}</ref>
</references>

== Linki zewnętrzne ==
* [http://www.shannonentropy.netmark.pl kalkulator entropii] – jak obliczyć i interpretować entropię dowolnej wiadomości
* M. Berta, O. Fawzi, M. Tomamichel, ''On Variational Expressions for Quantum Relative Entropies'', [http://arxiv.org/abs/1512.02615 arxiv.org/1512.02615]

{{Kontrola autorytatywna}}

[[Kategoria:Teoria informacji]]