Rozkład wielopunktowy

Szablon:Rozkład prawdopodobieństwa infobox Rozkład wielopunktowy (ang. categorical distribution lub multinoulli distribution) – dyskretny rozkład prawdopodobieństwa opisujący możliwe wyniki zmiennej losowej mogącej przyjąć jedną z k kategorii. Każda z kategorii ma przypisane oddzielne prawdopodobieństwo. Parametry określające prawdopodobieństwa każdego możliwego wyniku są ograniczone tylko tym, że muszą się mieścić w przedziale od 0 do 1, a suma wszystkich prawdopodobieństw musi wynosić 1.

Kategorie nie muszą mieć określonego porządku, ale dla wygody przy opisywaniu rozkładu często oznacza się je arbitralnie nadanymi etykietami liczbowymi (np. od 1 do k).

K-wymiarowy rozkład wielopunktowy jest najbardziej ogólnym rozkładem zdarzenia mającego k możliwych rezultatów; każdy inny dyskretny rozkład w przestrzeni zdarzeń o rozmiarze k jest jego szczególnym przypadkiem.

Rozkład wielopunktowy jest uogólnieniem rozkładu dwupunktowego obejmującym jakościowe zmienne losowe z więcej niż dwoma możliwymi kategoriami, takie jak wynik rzutu kostką. Z drugiej strony rozkład wielopunktowy jest szczególnym przypadkiem rozkładu wielomianowego, ponieważ podaje prawdopodobieństwa potencjalnych wyników dla pojedynczej próby (pojedynczego losowania), a nie dla wielu prób.

Terminologia

W niektórych dziedzinach, takich jak uczenie maszynowe i przetwarzanie języka naturalnego, rozkłady wielopunktowe i wielomianowe są ze sobą łączone i rozkład wielopunktowy nazywany jest również „rozkładem wielomianowym”. Takie upraszczające podejście wynika z faktu, że czasem wygodnie jest wyrazić wynik rozkładu wielopunktowego w postaci K-elementowego wektora z jednym elementem równym 1 i wszystkimi pozostałymi równymi 0), a nie w postaci liczby całkowitej z przedziału od 1 do K; w tej formie rozkład wielopunktowy jest równoważny rozkładowi wielomianowemu dla pojedynczej próby.

Sposób sformułowania

Rozkład wielopunktowy to dyskretny rozkład prawdopodobieństwa, którego przestrzeń zdarzeń elementarnych jest zbiorem K określonych kategorii. Jest to uogólnienie rozkładu dwupunktowego i rozkładu zero-jedynkowego dla jakościowej zmiennej losowej.

W jednym ze sformułowań rozkładu przestrzeń zdarzeń elementarnych przedstawia się w formie skończonego ciągu liczb całkowitych; może to być {0, 1, ..., k − 1}, {1, 2, ..., k} lub jeszcze inny zestaw liczb. W poniższych opisach dla wygody użyto {1, 2, ..., k}, chociaż jest to niezgodne z konwencją dotyczącą rozkładu zero-jedynkowego, która wykorzystuje {0, 1}. W tym przypadku funkcja masy prawdopodobieństwa f wynosi:

$f(x=i\mid 𝒑)=p_i,$

gdzie $𝒑=(p_1,\dots ,p_k)$, $p_i$ oznacza prawdopodobieństwo uzyskania kategorii i, zaś ${\sum }_{i=1}^k{p}_i=1.$

Innym sposobem zapisu prawdopodobieństwa w rozkładzie wielopunktowym, który wydaje się bardziej skomplikowany, ale ułatwia matematyczne przekształcenia, jest sposób wykorzystujący nawias Iversona:

$f(x\mid 𝒑)=\prod _{i=1}^k{p}_i^{[x=i]},$

Gdzie $[x=i]$ ma wartość 1, jeśli $x=i$, zaś 0 w przeciwnym razie. Taka formuła ma wiele zalet, m.in.:

• Łatwiej jest zapisać funkcję wiarygodności zbioru niezależnych zmiennych wielopunktowych o identycznym rozkładzie.
• Uwidoczniona jest analogia między rozkładem wielopunktowym i rozkładem wielomianowym.
• Pokazuje, dlaczego rozkład Dirichleta jest rozkładem sprzężonym rozkładu wielopunktowego, i pozwala na wyznaczenie rozkładu a posteriori.

Inny sposób sformułowania jeszcze wyraźniej ukazuje związek między rozkładem wielopunktowym i wielomianowym, ponieważ traktuje rozkład wielopunktowy jako szczególny przypadek rozkładu wielomianowego, w którym parametr n rozkładu wielomianowego (liczba prób) jest ustalony na 1. W tym sformułowaniu przestrzeń zdarzeń można uznać za zbiór k-elementowych wektorów x, zawierających pojedynczą jedynkę i zera poza tym. Określony element o wartości 1 wskazuje, która kategoria została wybrana. Funkcja masy prawdopodobieństwa f przy takim sposobie sformułowania to:

$f(𝐱\mid 𝒑)=\prod _{i=1}^k{p}_i^{x_i},$

gdzie $p_i$ jest prawdopodobieństwem uzyskania elementu i oraz $\sum _i{p}_i=1$.

Własności

Możliwe zestawy prawdopodobieństw rozkładu wielopunktowego o liczbie kategorii $k=3$ tworzą dwuwymiarowy sympleks standardowy $p_1+p_2+p_3=1$, w trójwymiarowej przestrzeni.

• Rozkład jest całkowicie określony przez k prawdopodobieństw: $p_i=P(X=i)$, i = 1,... , k, gdzie $\sum _i{p}_i=1$. Możliwe wektory prawdopodobieństw tworzą standardowy $(k-1)$-wymiarowy sympleks. Dla k = 2 (rozkładu zero-jedynkowego) sprowadza się to do jednowymiarowego sympleksu (odcinka), $p_1+p_2=1,0⩽p_1,p_2⩽1.$
• $\mathrm{E}\left[𝐱\right]=𝒑$
• Niech $𝑿$ ma rozkład wielopunktowy, zaś wektor losowy Y niech składa się z elementów:

$Y_i=𝐈(𝑿=i),$

gdzie $𝐈$ jest funkcją wskaźnikową. Wtedy Y ma rozkład będący szczególnym przypadkiem rozkładu wielomianowego z parametrem $n=1$. Suma $n$ niezależnych zmiennych Y o jednakowym rozkładzie wielopunktowym z parametrem $𝒑$ ma rozkład wielomianowy z parametrami $n$ i $𝒑.$

• Sprzężony rozkład aprioryczny rozkładu wielopunktowego jest rozkładem Dirichleta.
• Statystyką dostateczną dla ustalonej całkowitej liczby n niezależnych prób jest zbiór zliczeń (lub, równoważnie, częstość) obserwacji w każdej kategorii.
• Funkcja charakterystyczna obserwacji o wartości i (czyli $[x=i]$ w notacji Iversona lub ${\delta }_{xi}$ z wykorzystaniem delty Kroneckera) ma rozkład zero-jedynkowy z parametrem $p_i.$

Zobacz też

• Rozkład Dirichleta
• Rozkład wielomianowy
• Rozkład zero-jedynkowy