TFIDF

TFIDF (ang. TF – term frequency, IDF – Szablon:Link-interwiki) – ważenie częstością termów – odwrotna częstość w dokumentach – jedna z metod obliczania wagi słów na podstawie liczby ich wystąpień, należąca do grupy algorytmów obliczających statystyczne wagi termów. Każdy dokument reprezentowany jest przez wektor, składający się z wag słów występujących w tym dokumencie. TFIDF informuje o częstości wystąpienia termów uwzględniając jednocześnie odpowiednie wyważenie znaczenia lokalnego termu i jego znaczenia w kontekście pełnej kolekcji dokumentów.

Algorytm stosowany jako metoda oceny relewantności dokumentu w wyszukiwaniu informacji, w szczególności stosowany w wyszukiwarkach internetowych, kolejnym zastosowaniem jest ocena podobieństwa dokumentów w systemach grupowania wyników oraz systemach typu antyplagiat.

Wartość TF-IDF oblicza się ze wzoru:

$\mathrm{(}\mathrm{t}\mathrm{f}\text{-}\mathrm{i}\mathrm{d}\mathrm{f}{\mathrm{)}}_{\mathrm{i},\mathrm{j}}=\mathrm{t}{\mathrm{f}}_{\mathrm{i},\mathrm{j}}\times \mathrm{i}\mathrm{d}{\mathrm{f}}_{\mathrm{i}},$

gdzie $\mathrm{t}{\mathrm{f}}_{\mathrm{i},\mathrm{j}}$ to tzw. „term frequency”, wyrażana wzorem:

$\mathrm{t}{\mathrm{f}}_{\mathrm{i},\mathrm{j}}=\frac{n_{i,j}}{\sum _k{n}_{k,j}},$

gdzie $n_{i,j}$ jest liczbą wystąpień termu $(t_i)$ w dokumencie $d_j,$ a mianownik jest sumą liczby wystąpień wszystkich termów w dokumencie $d_j.$ Wielkość $\mathrm{i}\mathrm{d}{\mathrm{f}}_{\mathrm{i}}$ to „inverse document frequency” wyrażana wzorem:

$\mathrm{i}\mathrm{d}{\mathrm{f}}_{\mathrm{i}}=\log \frac{|D|}{|\{d:t_i\in d\}|},$

gdzie:

$|D|$ – liczba dokumentów w korpusie,

$|\{d:t_i\in d\}|$ – liczba dokumentów zawierających przynajmniej jedno wystąpienie danego termu.

Bibliografia

• Waga Termów w Automatycznych Systemach Przetwarzania Tekstu [en]

Zobacz też

• PageRank
• TF