Tekst źródłowy strony TFIDF

'''TFIDF''' ([[Język angielski|ang.]] TF – [[term frequency]], IDF – ''{{link-interwiki |inverse document frequency |Q=Q1671717}}'') – ważenie częstością [[term]]ów – odwrotna częstość w dokumentach – jedna z metod obliczania wagi słów na podstawie liczby ich wystąpień<ref>{{Cytuj |redaktor = Anand Rajaraman, Jeffrey David Ullman |tytuł = Data Mining |data = 2011 |data dostępu = 2024-08-29 |isbn = 978-1-107-73741-9 |miejsce = Cambridge |wydawca = Cambridge University Press |s = 1–17 |doi = 10.1017/cbo9781139058452.002 |url = https://www.cambridge.org/core/books/abs/mining-of-massive-datasets/data-mining/E5BFF4C1DD5A1FB946D616D619B373C2}}</ref>, należąca do grupy algorytmów obliczających [[statystyczna waga termu|statystyczne wagi termów]]. Każdy dokument reprezentowany jest przez wektor, składający się z wag słów występujących w tym dokumencie. TFIDF informuje o częstości wystąpienia termów uwzględniając jednocześnie odpowiednie wyważenie znaczenia lokalnego termu i jego znaczenia w kontekście pełnej kolekcji dokumentów<ref>{{Cytuj |autor = Junzheng Wu |tytuł = Information Retrieval 1: TF-IDF based search engine with python code |data = 2023-08-11 |data dostępu = 2024-08-29 |opublikowany = Medium |url = https://pub.aimind.so/information-retrieval-1-tf-idf-based-search-engine-with-python-code-54cd085786 |język = en}}</ref>.

Algorytm stosowany jako metoda oceny relewantności dokumentu w [[Wyszukiwanie informacji|wyszukiwaniu informacji]]<ref name=":0">{{Cytuj |autor = Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze |tytuł = Introduction to Information Retrieval |data = 2008-07-07 |data dostępu = 2024-08-29 |isbn = 978-0-521-86571-5 |wydanie = 1 |wydawca = Cambridge University Press |doi = 10.1017/cbo9780511809071.007. |url = https://www.cambridge.org/core/product/identifier/9780511809071/type/book}}</ref>, w szczególności stosowany w [[Wyszukiwarka internetowa|wyszukiwarkach internetowych]]<ref name=":1">[https://medium.com/@kartheek_akella/implementing-the-tf-idf-search-engine-5e9a42b1d30b Implementing the TF-IDF Search Engine]</ref>, kolejnym zastosowaniem jest ocena podobieństwa dokumentów w systemach [[Clustering (wyszukiwarki internetowe)|grupowania wyników]] oraz systemach typu antyplagiat.

Wartość TF-IDF oblicza się ze wzoru<ref name=":0" /><ref name=":1" />:
:: <math>\mathrm{(tf\text{-}idf)_{i,j}} = \mathrm{tf_{i,j}} \times \mathrm{idf_i},</math>

gdzie <math>\mathrm{tf_{i, j}}</math> to tzw. „term frequency”, wyrażana wzorem:
:: <math>\mathrm{tf_{i,j}} = \frac{n_{i,j}}{\sum_k n_{k,j}},</math>

gdzie <math>n_{i,j}</math> jest liczbą wystąpień termu <math>(t_i)</math> w dokumencie <math>d_j,</math> a mianownik jest sumą liczby wystąpień wszystkich termów w dokumencie <math>d_j.</math>
Wielkość <math>\mathrm{idf_i}</math> to „inverse document frequency” wyrażana wzorem:
:: <math>\mathrm{idf_i} = \log \frac{|D|}{|\{d: t_i \in d\}|},</math>

gdzie:
: <math>|D|</math> – liczba dokumentów w korpusie,
: <math>|\{d : t_i \in d\}|</math> – liczba dokumentów zawierających przynajmniej jedno wystąpienie danego termu.

== Przypisy ==
{{Przypisy}}

== Bibliografia ==
* [http://portal.acm.org/citation.cfm?id=866292 Waga Termów w Automatycznych Systemach Przetwarzania Tekstu] [en]

== Zobacz też ==
* [[PageRank]]
* [[Term frequency|TF]]

[[Kategoria:Wyszukiwarki internetowe]]
[[Kategoria:Algorytmy tekstowe]]