Tekst źródłowy strony BLEU

{{DISPLAYTITLE:{{J|en|{{PAGENAME}}}}}}
'''{{J|en|BLEU}}''' ('''{{J|en|Bilingual Evaluation Understudy}}''') – [[algorytm]] do [[Ocena tłumaczenia maszynowego|ewaluacji jakości tłumaczenia automatycznego]] z jednego [[Język naturalny|języka naturalnego]] na inny. Jakość jest rozumiana jako [[korelacja]] między danymi wyjściowymi a tekstem ludzkim: „im bliższe tłumaczenie automatyczne jest profesjonalnemu tłumaczeniu ludzkiemu, tym jest lepsze”<ref name="Papineni">K. Papineni et al. (2002).</ref>. {{J|en|BLEU}} był jedną z pierwszych [[Przestrzeń metryczna|metryk]], która uzyskała wysoką korelację z ludzkim osądem jakości<ref name="Papineni" /><ref name="Coughlin">Coughlin D. (2003).</ref>. Pozostaje także najbardziej popularną z metod.

Punkty liczone są dla pojedynczych przetłumaczonych segmentów – zwykle zdań – przez porównanie ich ze zbiorem tłumaczeń referencyjnych dobrej jakości. Punkty te są następnie uśredniane w obrębie całego [[Korpus (językoznawstwo)|korpusu]], aby oszacować całkowitą jakość tłumaczenia. Pod uwagę nie są brane zrozumiałość oraz poprawność gramatyczna.

{{J|en|BLEU}} jest zaprojektowany, aby przybliżać ludzką ocenę na poziomie dużych korpusów i nie sprawdza się do oceny pojedynczych zdań.

== Algorytm ==
{{J|en|BLEU}} używa zmodyfikowanej wersji precyzji do porównania tłumaczenia kandydującego względem kilku tłumaczeń referencyjnych. Metryka modyfikuje pojedynczą precyzję, gdyż ustalono, że tłumaczenie automatyczne generuje więcej słów niż jest w tłumaczeniu referencyjnym. Jest to zilustrowane w poniższym przykładzie (Papineni et al. (2002)):

{|class=wikitable
|+ Przykład słabego wyniku tłumaczenia automatycznego z wysoką precyzją
|-
| Kandydat || {{J|en|the}} || {{J|en|the}} || {{J|en|the}} || {{J|en|the}} || {{J|en|the}} || {{J|en|the}} || {{J|en|the}}
|-
| Referencja 1 || {{J|en|the}} || {{J|en|cat}} || {{J|en|is}} || {{J|en|on}} || {{J|en|the}} || {{J|en|mat}}
|-
| Referencja 2 || {{J|en|there}} || {{J|en|is}} || {{J|en|a}} || {{J|en|cat}} || {{J|en|on}} || {{J|en|the}} || {{J|en|mat}}
|}

W tym przykładzie, kandydujący tekst posiada następujący unigram precyzji:
: <math>P = \frac{m}{w_t} = \frac{7}{7} = 1</math>,

gdzie <math>m</math> jest liczbą słów tekstu znalezionych w referencji, a <math>w_t</math> liczbą słów w referencji.

Wszystkie spośród siedmiu słów tłumaczenia kandydującego pojawiają się w tłumaczeniach referencyjnych. Przedstawia to problem metryki: tłumaczenie kandydujące nie zachowuje żadnych treści z żadnego tłumaczenia referencyjnego. Modyfikacja, którą wprowadza {{J|en|BLEU}}, jest prosta.

Dla każdego wyrazu w tłumaczeniu kandydującym, algorytm bierze maksymalną całkowitą liczbę wystąpień w tłumaczeniach referencyjnych. W powyższym przykładzie, wyraz „{{J|en|the}}” pojawia się dwa razy w referencji 1 i raz w referencji 2. W tym wypadku największą wartością jest dwa i jest ona uznawana za „maksymalną referencyjną liczbę”.

Dla każdego ze słów w tłumaczeniu kandydującym, liczba słów jest porównywana z maksymalną liczbą referencyjną i brana jest najniższa wartość. W tym przypadku liczba słów „{{J|en|the}}” w tłumaczeniu kandydującym wynosi siedem z maksymalną liczbą referencyjną dwa. Ta „zmodyfikowana liczba” jest następnie dzielona przez całkowitą liczbę słów w tekście kandydującym. W powyższym przykładzie, zmodyfikowane punkty unigramu precyzji wynoszą:
: <math>P = \frac{2}{7}.</math>

Powyższa metoda jest wykorzystywana do obliczania punktów dla każdego <math>n.</math> Wartość <math>n,</math> która ma „największą korelację z jednojęzycznym osądem ludzkim”<ref name="Papineni" />, wynosi cztery. Unigram punktów odpowiada za adekwatność tłumaczenia (jak wiele informacji zostało zachowanych). Dłuższe punkty <math>n</math>-gramów {{J|en|scores}} odpowiadają za płynność tłumaczenia albo do jakiego stopnia czyta się je jak „dobry język polski”.

Modyfikacja precyzji nie rozwiązuje problemu krótkich tłumaczeń, które mogą wyprodukować wysokie punkty mimo korzystania ze zmodyfikowanej precyzji. Przykład tłumaczenia kandydującego dla tych samych referencji:
: {{J|en|the cat}}.

W tym przykładzie zmodyfikowany unigram precyzji wynosi:
: <math>P = \frac{1}{2} + \frac{1}{2} = \frac{2}{2},</math>

jako że wyrazy „{{J|en|the}}” i „{{J|en|cat}}” pojawiają się raz w tłumaczeniu kandydującym, a całkowita liczba słów wynosi dwa. Zmodyfikowany dwugram precyzji będzie wynosił <math>1 / 1</math>, jako że dwugram „{{J|en|the cat}}” występuje raz w tekście kandydującym. Zauważono, że aby uniknąć tego problemu precyzja zwykle idzie w parze z odwołaniami (ang. '''{{J|en|recall}}''')<ref name="Papineni" />, jako że unigram odwołań w tym przykładzie będzie wynosił <math>2 / 6</math> lub <math>2 / 7.</math> Istnieje problem zawyżenia odwołań, jeśli tłumaczenie składa się ze wszystkich słów zawartych w tłumaczeniach referencyjnych<ref name="Papineni" />.

W celu stworzenia punktu dla całego korpusu, łączone są zmodyfikowane punkty precyzji dla segmentów korzystające ze [[Średnia geometryczna|średniej geometrycznej]] pomnożonej przez karę zwięzłości (ang. '''{{J|en|brevity penalty}}''') w celu uniknięcia sytuacji, kiedy krótkie teksty kandydującego otrzymują zbyt duży wynik. Niech <math>r</math> będzie całkowitą długością korpusu referencyjnego, a <math>c</math> całkowitą długością korpusu tłumaczenia. Jeśli <math>c \leqslant r,</math> stosuje się karę zwięzłości określoną następująco <math>e^{(1-r/c)}.</math> (W przypadku wielorakich zdań referencyjnych, <math>r</math> to suma długości zdań, których długości są najbliższe do długości zdań kandydujących).

== Wyniki ==
{{J|en|BLEU}} często zostawał uznawany za korelujący dobrze z ludzkim osądem<ref name="Papineni" /><ref name="Coughlin" /><ref>G. Doddington (2002).</ref> i pozostaje punktem odniesienia dla ocen każdej nowej metody. Metoda ta jest jednak krytykowana. Wykazano, że mimo możliwości ewaluacji tłumaczeń każdego języka, BLEU w obecnej formie nie radzi sobie z językami, które nie posiadają granic słów<ref>E. Denoual, Y. Lepage (2005).</ref>.

Stwierdzono, że mimo znacznych zalet {{J|en|BLEU}}, nie ma gwarancji, że wzrost punktu {{J|en|BLEU}} jest wskaźnikiem polepszenia jakości tłumaczenia<ref name="Callison-Burch">C. Callison-Burch, M. Osborne, P. Koehn (2006).</ref>. Niemniej jednak zostały podkreślone dwa przypadki, gdzie BLEU sobie poważnie nie poradził. Były to:
* ewaluacje {{J|en|NIST}} z 2005 roku<ref>A. Lee, M. Przybocki (2005).</ref> gdzie było testowanych kilka różnych systemów tłumaczeń automatycznych – odnotowano, że wyniki wygenerowane przez {{J|en|BLEU}} zawiodły w porównaniu z oceną ludzką. Systemy, które zostały najlepiej ocenione przez ludzi, były na szóstym miejscu według BLEU.
* analiza silnika SYSTRAN przeciw dwóm silnikom korzystającym ze [[Tłumaczenie statystyczne|statystycznego tłumaczenia automatycznego]]<ref name="Callison-Burch" />. – wynik {{J|en|BLEU}} dla SYSTRANu był znacząco gorszy niż wynik przyznany przez ludzi. Wywnioskowano, że {{J|en|BLEU}} powinien być wykorzystywany w celu porównania dwóch podobnych systemów.

== Zobacz też ==
* [[METEOR]]

== Przypisy ==
{{Przypisy}}

== Bibliografia ==
* Papineni K., Roukos S., Ward T., Zhu W.J. (2002). [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.19.9416&rep=rep1&type=pdf „BLEU: a method for automatic evaluation of machine translation”] in ''ACL-2002: 40th Annual meeting of the Association for Computational Linguistics'' s. 311–318.
* Callison-Burch C., Osborne M., Koehn P. (2006) [http://www.cs.jhu.edu/~ccb/publications/re-evaluating-the-role-of-bleu-in-mt-research.pdf „Re-evaluating the Role of BLEU in Machine Translation Research”] in ''11th Conference of the European Chapter of the Association for Computational Linguistics: EACL 2006'' s. 249–256.
* Doddington G. (2002) [http://www.nist.gov/speech/tests/mt/doc/ngram-study.pdf „Automatic evaluation of machine translation quality using n-gram cooccurrence statistics”] in ''Proceedings of the Human Language Technology Conference (HLT), San Diego, CA'' s. 128–132.
* Coughlin D. (2003) [http://www.mt-archive.info/MTS-2003-Coughlin.pdf „Correlating Automated and Human Assessments of Machine Translation Quality”] in ''MT Summit IX, New Orleans, USA'' s. 23–27.
* Denoual E., Lepage Y. (2005) [http://www.mt-archive.info/IJCNLP-2005-Denoual.pdf „BLEU in characters: towards automatic MT evaluation in languages without word delimiters”] in ''Companion Volume to the Proceedings of the Second International Joint Conference on Natural Language Processing'' s. 81–86.
* Lee A., Przybocki M. (2005) NIST 2005 machine translation evaluation official results.
* Lin C., Och F. (2004) [http://www.mt-archive.info/ACL-2004-Lin.pdf „Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics”] in ''Proceedings of the 42nd Annual Meeting of the Association of Computational Linguistics''.

[[Kategoria:Tłumaczenie]]