BLEU skoor on laialdaselt kasutatav mõõdik masintõlkemudelite toimivuse hindamiseks. See mõõdab masintõlke ja ühe või mitme võrdlustõlke sarnasust. AutoML Translationiga koolitatud kohandatud tõlkemudeli kontekstis võib BLEU skoor anda väärtuslikku teavet mudeli väljundi kvaliteedi ja tõhususe kohta.
Et mõista, kuidas BLEU skoori kasutatakse, on oluline esmalt mõista selle aluseks olevaid mõisteid. BLEU tähistab kahekeelse hindamise alusuuringut ja see töötati välja masintõlgete kvaliteedi automaatseks hindamiseks, võrreldes neid inimese loodud võrdlustõlgetega. Skoor on vahemikus 0 kuni 1, kusjuures kõrgem skoor näitab paremat tõlget.
AutoML Translation on Google Cloud AI platvormi pakutav võimas tööriist, mis võimaldab kasutajatel koolitada kohandatud tõlkemudeleid, kasutades oma andmeid. Kui mudel on koolitatud, saab seda kasutada uue sisendteksti tõlgete genereerimiseks. BLEU skoori saab seejärel kasutada nende tõlgete kvaliteedi hindamiseks.
BLEU skoori arvutamiseks võrreldakse mudeli loodud tõlkeid ühe või mitme võrdlustõlkega. Võrdluse aluseks on n-grammid, mis on n-sõnast koosnevad külgnevad jadad. BLEU skoor ei võta arvesse mitte ainult n-grammide täpsust mudeli loodud tõlkes, vaid ka nende olemasolu võrdlustõlgetes. See aitab tabada nii tõlgete adekvaatsust kui ka sujuvust.
Illustreerime seda näitega. Oletame, et meil on võrdlustõlge: "Kass istub matil." Ja mudel genereerib järgmise tõlke: "Kass istub matil." Saame need laused jagada n-grammideks:
Viide: ["The", "cat", "on", "istub", "on", "the", "mat"] Mudel: ["The", "cat", "istub", "on", "the", "matt"]
Sel juhul tõlgib mudel enamiku n-grammidest õigesti, kuid jätab vahele verbi aja ("on" vs. "istub"). BLEU skoor kajastaks seda, määrates tõlkele madalama hinde.
BLEU skoori saab arvutada erinevate meetodite abil, näiteks muudetud täpsuse ja lühiduse trahvi abil. Muudetud täpsus on tingitud asjaolust, et tõlge võib sisaldada mitut n-grammi esinemist, samas kui lühiduse karistus karistab tõlkeid, mis on oluliselt lühemad kui võrdlustõlked.
Hinnates AutoML Translationiga koolitatud kohandatud tõlkemudeli BLEU skoori, saavad kasutajad saada ülevaate mudeli toimivusest ja tuvastada valdkonnad, mida tuleks parandada. Nad saavad võrrelda erinevate mudelite või iteratsioonide BLEU hindeid, et jälgida edusamme ja teha teadlikke otsuseid mudelivaliku või peenhäälestuse kohta.
BLEU skoor on väärtuslik mõõdik AutoML Translationiga koolitatud kohandatud tõlkemudelite toimivuse hindamiseks. See annab masintõlgete kvaliteedi kvantitatiivse mõõdiku, võrreldes neid võrdlustõlgetega. BLEU skoori analüüsides saavad kasutajad hinnata oma mudelite tõhusust ja teha andmepõhiseid otsuseid tõlkekvaliteedi parandamiseks.
Muud hiljutised küsimused ja vastused selle kohta AutoML-i tõlge:
- Milliseid samme hõlmab kohandatud tõlkemudeli loomine AutoML Translationiga?
- Kuidas ületab AutoML-i tõlge lõhe üldiste tõlkeülesannete ja nišisõnavara vahel?
- Milline on AutoML-i tõlke roll konkreetsete domeenide jaoks kohandatud tõlkemudelite loomisel?
- Kuidas saavad kohandatud tõlkemudelid olla kasulikud masinõppe ja tehisintellekti eriterminite ja kontseptsioonide jaoks?