Prieš savaitę išbandžiau Google kalbos atpažinimo funkcionalumą su 2017 metų Nacionalinio diktanto įrašu. Šiandien testuosiu Tilde teikiamą funkcionalumą su tuo pačiu garso įrašu. “Tilde IT” tai kalbos technologijų bendrovė, siūlanti programinės įrangos lokalizavimą, techninės dokumentacijos vertimą, Baltijos šalių kalbų palaikymo programinės įrangos kūrimą.
Kaip manote, ar “Tilde” prilygs JAV technologijų gigantei lietuvių kalbos gebėjimais?
Tilde ir Google funkcionalumo palyginimui panaudosiu savo GitHub projektą, kurį tiksliau aprašiau čia.
Tilde tyrimas
Tilde kalbos portale nesuradau galimybės užkrauti įrašų programiškai (būtina kontaktuoti Tilde specialistus), tad nusprendžiau failus įkelti pats (35 įrašai). Su Google bandžiau pagerinti rezultatus užkraunant pakartotus sakinius ir pasirenkant vertimą su aukščiausiu pasitikėjimo koeficentu. Deja, Tilde negražina vartotojui tokio koeficjento, tad belieka siųsti pavienius sakinius.
Rezultatai jau iš pirmo žvilgsnio maloniai stebino, tad negalėjau sulaukti kada Tilde apdoros visus sakinius.
Tilde vs Google
Kalbos atpažinimo efektyvumui suskaičiuoti pasitelkiau žodžių klaidų lygio formule (Word Error Rate WER) (kiek žodžių pašalinta, pakeista, nereikalingai įterpta iš visų žodžių originalo tekste).
Pašalinus skyrybos ženklus ir didžiąsias raides pavertus mažosiomis, Tilde (18.36% WER) padarė du kartus mažiau klaidų nei Google (39.55% WER). Net sakinių pakartojimas Google smarkiai nepadėjo - 36.44% WER.
Bet linksmybės dar tik prasideda! Pasirodo, Tilde gana neblogai išmano skyrybą ir pasiekė 24.79% WER įskaitant didžiąsias raides ir skyrybos ženklus. Google - 59.89% WER.
Apibendrinimas
Rezultatas vienareikšmiškas - Tilde sumalė Google kalbos atpažinimą į miltus. Šiam testui atlikti naudojamas garso įrašas yra išties sudėtingas, bet kokybiškai įrašytas. Įdomu kaip Tilde susidoroja su pašaliniais garsais ar keliais kalbėtojais vienu metu?
Nuorodos: