Google、DeepL和Modern MT:誰最能準確翻譯性別?

 

貼文日期:2023/08/07
貼文網址: https://www.facebook.com/TaiwanGIST/posts/783228607142605
來源連結:Good, but not always Fair: An Evaluation of Gender Bias for three commercial Machine Translation Systems.

慣用自動翻譯系統的朋友可能會發現,雖然譯文的品質蒸蒸日上,但文中出現的人物卻經常遭到「性別轉換」,尤其女人很容易變成男人(男人倒不太會變成女人)。

最近一份義大利研究就針對市面上最主要的三大翻譯系統「Google」、「DeepL」以及「Modern MT」進行分析,以了解它們翻譯性別的準確度。結果如何呢?

Image

#翻譯男性很準,翻譯女性很不準

該研究使用囊括多重語言並具備性別敏感度的「MuST-SHE基準測試集」,針對前述三種系統的「英文→西班牙文」、「英文→義大利文」以及「英文→法文」翻譯進行測試。

結果發現,當句子屬於第一人稱陳述,且必須根據說話者的表達判斷其性別時,三種系統的準確度皆有極大的性別落差。例如Google(英轉義)正確翻譯男性的比例是92.5%,女性卻只有9.2%。但如果句子內有明確的性別線索,準確度落差則縮小至12%以內。

在詞性方面,三種系統翻譯開放詞類(名詞、描述性形容詞、動詞)的性別落差都較大,尤其名詞與動詞可能相差50%以上;而封閉詞類(限制形容詞、代名詞、冠詞與介系詞)的落差則大約在20%以下。

 

#哪一種系統翻譯性別的表現最佳?

研究發現,雖然DeepL的通用翻譯品質並非最佳,但它翻譯性別的表現卻優於其他兩種系統。即便如此,DeepL翻譯結果的性別落差仍然很大。看來提升性別準確度將是翻譯系統需要克服的一大關卡。

 

#為什麼需要正確翻譯性別?

錯譯性別看似是使用者可以自行調整的小問題,但它很有可能造成更大的麻煩。若自動翻譯系統不斷將女人「轉換」成男人,可能導致網路中的男性代名詞大量增加,並進一步擴大(用來訓練機器的)語料庫中的性別落差,導致機器翻譯繼續以男性為預設標準。

對此,史丹佛大學的「性別化創新」(gendered innovations)研究團隊建議研發一套能夠辨識性別的演算法。透過識別文句中的個別實體及其社會性別,再運用演算法根據文本脈絡加以歸納。如此不僅能強化翻譯性別的準確度,更可以進一步縮減線上文本的性別落差。

 

想知道更多相關內容嗎,快點來看看原文研究: https://arxiv.org/abs/2306.05882

 

延伸閱讀:

性別化創新案例研究-機器翻譯 https://tinyurl.com/mr2zrh29


 ⇐前往較新一則貼文           前往較舊一則貼文⇒

 

科科性別已經有IG(@kekegender)了!在這裡 https://www.instagram.com/kekegender/

掌握國際間最新的性別化創新研究、活動與課程,請鎖定「性別化創新通訊新知」? https://tinyurl.com/mr2xkcy6