BriefGPT.xyz
Nov, 2019
多语言BERT有多少语言中性？
How Language-Neutral is Multilingual BERT?
HTML
PDF
Jindřich Libovický, Rudolf Rosa, Alexander Fraser
TL;DR
本文讨论了Multilingual BERT (mBERT) 的语义属性，表明mBERT表征可以分为特定语言和语言中立两个部分，语言中立部分可以高准确度地对齐单词和检索句子，但尚不足以评估机器翻译质量。该研究揭示了构建更好的语言中立表征的挑战，特别是对于需要语义语言转移的任务。
Abstract
multilingual bert
(mBERT) provides
sentence representations
for 104 languages, which are useful for many multi-lingual tasks. Previous work probed the cross-linguality of mBERT using zero-shot transfer learning o
→