cross-lingual language model | BriefGPT

关键词cross-lingual language model

搜索结果 - 4

EMNLP神经单词对齐的第三方对齐器
本文提出使用第三方词对齐器生成的单词对齐来监督神经单词对齐训练，在微调预训练的跨语言语言模型时，目标是让每个单词对的源语言单词和目标语言单词在情境化的嵌入空间中成为彼此相邻的接近邻居，实现自我训练并在各种语言对的基准测试中获得最先进的单词对
PDF2 years ago
将预训练语言模型提炼为多语言自动语音识别模型
本研究提出了一个名为 Distill-L2S 的新方法，将一个已经训练好的跨语言语言模型转移到语音识别模型中，通过该方法在 20 种低资源语言中达到了优越性能。
PDF2 years ago
ACLXLM-E: 通过 ELECTRA 进行跨语言语言模型预训练
通过 ELECTRA 风格任务，我们引入了跨语言语言模型预训练。我们在多语言和平行语料库上对模型进行预训练，同时提出了两个预训练任务，即多语言替换标记检测和翻译替换标记检测。我们的模型在各种跨语言理解任务中表现优异，成本更低。此外，分析显示
PDF3 years ago
分析监督式 NLP 任务中的零样本跨语言迁移
本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。
PDF3 years ago