multilingual pre-training | BriefGPT

关键词multilingual pre-training

搜索结果 - 9

EMMA-X：一种 EM 样本的多语言预训练算法，用于跨语言表示学习
提出 EMMA-X: 一种基于 EM 模型的多语种预训练算法，通过大规模非平行数据学习跨语言的通用语义，实现语义关系预测和跨语言表示学习的统一，取得了最新技术的表现。
PDF8 months ago
AfriNames: 许多 ASR 模型 “屠杀” 非洲人的姓名
通过多语言预训练、智能数据增强策略以及在多种非洲口音上微调多语言自动语音识别模型，解决使用非洲人名时自动语音识别模型性能下降的问题。相比基准样本，在使用非洲人名的样本上精度相对错误率改善了 81.5%。
PDFa year ago
机器创建的通用语言，用于跨语言传输
本文提出了一种新的中间语言，机器创建的通用语言（MUL），将多种自然语言翻译成同一通用词，从而实现更好的跨语言转移和更好的解释性能，实验结果表明，与多语言预训练相比，将其翻译成 MUL 可获得更好的性能，并且 MUL 具有很好的解释性能。
PDFa year ago
ACLPEACH：预训练序列到序列的多语言翻译模型，使用半监督伪并行文档生成
本研究介绍一种新的半监督方法，能为多语言预训练生成高质量的伪平行数据，结合高质量的字典，能够在机器翻译等多种任务中胜过现有方法，特别适用于低资源语言。
PDFa year ago
TRIP: 多语言语言模型三角形式的文档级预训练
本文介绍了第一个将常规的单语和双语预训练扩展到三语环境的三角形文档级预训练（TRIP）方法，在对文档级机器翻译和跨语言抽象摘要的实验中，TRIP 在三项多语种文档级机器翻译基准和一个跨语言抽象摘要基准上提高了多达 3.65 d-BLEU 点
PDF2 years ago
ACL多语言无监督序列分割的移植至极低资源语言
利用遮蔽音段语言模型等方法，我们通过从一系列低资源语言中进行多语言预训练的方式，将非监督序列分割性能成功地转移到了五个极低资源的玛雅语言，其中包括 K'iche' 等。在实验中，我们将多语言模型与单语言模型以及只预先训练过 Quechua
PDF3 years ago
WMT20 的 Volctrans 机器翻译系统
介绍我们在 WMT20 共享新闻翻译任务中使用的 VolcTrans 系统，该系统基于 Transformer，包括文本预处理、数据选择、合成数据生成、高级模型集成和多语言预训练。
PDF4 years ago
EMNLPPAWS-X: 用于语义相似度识别的跨语言对抗数据集
PAWS-X 是一个新的数据集，由六种不同类型的语言中的 23,659 个人类翻译评估成对组成，并提供了三个不同容量模型的基线数字，这些模型具有捕捉非本地上下文和句子结构的不同能力，并使用不同的多语种训练和评估模式。
PDF5 years ago
ACL自我注意力和预训练的多语言组成句法分析
通过对各种语言和预训练条件进行的实验比较表明，联合无监督预训练和微调是一种有效的方法，可以在各种语言上提高句法分析的性能并实现新的最先进的结果。
PDF6 years ago