multilingual pretrained models | BriefGPT

关键词multilingual pretrained models

搜索结果 - 6

Sāmayik：英梵翻译基准和数据集
我们发布了一个数据集，包含超过 42,000 个英汉平行句子，旨在填补现有涵盖当代修辞体的数字梵语语料库的空白。此外，我们还发布了来自现代语料库和包含梵语的以前发布的古典时代机器翻译数据集的训练样本，以适应现有的多语言预训练模型。
PDFa year ago
为新语言扩展多语预训练模型的子词模型
本文研究通过添加新的 Subwords 到 SentencePiece tokenizer 来扩展多语言预训练模型到新语言 (Inuktitut) 并应用于英文到 Inuktitut 翻译。
PDF2 years ago
通过本地结构探针检测对多语言模型不可理解的语言
本研究旨在通过不需要标注数据的方法，检测当前哪些语言无法受益于跨语言模型，我们基于构建一个跨语言句子相似度任务，对 350 个主要的低资源语言进行了实证评估。
PDF2 years ago
ACL多语言少样本转移数据选择的关键是模型中的多样化和不确定性
本文探索了各种数据选择策略，依靠多个度量，利用了渐变嵌入和损失嵌入方法，以提高针对多语言预训练模型的 POS 标记、NER 和 NLI 任务的 Few-shot 迁移的性能。实验证明，所提出的方法始终优于随机数据选择基线，即使仅使用更少的标
PDF2 years ago
EMNLP多语言语言模型的单 / 跨语言预训练动态分析
本研究旨在探究跨语言预训练模型的学习过程，发现该模型在语言内表现出较高的性能，复杂任务在低级语言技能前学习。添加不同的语言对跨语言转移的学习时机不同，并且最终模型层表现存在时间衰减现象，语言知识向网络底层传递。
PDF2 years ago
ACL通过基于词典的适应扩展预训练模型以覆盖数千种更多语言
本文探究了利用双语词典作为文本资源，从而使得多语言预训练模型的性能不再依赖于单一语种下的文本数据，通过不同策略合成文本或标注数据，并与单语文本或平行文本相结合，以提高在三个任务上 19 种欠发达语言的性能，为千余种使用 NLP 技术的欠代表
PDF2 years ago