pretrained multilingual models | BriefGPT

关键词pretrained multilingual models

搜索结果 - 4

ACLmOthello: 跨语言表示对齐和跨语言迁移在多语言模型中的出现时机
预训练的多语言模型在交叉语言迁移方面展现出了能力，本研究旨在探讨学习语言中性表示的因素以及该表示是否足以促进交叉语言迁移。通过引入 “锚定标记”，可以帮助跨语言表示对齐，而仅仅学习语言中性表示是不足以促进交叉语言迁移的。基于研究结果，提出一
PDF3 months ago
ACL匹配脚本，适应多语：分析多语言预训练对跨语言可迁移性的影响
本研究旨在探讨预训练语言模型在不同数量、相关性条件下的零样本学习能力，并发现通过模型适应，增加预训练语言数量能够提高语言模型的性能。
PDF2 years ago
ACL如何将预训练的多语言模型应用至 1600 种语言
使用新约圣经等语料，对现有方法对新语言进行预训练模型转移进行了评估，并发现继续预训练是最好的方法，并且在词性标注和命名实体识别等任务中可以获得高达 17.69％的精度提升。
PDF3 years ago
ACLAmericasNLI: 评估真正低资源语言中预训练多语种模型的零样本自然语言理解
探索是否可以在未见过的语言上进行高级语义任务的零 - shot 学习。通过 AmericasNLI，测试了零 - shot 和翻译法等多种方法，结果发现 XLM-R 的零 - shot 表现很差，但通过持续预训练和对假设模型的考虑，有所提高
PDF3 years ago