multilingual pretraining | BriefGPT

关键词multilingual pretraining

搜索结果 - 10

ACLmOthello: 跨语言表示对齐和跨语言迁移在多语言模型中的出现时机
预训练的多语言模型在交叉语言迁移方面展现出了能力，本研究旨在探讨学习语言中性表示的因素以及该表示是否足以促进交叉语言迁移。通过引入 “锚定标记”，可以帮助跨语言表示对齐，而仅仅学习语言中性表示是不足以促进交叉语言迁移的。基于研究结果，提出一
PDF2 months ago
ACL以字节衡量跨语言转移
通过实验证实，多语言预训练可以在源语言和目标语言之间进行跨语言迁移，且不仅语言污染和语言近似性是影响迁移的因素，还有一种语言无关的知识组件，可以用于跨语言迁移和知识传递。
PDF3 months ago
多语言预训练和指导微调在跨语言知识对齐中的改进，但仅限于浅层
通过跨语言知识对齐（cross-lingual knowledge alignment）的绩效（Performance）、一致性（Consistency）和传导度（Conductivity）来评估大型语言模型（LLMs）中多语言预训练和指令
PDF3 months ago
COLING机器翻译：跨语言预训练和跨语言迁移学习的桥梁吗？
利用机器翻译作为持续训练目标来增强语言表示学习在跨语言学习中的作用研究发现，机器翻译无法增强多个跨语言自然语言理解任务中的跨语言表示学习，这对未来的跨语言转移研究有重要影响。
PDF3 months ago
EMNLP以词义进行编码切换的神经网络机器翻译预训练
我们介绍了一种使用知识库中词义特定信息进行预训练的多语言神经机器翻译模型的端到端方法，通过实验证明了我们方法在整体翻译质量上有显著改进，并且在 DiBiMT 消歧测试中显示出了精确性改进的鲁棒性。
PDF8 months ago
多语言神经表示的端到端开放词汇关键词搜索
利用多语言预训练的神经 ASR-free 关键词搜索模型能够显著提高性能，并且在长查询和未出现在训练数据中的查询方面胜过基于 ASR 的系统。
PDFa year ago
ACL为实现零样本神经机器翻译最大化利用多语言预训练
论文证明多语言预训练和微调策略对于零 - shot 翻译是至关重要的，本文提出了一个强大的多语言翻译模型 SixT+，支持 100 多种源语言，并实现了在不同翻译任务中的最好表现。
PDF3 years ago
CLSRIL-23: 面向印度语言的跨语言语音表示
本研究提出了 CLSRIL-23，一种基于自监督学习的音频预训练模型，可以在 23 种印度语言的原始音频中学习跨语言的语音表示。在预训练期间，将语言特定的语音表示分别比较以比较单语和多语预训练的效果。我们的实验证明，多语预训练优于单语预训练
PDF3 years ago
ACLVECO: 变量和灵活的跨语言预训练模型，用于语言理解和生成
本文提出了一种在 Transformer 编码器中添加交叉注意力模块的方法，用于处理多语言预训练中的语言依赖关系问题，并在多种跨语言任务中获得新的最先进结果。
PDF4 years ago
可扩展的跨语言预训练和微调技术实现多语言翻译
本文证明多语言预训练可以通过多语言微调来创建多语言翻译模型，并且证明在不失性能的前提下，预训练模型可以扩展到更多语言。此外，作者基于 ML50 数据集表明，多语言微调相较于其他训练方式有显著提升。
PDF4 years ago