multilingual neural machine translation | BriefGPT

关键词multilingual neural machine translation

搜索结果 - 48

编码器内部的语言转换：关于零翻译多语言中的表示转换
这篇论文通过研究多语言神经机器翻译中的表示转移，揭示了导致零射翻译不足的表示问题。研究中引入了身份对（一个句子翻译为自身），以解决多语言研究中基准测量缺失的问题，因为身份对代表了所有语言转移中的最佳表示状态。通过分析，我们证明编码器将源语言
PDF22 days ago
ACLLCS：一种用于零 - shot 神经机器翻译的语言转换策略
多语言神经机器翻译模型通过在源语言或目标语言句子前添加语言标签（LT）来区分翻译方向。然而，目前的语言标签策略在零 - shot 翻译中无法准确指示期望的目标语言，即目标偏移问题。为解决上述问题，我们提出了一种名为语言转换策略（LCS）的简
PDFa month ago
多语言神经机器翻译中的 ACT-MNMT 自动收敛调节
本文引入了一种自动约束模板的机制，名为 Auto-Constriction Turing Mechanism for Multilingual Neural Machine Translation (model)，它是一种新颖的监督微调机制
PDF4 months ago
盖兹语机器翻译
通过研究各种方法改进低资源和古老语言机器翻译，包括从相关语言进行迁移学习，优化共享词汇和令牌分割方法，微调大型预训练模型，并使用大型语言模型实现少量训练样本的模糊匹配翻译，我们开发了一种基于语言相关性的多语言神经机器翻译模型，在标准的双语模
PDF7 months ago
通过模仿学习拓展多语言机器翻译
通过模仿学习 imitate learning 的方法扩展大规模多语言神经机器翻译 MNMT 模型，解决了新语言增加后导致性能下降的问题，并改善了翻译性能和解决了当前大规模神经机器翻译模型中常见的复制和偏离问题。
PDF8 months ago
跨语言多语种神经机器翻译中的鲁棒性是否可转移？
研究通过对抗训练和数据增强来提高多语言神经机器翻译模型的稳健性，并探究在多语言翻译中稳健性的可传递性。在多个实验中，我们使用字符级、词级和多级噪声来攻击多语言神经机器翻译模型的特定翻译方向，并评估其他翻译方向的稳健性。我们的研究结果表明，稳
PDF8 months ago
EMNLP走向更好的零射神经机器翻译性能变动的理解
通过对涵盖 40 种语言的 1,560 个语言方向进行系统实验，我们发现目标端翻译质量是最具影响力的因素，词汇重叠一直对零射击性能产生影响，此外，语言的家族和书写系统等语言属性对于较小的模型具有一定作用。
PDF9 months ago
TPDM: 通过 Token 级位置隔离模块有选择性地移除位置信息，用于零样本翻译
本文介绍了如何通过构建一个基于 Token 级别的位置解缠模块（TPDM）框架，以有选择的方式保留有用的位置信息，从而改善了零 - shot 翻译的性能，并减少了监督方向上的性能损失。
PDFa year ago
ACL多语言机器翻译中的高 Pareto 前沿探索
本文提出了一种新的训练框架 Pareto Mutual Distillation (Pareto-MD)，通过知识蒸馏协同训练出针对不同语言的 Pareto 最优解，有力地推进了 Pareto 前沿，实验结果表明在 WMT 和 TED 数据
PDFa year ago
跨语言机器翻译中的词汇表不足：增加语言间表示单词的相似度
本论文提出了一种新的共享词汇的设计方法，通过定义词级别信息传递路径和使用图网络来融合跨语言的词嵌入，避免了多语言之间文字编码的问题，实验还表明该方法在高低资源多语言机器翻译中可实现显著的 BLEU 分数改进，且只需额外训练少于 1.0％的可
PDFa year ago
多语种机器翻译中的数据不平衡和表示退化缓解
提出了一个名为 Bi-ACL 的框架，旨在解决多语言神经机器翻译中的数据不平衡和表示退化问题。该框架使用仅目标侧单语数据和双语词典，结合双向自编码器和双向对比学习模块，并使用在线约束波束搜索和课程学习采样策略。实验表明，该方法对长尾语言和高
PDFa year ago
透过表征镜头观察多语言机器翻译中的知识转移
该研究认为，单纯使用翻译质量度量多语言神经机器翻译中的知识转移并不足够。为了支撑这一观点，引入了 “表示转移潜力”（RTP），用于衡量不同语言之间的表示相似性，并发现 RTP 可测量正向和负向的迁移（干扰），并且 RTP 与翻译质量变化强相
PDFa year ago
用于零样本神经机器翻译的可变长度神经中介语表示
通过引入变长神经中介语表示，提高神经中介语表示的表达能力，以实现零 - shot 翻译的稳定性和优越性。
PDFa year ago
ACL利用跨语言一致性正则化提升零样本多语言神经机器翻译
本文介绍了一种跨语言一致性正则化方法 CrossConST，用于在多语言神经机器翻译模型中实现零 - shot 翻译，以实现不同语言之间的普适表示，并提高翻译性能。实验结果证明 CrossConST 能够提高模型的翻译性能并降低句子表示间的
PDFa year ago
链式词典提示诱发大型语言模型翻译
本篇论文提出一种新方法名为 CoD，通过使用多语言词典来引出 LLMs 的翻译能力，从而提高大规模语言模型在多语言神经机器翻译中的表现，实验表明，CoD 可使得 ChatGPT 在 FLORES-200 全 devtest 集上英塞语察里洛
PDFa year ago
利用知识蒸馏压缩多语言神经机器翻译模型的实证研究
本文探讨了如何通过知识蒸馏来压缩 MNMT 模型，发现这是一项具有挑战性的任务，并提出了一些设计思考和优化方案。
PDFa year ago
低资源语言的神经机器翻译
该研究探索了低资源语言领域的神经机器翻译以及如何通过 NLP 和深度学习技术对语言模型进行改进
PDFa year ago
多语言神经机器翻译的 Pareto 前沿
本研究旨在探究在多语言神经机器翻译中，给定方向的泛化性能如何随着其采样比例的变化而改变。我们发现，当训练语料具有数据不平衡时，标量化会导致多任务折衷前沿偏离传统的 Pareto 前沿。最后，我们基于观察结果提出了双重幂律，用于预测 MNMT
PDFa year ago
Lego-MT: 面向大规模多语机器翻译的可拆卸模型
本文提出了一种名为 Lego-MT 的多向分支神经机器翻译模型，通过局部化训练，将不同的分支映射到一个统一的空间中，达到高效、可分离的效果，并在收集的包含 7 个语言中心数据的大型开源翻译基准测试中，取得了超过 4 个 BLEU 的提升，优
PDF2 years ago
基于知识蒸馏的多语言神经机器翻译的终身学习
研究多语言神经机器翻译中的灾难性遗忘问题，并提出基于知识蒸馏的生命周期学习方法，以应对其面临的问题。实验结果显示，该方法能够更好地巩固以前的知识并显著减轻问题。
PDF2 years ago