Mar, 2024

多语言神经机器翻译中的 ACT-MNMT 自动收敛调节

PDF
TL;DR本文引入了一种自动约束模板的机制，名为 Auto-Constriction Turing Mechanism for Multilingual Neural Machine Translation (model)，它是一种新颖的监督微调机制，并与传统基于提供的方法截然不同。在该方法中，model 通过在目标端添加触发标记构建了一个约束模板，并且可以自由组合和更新触发标记以表示不同的任务语义，实验证明 model 在多个翻译方向上显著提高了性能，并减少了翻译中的目标错误现象。
large language modelmachine translationauto-constriction turning mechanismmultilingual neural machine translationoff-target issue
发现论文，激发创造
  • 提升多对多多语言机器翻译的方法与大型语言模型

    本文研究了机器翻译的训练模型，从学习具有广泛平行语料的神经机器翻译模型逐渐转变为在预训练的多语言大型语言模型上进行指导微调，并重点关注增强多对多多语言翻译性能和零 - shot 翻译方向的。我们证明了在指导微调过程中采用的提示策略对零 - shot 翻译性能至关重要，并引入了跨语言一致性正则化（CrossConST）的版本，即 XConST，以弥合不同语言之间的表示差距并提高零 - shot 翻译性能。在 ALMA 和 LLaMA-2 的实验结果表明，我们的方法持续改善了翻译性能。我们的实现代码可以在此 https URL 上找到。

    Jan, 2024

  • 基于模板的约束神经机器翻译方法

    本文提出了一种基于模板的方法，通过重新排列约束和非约束 token 的生成，实现高质量和高匹配精度的翻译结果，同时推断速度与非约束 NMT 模型相当，不需要对模型架构和解码算法作任何更改。实验结果表明，所提出的模板方法在词汇和结构约束翻译任务中优于几个代表性的基线。

    May, 2022

  • 构建准确的基于翻译的语言感知 LLMS 的指导调优

    通过两阶段微调算法，改进了大型语言模型（LLMs）遵循翻译指示的能力，特别是翻译方向信息，从而有效降低了错位翻译比率（平均降低 53.3%），提高了翻译质量（平均增加 5.7 SacreBLEU 和 16.4 BLEURT）。

    Mar, 2024

  • 完整的多语种神经机器翻译

    本文着眼于多语种神经机器翻译模型在英语为中心的双语语料库上的训练，结合多方对齐的语料库重新构建了完整图模型，展示了该模型在多语种翻译中的有效性和竞争力。

    Oct, 2020

  • 构建可提供任意 X-Y 翻译的多语言机器翻译系统

    本文旨在讨论如何通过两阶段训练策略实现多语言神经机器翻译系统，以解决低效率的问题，并在 WMT'21 多语言翻译任务中进行实验验证，证明我们的系统在大多数方向上优于基线模型，并且不需要架构修改或额外数据收集。

    Jun, 2022

  • Tencent WMT22 大规模非洲语言多语言机器翻译系统

    本文介绍了腾讯的多语言机器翻译系统，该系统使用数据扩增、分布式稳健优化和语系分组等技术来应对数据不平衡和多语言难题，其中在 WMT22 的有限数据情况下，取得了第一名的成绩。

    Oct, 2022

  • 改进大规模多语言神经机器翻译和零样例翻译

    本文探讨了如何改善大规模多语言神经机器翻译模型的性能，并提出了加强模型能力、引入语言特定组件和加深神经机器翻译结构以支持具有不同类型学特征的语言对，同时通过随机在线回译来解决离线训练中未出现的语言对翻译问题。实验结果表明，本方法在一对多和多对多设置中缩小了双语模型的性能差距，并将零 - shot 表现提高约 10 BLEU，接近传统的基于中间语言的方法。

    Apr, 2020

  • 使用翻译记忆增强大型语言模型翻译器

    利用翻译记忆作为提示是一种有前途的机器翻译模型上下文学习方法，本文通过使用大型语言模型进行提示，发现 LLM 的‘理解’提示的能力确实有助于更好地利用 TMs，并通过实验证明，使用高质量的 TM 提示可以大大改善预先训练的 LLM 翻译器的结果，甚至可以与最新状态下大规模领域内双语数据和针对下游任务进行调整的 NMT 系统的结果相媲美。

    May, 2023

  • TasTe: 通过自我反思教授大型语言模型进行翻译

    TasTe 框架通过自我反思的过程提出了一种新的方法，通过指导和评估生成的初步翻译，并最终提高翻译质量和大型语言模型的能力。

    Jun, 2024

  • 使用错误注释引导大型语言模型进行机器翻译

    通过使用 Multidimensional Quality Metric (MQM) 注释中的外部反馈来引导大型语言模型 (LLMs) 自动对机器翻译进行后编辑，以提高翻译质量。使用 LLaMA-2 模型，通过改变反馈的特性，我们考虑了不同的提示策略，并对 LLM 进行微调以提高其利用所提供指导的能力，实验证明提示 LLMs 对机器翻译进行后编辑，可以改善 TER、BLEU 和 COMET 分数，微调有助于更有效地整合细粒度的反馈，并基于自动和人工评估进一步提高翻译质量。

    Apr, 2024