Jul, 2023

利用内存增强适配器的可插拔神经机器翻译模型

PDF
TL;DR本研究提出了一种记忆增强适配器模型，利用用户提供的样本控制预训练神经机器翻译模型的生成行为，减少针对不同用户需求独立训练的成本和数据稀缺性挑战，其训练策略可以有效地降低模型与记忆之间的虚假依赖，并在实验中表现出优异的效果。
neural machine translationmemory-augmented adapterpretrained modelstraining strategypluggable baselines
发现论文，激发创造
  • 神经机器翻译的简单可扩展自适应性

    本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

    Sep, 2019

  • 基于单语翻译记忆的神经机器翻译

    本研究提出了一种新的框架，使用单语记忆并以跨语言方式进行可学习的记忆检索，以增强神经机器翻译性能，并展示其在较低资源和领域适应情况下的有效性。

    May, 2021

  • 重新思考翻译记忆增强神经机器翻译

    本研究通过概率检索和方差 - 偏差分解原理，重新思考了翻译记忆增强神经机器翻译（TM-augmented NMT）。研究发现，TM-augmented NMT 能够很好地拟合数据，但对训练数据的波动更为敏感，为同一翻译任务上最近报告的矛盾现象提供了解释。本文提出了一种简单而有效的 TM-augmented NMT 模型，以促进方差和解决矛盾现象。广泛的实验表明，在两种低方差（低资源和即插即用）方案以及高资源情景下，所提出的 TM-augmented NMT 均实现了相对于传统 NMT 和现有 TM-augmented NMT 的一致的收益。

    Jun, 2023

  • 多语言领域自适应翻译：通过适配器解耦语言和领域信息

    本文研究了在机器翻译领域中适配器的组成方法，旨在实现多领域和多语言（全资源场景）的参数效率适配，或在无法提供特定语言对的平行数据（部分资源场景）中的跨语言转移。适配器通常由语言特定的适配器和领域特定的适配器组成，但这篇论文发现了将两种适配器简单组合的方法往往会造成缺失语言的灾难性遗忘，因此提出了新的适配器组合方式以减轻这一问题，并最大程度地实现跨语言转移。通过此种最佳适配器组合方式，我们实现了在没有场内数据的源语言上平均提高 3-4BLEU，而在没有场内数据的目标语言上与反向翻译相结合也达到了类似的改进。

    Oct, 2021

  • 使用翻译记忆推进神经机器翻译

    本文介绍了一种将翻译记忆集成到神经机器翻译系统中的简单有效方法，并在多个数据集上获得实验性能显著优于强基线模型的结果。

    Jan, 2023

  • $m^4Adapter$: 基于元适配器的多语言多领域机器翻译自适应

    本研究提出了一种利用元学习和适配器，将域和语言知识结合起来以适应新的领域和语言对的多语言神经机器翻译模型，在跨语言和领域上取得了更好的性能表现。

    Oct, 2022

  • SMDT: 选择性记忆增强神经文档翻译

    本文提出了一种选择性存储增强神经文档翻译模型，通过从训练语料库中检索相似的双语句对来增强全局上下文信息，并扩展双流注意力模型以捕捉局部上下文和多样化的全局上下文，该统一方法使我们的模型可以优雅地在三个公开的文档级机器翻译数据集上训练，并显著优于以前的文档级 NMT 模型。

    Jan, 2022

  • 使用任务适配器混合来提升小型语言模型的多任务学习能力

    ALTER 是一个基于小型语言模型的多任务学习系统，它通过混合任务适应器来同时处理多个自然语言处理任务，以支持领域特定的应用。实验证明，ALTER 提出的 MTA 架构和二阶段训练方法实现了良好的性能。

    Sep, 2023

  • 领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

    本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

    Jun, 2023

  • 具有对比翻译记忆的神经机器翻译

    本文提出了一种新的检索增强 NMT 模型，用于对比检索翻译记忆，利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益，实验结果表明，该模型在基准数据集上优于现有算法。

    Dec, 2022