EMNLPSep, 2021

多样机器翻译的混合解码

PDF
TL;DR本文提出了一种新方法，MixDiversity，用于实现多样化机器翻译，通过利用混合训练引入的句子潜在空间中的线性关系，在解码时通过与训练语料库中不同的句子对进行线性插值，生成输入句子的不同翻译，并通过选择具有多样性的训练语料库句子对和相应调整每对的插值权重来进一步改善翻译的准确性和多样性。
diverse machine translationmixup traininglinearly interpolatingfaithfulnessdiversity
发现论文，激发创造
  • 多语言混合：示例插值改进多语言神经机器翻译

    本文介绍了一种多语言交叉编码解码器 (mXEncDec) 方法，以在实例级别融合多种语言对，通过改进实例插值技术跨多种语言改善 WMT 数据集上的机器翻译效果，并证明其能够改善模型的推广性。

    Mar, 2022

  • 多样化机器翻译的混合模型：实用技巧

    本文研究了通过 EM 训练的混合模型在文本生成方面的应用，通过设计参数、优化模型选择和评估协议，提出了一些更为鲁棒的混合模型，相比于变分模型和多样的解码方法在翻译质量和多样性之间提供了更好的平衡点。

    Feb, 2019

  • 使用 Mixup 增强数据进行句子分类：一项实证研究

    本文提出了 Mixup 数据增强方法在句子分类中的应用策略，并在多个基准数据集上进行了实验验证，结果表明该技术是一种有效的、领域无关的数据增强方法，可使 CNN 和 LSTM 模型的预测准确性显著提高。

    May, 2019

  • 混合增强与多种插值

    在本文中，我们提出了一种称为多重揉混（multi-mix）的简单而有效的扩展方法，它通过从样本对生成多个插值样本，可以比标准 mixup 更好地引导训练过程，从而在泛化性能、鲁棒性和校准度方面超过了各种 mixup 变体和非 mixup 基线。

    Jun, 2024

  • 互信息和多样性解码改进神经机器翻译

    本文介绍了一种基于相互信息最大化的神经机器翻译模型，该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法，应用于 WMT 德英和法英任务中，该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的性能提升。

    Jan, 2016

  • 使用流形混合增强跨语言传递

    通过跨语言流域混合的 X-Mixup 方法，根据大规模的预训练的多语言表示，以解决不同语言之间表示差异的问题并提高多个文本理解任务的表现

    May, 2022

  • Mixup-Transformer：NLP 任务的动态数据增强

    本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

    Oct, 2020

  • 基于数据制图的预训练语言模型 MixUp 技术

    本文提出 TDMixUp 方法，利用训练动态，基于易于学习或模糊样本测量置信度、可变性、AUM 特征，让更具备信息量的样本相互插值，生成新样本，实验证明该方法不仅在较小的训练数据子集上取得竞争性能，而且在广泛的自然语言处理任务中，使用预训练语言模型 BERT 取得较低的期望校准误差。我们公开发布了我们的代码。

    May, 2022

  • 扭结解码：多样的生成器相互引导

    介绍了 Twist 解码这一简单通用的文字生成算法，该方法利用多样的模型来提高性能，在机器翻译和科技论文摘要等场景下表现出色，鼓励学者和实践者共同研究生成模型，寻找互补优势。

    May, 2022

  • 用扰动的 kNN-MT 生成多样化的翻译

    通过引入扰动 k 最近邻机器翻译（kNN-MT）方法，本文提出了一种生成更多样化翻译的方法，解决了过校正问题，改善了候选翻译的多样性，并通过调整扰动的幅度来控制多样性程度。

    Feb, 2024