Oct, 2019

神经机器翻译输出长度控制

PDF
TL;DR本文首次解决了神经机器翻译中输出长度的控制问题，并调查了两种解决方法，分别是将输出与目标输入长度比例类相关联和在 Transformer 位置嵌入中加入长度信息。实验结果表明，这两种方法都可以使网络生成更短的翻译，并获得解释性的语言技能。
neural machine translationoutput length controltransformer architecturetarget-source length-ratio classpositional embedding
发现论文，激发创造
  • 纠正神经机器翻译中的长度偏差

    本文研究神经机器翻译中的两个问题：beam search 算法不适用于 NMT 问题，翻译结果过短。作者认为这些问题因标签偏置而产生，提出了一种通过感知机算法对一个简单的逐字奖励进行调整的解决方案来解决这一问题。

    Aug, 2018

  • 解决文档级神经机器翻译中的长度偏差问题

    通过改进训练方法、注意机制和解码策略，我们提出了解决文档级神经机器翻译中长度偏差问题的方法，实验证明我们的方法在多个开放数据集上都取得了显著的改进，并且进一步分析显示我们的方法能够明显减轻长度偏差问题。

    Nov, 2023

  • 神经编码器 - 解码器中的输出长度控制

    本文提出两种基于解码和两种基于学习的方法，用于控制神经编码器 - 解码器模型的输出序列长度，结果表明学习方法在摘要生成任务中具有控制长度而不降低摘要质量的能力。

    Sep, 2016

  • 评估可控长度机器翻译的功效

    本文通过对 18 个自动摘要或机器翻译的评估指标进行人工评估，发现 BLEURT 和 COMET 与人工评估相关性最高，最适合作为可控长度机器翻译的评价指标。

    May, 2023

  • 神经机器翻译中的文本复杂度控制

    该研究介绍了一项机器翻译任务，其输出面向不同水平的目标语言熟练度的受众。他们收集了高质量的新闻文章数据集，提出了一种跨语言文章段落对齐方法，训练出多任务序列到序列模型，实现将西班牙语翻译成英语并针对英语简化阅读难度，结果显示这些多任务模型优于传统的翻译和简化文本管线式方法。

    Nov, 2019

  • 利用自动分割克服神经机器翻译中句子长度的诅咒

    该研究通过将输入句子自动分割成易于神经机器翻译模型翻译的短语来解决长句翻译时翻译质量下降的问题，并证明了这种方法在长句翻译质量上有显著提升。

    Sep, 2014

  • 通过注意力值压缩输入长度和生成文本

    本文研究了 BERT 的注意力机制，探究了两个问题：如何使用注意力机制减少输入长度和如何将注意力用作条件文本生成的控制机制，并发现 BERT 的早期层对文本分类任务的关注度更高，其注意力和可以用于过滤给定序列的令牌，一定程度上减少了输入长度同时保持良好的测试准确性。

    Mar, 2023

  • 基于重建的神经机器翻译

    通过添加 reconstructor 到 encoder-decoder 框架中，从输出的 target sentence 的隐藏层中重构输入的 source sentence，改善了神经机器翻译的可靠性和翻译质量。

    Nov, 2016

  • 神经机器翻译中的长尾现象

    本文提出一种新的损失函数 Anti-Focal loss，以更好地适应条件文本生成的结构依赖性，通过在训练过程中合并 beam search 的归纳偏差，从而定量化地表征 Token 分类和序列生成方面的长尾现象，在多个机器翻译数据集上表现出重要改进，特别是在生成低频词方面。

    Oct, 2020

  • 神经机器翻译为何更倾向于空输出

    研究神经机器翻译系统为何会给空翻译很高的概率，发现标签平滑使正确长度的翻译信心降低，使空翻译更容易得分，并且 NMT 系统使用相同的高频 EoS 词来结束所有目标句子，产生隐式平滑，增加零长度翻译。

    Dec, 2020