Oct, 2019

机器翻译生成顺序的实证研究

PDF
TL;DR本文通过实证研究生成顺序来探讨机器翻译的效果，发现对于英德翻译任务，以字母和最短优先等方式生成的效果相当于标准 Transformer 生成的效果，提出了不必严格遵循从左到右的翻译方式。而对于英中翻译任务，由于语言对齐度低，生成的效果则对生成顺序更加敏感。
machine translationgeneration orderinsertion-based modelingoracle generation policiesoutput quality
发现论文，激发创造
  • 无向序列模型生成顺序的学习和分析

    通过强化学习训练预训练的无向翻译模型的生成顺序，从而实现了比从左到右或学习自 Mansimov 等人 (2019) 学习的顺序得到的输出 BLEU 分数更高的翻译结果。

    Dec, 2021

  • 语言模型中生成顺序的重要性

    这篇研究通过一种新颖的双通路语言模型研究了单词生成顺序对模型质量的影响，发现先生成功能词，再生成内容词的策略最为有效。

    Aug, 2018

  • 词序的影响：重新排序和生成分析的见解

    在本文中，我们通过添加一种顺序重构的视角并选择不同范围的数据集，重新审视了关于词序的假设，包括 “词序与词汇语义冗余” 和 “模型不依赖词序”。实证结果支持 ChatGPT 在推断中依赖于词序，但不能支持或否定词序与词汇语义之间的冗余关系。

    Mar, 2024

  • 神经机器翻译的数据排序模式：实证研究

    本文通过实证研究不同训练数据排序方法对神经机器翻译模型性能的影响，结果表明基于预训练模型的困惑度得分对训练数据进行预排序的方法表现最佳，在每轮训练中优于默认方法随机洗牌训练数据。

    Sep, 2019

  • 神经机器翻译的显式重排序

    本文介绍了如何使用双语平行数据集来模拟目标语序，在改进了位置编码机制的基础上，提出了一种新的序列重排序方法来显式地模拟源语句子的重排序信息，同时实验证明，该方法在多种翻译任务中均有效。

    Apr, 2020

  • 非单调序列文本生成

    本文使用递归二叉树模型，提出了一种用于生成文本的框架，能够训练模型采用非单调生成方式，模型能够直接学习适宜的生成次序，且不需要额外的标注。文章利用模拟学习的方法，从模仿 Oracle 到加强自己的喜好，达到了无需预定生成顺序的文字生成，同时达到了与传统的从左到右生成相当的性能。

    Feb, 2019

  • 基于集合的提示：可证明解决语言模型的序列依赖问题

    这篇论文提出了一种技术，可以确保生成式语言模型在给定的子序列集合上不受顺序相关性的影响，从而消除顺序相关性。结果表明，该方法对预期的准确性影响较小，而且可以应用于任何基于 Transformer 的大语料库模型，对文本生成没有影响，进一步讨论了通过修改输入表示可以获得其他强大的 LLM 性能保证的可能性。

    Jun, 2024

  • 统计机器翻译中的单词重排：计算模型和语言现象调查

    许多研究已经发表了关于如何在统计机器翻译中处理单词重排序的问题，然而，这个领域还有很多挑战需要面对，因此作者提出了一种综合性的调查来描述如何在不同的 SMT 框架和作为单独的任务中对单词重排序进行建模，并通过基于大量语言知识的定性分析，论证了在不同语言对中选择最适合他们的 SMT 框架时，一些语言事实可以非常有用。

    Feb, 2015

  • 基于依赖关系的神经重排模型用于统计机器翻译

    本文介绍了一种新的重排序方法，利用神经网络和基于依存性的嵌入来预测两个源单词之间的依存关系，以确定翻译的单词顺序，实现了在中英翻译中统计显著的 0.57 BLEU 分数的提高。

    Feb, 2017

  • 基于结构化数据的订单规划神经文本生成

    研究人员提出了一种基于训练有素的神经网络的文本生成模型，以便从结构化数据中（例如表格）生成自然文本，该模型能够捕捉不同字段之间的关系，以生成更流畅的文本。

    Sep, 2017