Jan, 2016

将结构对齐偏置纳入一种注意力神经翻译模型

PDF
TL;DR本文通过结合词汇调整模型，位置偏差，马尔科夫和翻译方向的一致性等多种结构偏差因子，扩展了注意力神经翻译模型，相比基线模型和标准短语模型在多种语言对中取得了提升，验证了在低资源环境中的有效性。
neural encoder-decoder modelsmachine translationattentional neural translation modelstructural biaseslow-resource setting
发现论文，激发创造
  • 基于注意力机制的编码 - 解码 NMT 模型中的隐式失真和繁殖模型

    本文研究了采用注意力机制的编码器 - 解码器模型在机器翻译中的应用，发现当对齐不正确时，对翻译质量有明显影响。针对这些问题，提出了采用变形模型和受精度模型的新型方法，并在机器翻译中与其他模型进行了比较。该方法在原有的编码器 - 解码器基础上提高了 2BLEU 分数。

    Jan, 2016

  • 给神经机器翻译模型添加可解释的注意力机制改善了单词对齐

    提出一种基于 Transformer 架构的简单模型扩展，利用其隐藏表示，仅限于对编码器信息进行注意以预测下一个单词，进一步介绍了一种新的对齐推断过程，直接将目标词的注意力激活率优化为对齐结果，这种对齐方法在两个公开数据集上明显优于 naive 方法，并且与 Giza++ 相当。

    Jan, 2019

  • 基于注意力机制的神经机器翻译双向分层表示

    本文提出了一种层次注意机制的神经翻译模型，采用双向树形编码器来增强源端层次表示，用加权变异的注意机制平衡词汇和短语向量之间的信息，通过树形稀有词编码将该模型扩展至亚字级别以缓解词汇缺失的问题，实证结果表明，该模型在英汉翻译任务中显著优于序列到序列的注意力机制和基于树的神经翻译模型。

    Jul, 2017

  • 基于协议的双向注意力神经机器翻译联合训练

    通过协商双向翻译模型之间的单词对齐矩阵来优化神经机器翻译的关注机制，并提高翻译质量。

    Dec, 2015

  • 神经机器翻译中的注意力关注什么？

    本研究提供详细分析和比较注意力和传统对齐，在一些情况下表明注意力不同于对齐且能捕捉除对齐以外的有用信息。

    Oct, 2017

  • 带有受监督注意力的神经机器翻译

    本论文研究了注意力机制在神经机器翻译中生成对齐的问题，并从重新排序方面分析和解释了这个问题。提出了一种受传统对齐模型指导学习的监督注意力机制，实验表明，这种机制比标准注意力机制产生更好的对齐效果，并且在中英文翻译任务中均有显著提高。

    Sep, 2016

  • 提高变形金刚在形态丰富语言翻译中的结构偏差

    本论文旨在探讨如何通过加入结构偏置来提高 Transformer 的翻译能力，并且通过 TP-Transformer 和形态结构的分割两种方式来实现。实验表明，这两种方法都能使 Transformer 在翻译土耳其语和伊努伊特语等形态丰富的语言时表现更好，但要考虑数据集的大小。总的来说，结构编码方法可以使 Transformer 更加高效，在少量数据的情况下表现更好。

    Aug, 2022

  • 神经机器翻译的监督注意力

    本文提出利用训练句子对齐来提高神经机器翻译的关注或对齐准确性，通过将机器关注与 “真实” 对齐之间的距离计算，并在训练过程中最小化此代价，我们的实验证明，相对于大型词汇神经机器翻译系统，我们的模型显著提高了翻译和对齐质量，超越了最先进的传统基于语法的系统。

    Jul, 2016

  • 神经机器翻译的时间注意模型

    本文介绍了一种基于注意力机制的神经机器翻译模型，该模型通过暂时性存储对齐信息和调节注意力值的方法，提高了翻译效果， 在两种语言对上的大规模实验中，该方法不仅超越了基线 NMT 模型，还比其他相关方法表现更出色，甚至有些情况下在不使用集成的情况下也能胜过 SMT 基准。

    Aug, 2016

  • 利用语法感知编码器和解码器实现改进的神经机器翻译

    本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

    Jul, 2017