EMNLPJun, 2014

使用 RNN 编码器 - 解码器学习短语表示，用于统计机器翻译

PDF
TL;DR本文提出了一种名为 RNN Encoder-Decoder 的神经网络模型，该模型由两个循环神经网络（RNN）组成，它将符号序列编码成固定长度的向量表示，并将该表示解码成另一个符号序列，并通过联合训练编码器和解码器来优化目标序列的条件概率，然后将该模型生成的条件概率应用于现有的对数线性模型中，从而提高统计机器翻译系统的性能，并且该模型能够学习到一种语义和句法上有意义的语言短语表示。
neural networkrnn encoder-decodersequence representationconditional probabilitystatistical machine translation
发现论文，激发创造
  • 神经机器翻译的性质：编码器 - 解码器方法

    分析神经机器翻译的性能，研究了两种模型：RNN 编码器 - 解码器和新提出的门控递归卷积神经网络，结果显示神经机器翻译在翻译较短，不含生词句子时表现相对良好，但随着句子长度和生词数的增加，其性能会迅速降低。同时发现，所提出的门控递归卷积网络能够自动学习句子的语法结构。

    Sep, 2014

  • 基于反卷积的全局解码神经机器翻译

    提出了一种新的神经机器翻译模型，利用目标序列上下文的结构预测来引导翻译，从而使之摆脱顺序约束，实现了重复减少和跨长度翻译的鲁棒性，相较于当前最优方法有着更为优越的效果表现。

    Jun, 2018

  • 使用 RNN 编码器 - 解码器网络进行口语对话系统的自然语言生成

    本文介绍了一种基于循环神经网络的编码器 - 解码器结构，其中引入了一个基于 LSTM 的解码器来选择、聚合输入元素上产生的语义元素，并生成所需的话语，该提议的生成器可以联合训练句子规划和表面实现以生成自然语言句子，实验结果表明，所提出的生成器不仅在所有自然语言生成领域中一致优于先前的方法，而且还具有从新领域进行泛化和从多领域数据集中学习的能力。

    Jun, 2017

  • 一个编码器 - 解码器框架，将自然语言翻译为数据库查询

    本研究考虑将自然语言转换成 SQL，用于关系数据库的数据检索。我们提出了一种新的编码 - 解码框架，包括新的语义特征和语法感知状态等新方法。实证评估结果表明，我们的方法在真实世界的数据库和查询上明显优于现有技术。

    Nov, 2017

  • 变分神经机器翻译

    本文提出了一种变分神经机器翻译编码器 - 解码器模型，引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成，通过神经后验估计技术对该模型进行训练，在中英文和英德翻译任务中实现了显著的性能提升。

    May, 2016

  • 神经机器翻译卷积编码器模型

    本文提出了一种基于卷积层的神经机器翻译框架，相比双向 LSTM 网络，该框架可以同时编码整个源语句，从而加速了翻译速度，在 WMT'16 数据集上达到了竞争水平的准确性，并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。

    Nov, 2016

  • 使用卷积神经网络学习通用的句子表示

    本文提出了基于 CNN 编码器和 LSTM 解码器的分布式句子表征学习方法，旨在实现对多种任务的应用。作者通过训练模型在大规模小说数据集上获得高通用性的卷积句子编码器，并通过多项实验表明该模型在各类应用中均优于竞争方法。

    Nov, 2016

  • 联合学习对齐和翻译的神经机器翻译

    本文旨在解决传统编码器 - 解码器架构中的长度固定向量制约所面临的性能瓶颈，并提出一种基于（软）搜索方式的新方法，在英法翻译任务中获得了与基于短语的模型相当的翻译性能，且（软）对齐结果与人类直觉相符。

    Sep, 2014

  • 神经机器翻译中编码器 - 解码器是否冗余？

    本研究探讨了将源文本和目标文本直接拼接并训练语言模型进行翻译的想法，通过对双语翻译、额外目标语单语数据翻译和多语言翻译的实验，结果表明这种替代方法与基线中的编码器 - 解码器 Transformer 模型表现相当，表明编码器 - 解码器架构对于神经机器翻译可能是多余的。

    Oct, 2022

  • 利用关系网络对神经机器翻译的源表示进行精炼

    研究采用关系网络来提高神经机器翻译中对于远距离信息的记忆能力，并在多个数据集上验证该方法能够显著提高翻译性能，超越传统编码器 - 解码器模型和使用监督句法知识的方法。

    May, 2018