Nov, 2016

神经机器翻译卷积编码器模型

PDF
TL;DR本文提出了一种基于卷积层的神经机器翻译框架，相比双向 LSTM 网络，该框架可以同时编码整个源语句，从而加速了翻译速度，在 WMT'16 数据集上达到了竞争水平的准确性，并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。
neural machine translationconvolutional layerswmt'16lstm setuptemporal dependencies
发现论文，激发创造
  • 神经机器翻译的性质：编码器 - 解码器方法

    分析神经机器翻译的性能，研究了两种模型：RNN 编码器 - 解码器和新提出的门控递归卷积神经网络，结果显示神经机器翻译在翻译较短，不含生词句子时表现相对良好，但随着句子长度和生词数的增加，其性能会迅速降低。同时发现，所提出的门控递归卷积网络能够自动学习句子的语法结构。

    Sep, 2014

  • 使用卷积神经网络对源语言进行编码以进行机器翻译

    通过使用卷积神经网络和目标信息来指导源信息并形成统一的表达，该神经网络联合模型可以在两个 NIST 中英翻译任务中显著提高平均 BLEU 分数，达到 +1.08 BLEU 分数。

    Mar, 2015

  • 线性时间神经机器翻译

    提出一种新颖的神经网络 ByteNet，它是一个一维卷积神经网络，可用于处理序列，且其编码和解码的能力较强，使用字节卷积和动态展开机制，时间复杂度线性，取得了语言建模和机器翻译方面的最佳性能。

    Oct, 2016

  • 卷积序列到序列学习

    利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。

    May, 2017

  • 高效的字符级神经机器翻译

    本文提出了一种基于深度字符级神经机器翻译的高效架构，可以大大提高训练速度和内存效率，同时解决了大词汇量的问题，并实现了像人一样翻译错别字的能力。

    Aug, 2016

  • 神经机器翻译中编码器 - 解码器是否冗余？

    本研究探讨了将源文本和目标文本直接拼接并训练语言模型进行翻译的想法，通过对双语翻译、额外目标语单语数据翻译和多语言翻译的实验，结果表明这种替代方法与基线中的编码器 - 解码器 Transformer 模型表现相当，表明编码器 - 解码器架构对于神经机器翻译可能是多余的。

    Oct, 2022

  • 使用弱递归单元的深度神经机器翻译

    本文提出一个名为简单循环 NMT 的新的循环神经网络机器翻译体系结构，该体系结构基于一类快速且弱循环单元，使用层归一化和多个注意力机制。在 WMT14 英德和 WMT16 英罗曼尼亚基准上的实验表明，我们的模型作为 LSTMs 的有效替代品，可以在显著降低计算成本的情况下实现更好的结果。

    May, 2018

  • 基于快速前向连接的深度递归模型用于神经机器翻译

    本研究提出了一种快速前向连接的 LSTM 神经网络，并采用交替双向架构来堆叠 LSTM 层。基于这种方法，在 WMT'14 英语 - 法语任务上，我们用单一的注意力模型实现了 BLEU=37.7，并在处理未知词汇和模型集成后取得了 BLEU=40.4 的最好得分。

    Jun, 2016

  • 语言模型是优秀的翻译器

    该研究表明，预训练的单一语言模型（LM4MT）可以与强大的编码器 - 解码器 NMT 模型在标准机器翻译基准测试中取得可比较的性能，LM4MT 还可以轻松利用源侧文本作为额外的监督。LM4MT 可以为源语言和目标语言提供统一的表示形式，在跨语言知识转移方面表现更好，并在基于中间语言和零样本翻译任务中获得显著的优势。

    Jun, 2021

  • 一种多层卷积编码 - 解码神经网络用于语法错误纠正

    本研究提出了一种基于多层卷积编码 - 解码神经网络的自动文本纠错方法，利用字符 N-gram 信息来初始化 embeddings，通过 attention 机制捕捉局部文本语境并使用 N-gram 语言模型和编辑特征进行打分和融合，实现了比现有基于统计学习的方法更好的语法和流畅度的纠错效果。

    Jan, 2018