EMNLPOct, 2018

基于加减双门循环网络简化神经机器翻译

PDF
TL;DR本文提出了一种称为 ATR 的附加减法双门控循环网络，其采用了双门机制来构建高度相关的输入门和遗忘门。通过使用简单的加法和减法操作对循环单元进行了大幅简化，但保留了关键的非线性和长距离依赖建模能力。实验结果表明，ATR 在 WMT14 翻译任务中表现出竞争力，在英德和英法语种对的翻译质量和速度上均取得了良好的表现，并且在不同的自然语言处理任务中都表现出了通用性和适用性。
neural machine translationatrgated recurrent networkinput and forget gateslong-distance dependencies
发现论文，激发创造
  • 使用弱递归单元的深度神经机器翻译

    本文提出一个名为简单循环 NMT 的新的循环神经网络机器翻译体系结构，该体系结构基于一类快速且弱循环单元，使用层归一化和多个注意力机制。在 WMT14 英德和 WMT16 英罗曼尼亚基准上的实验表明，我们的模型作为 LSTMs 的有效替代品，可以在显著降低计算成本的情况下实现更好的结果。

    May, 2018

  • 用 GRU 门控注意力模型进行神经机器翻译

    本文提出了一种新的 GRU 门控注意力模型，可以通过使源表示对编码器状态敏感，从而增强了上下文向量的区分度，实现了对目标单词的区分性预测，并在 NIST 中英翻译任务中取得了显著的改进。

    Apr, 2017

  • 混合回归神经机器翻译

    本文提出了一种叫做混合回归翻译的翻译模型，它结合了自回归翻译和非自回归翻译模式的优势，通过在自回归过程中预测部分结果，再通过非自回归方式填充其余结果的方式，开发出了一种基于这两种模式的翻译模型，并对其效率和准确性进行了评估和比较。

    Oct, 2022

  • 辅助规则下的非自回归机器翻译

    本文提出通过在 NAT 模型的训练过程中引入两个辅助正则化项来提高解码器的隐藏表示质量，以解决重复和不完整翻译的问题，并在几个基准数据集上进行了广泛实验，表明正则化策略是有效的，可以显著提高 NAT 模型的准确性和效率。

    Feb, 2019

  • ReLU 和加法门控递归神经网络

    通过替换传统的循环门中的乘法和 Sigmoid 函数为加法和 ReLU 激活函数，该研究提出了一种可以在更低计算成本下维持长期记忆用于序列处理的机制，从而在受限制硬件上实现更高效的执行或更大模型。此机制能够在保持较高的计算效率的同时，捕捉到序列数据的长期依赖关系，并且在 CPU 上减少了一半的执行时间，在加密环境下减少了三分之一的执行时间，实验结果表明该机制与传统的 GRU 和 LSTM 基准模型相比，能够实现可比较的准确性。同时，该机制还能避免加密变量的乘法操作，从而支持具有保护隐私的同态加密人工智能应用，并能在（非加密）明文应用中支持量化操作，潜在地带来显著的性能提升。

    Aug, 2023

  • 提升 RNN-T 中声音和文本表征的融合

    本文提出在深度学习中使用门结构和双线性池化，在自动语音识别领域取得了较大的词错误率的优化。

    Jan, 2022

  • 通过修订门循环单元来提升语音识别

    本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

    Sep, 2017

  • N-Gram 最近邻机器翻译

    本文提出了一种新颖的 $n$-gram 最近邻检索方法，可以提高机器翻译的精度并适用于 Autoregressive Translation 和 Non-Autoregressive Translation 模型，改进后的方法在 AT 和 NAT 模型上的平均 BLEU 分别提高了 1.03 和 2.76。

    Jan, 2023

  • 基于循环注意力模型的神经机器翻译

    通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系，我们改进了 Bahdanau 等人（2014）的注意力模型，并且我们的参数化注意力模型的实验表明其可以提高翻译质量。

    Jul, 2016

  • 全非自回归神经机器翻译：技巧窍门

    本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

    Dec, 2020