EMNLPSep, 2018

立方体修剪加速神经机器翻译解码

PDF
TL;DR本文利用立方剪枝技术，构建目标语言等价类和减少 RNN 展开所需并行操作和 softmax 运算，以提高神经机器翻译的翻译速度，同时保证翻译质量，在 GPU 上快了约 3.3 倍，在 CPU 上快了约 3.5 倍。
发现论文，激发创造
  • 神经机器翻译的高效推断

    该论文通过深度编码器和浅层解码器结构、多头注意力修剪以及将解码器自注意力替换为简化的循环单元等方法，可以在不降低翻译质量的情况下，在 CPU 和 GPU 上分别获得高达 109% 和 84% 的加速，并将参数数量减少 25%。

    Oct, 2020

  • 多语言神经机器翻译的高效推理

    本论文研究了如何通过采用轻量级解码器和词汇筛选来加速多语言神经机器翻译的推理速度，而不影响翻译质量，使用 BLEU 和 chrF 进行实验验证，并进行了健壮性评估和人类评估。

    Sep, 2021

  • 神经机器翻译的词汇选择策略

    本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

    Oct, 2016

  • 通过剪枝压缩神经机器翻译模型

    本文探讨了三种基于大小的剪枝模式对 NMT 模型进行压缩，通过实验证明了剪枝技术是一种有效的压缩技术，并且可以通过再训练来恢复或甚至超越原始性能。

    Jun, 2016

  • 通过二进制代码预测的神经机器翻译

    本文提出了一种新的神经机器翻译系统输出层计算方法，基于预测每个单词的二进制码，可以在最佳情况下将输出层的计算时间 / 内存需求缩小到对数级别。此外，本文还介绍了使用纠错码和结合 softmax 和二进制码来提高鲁棒性的两种高级方法。两个英日双向翻译实验表明，所提出的模型在接近 softmax 的 BLEU 分数的同时，将内存使用率降低到不到 1/10，CPU 解码速度提高了 5 到 10 倍。

    Apr, 2017

  • 高效的字符级神经机器翻译

    本文提出了一种基于深度字符级神经机器翻译的高效架构，可以大大提高训练速度和内存效率，同时解决了大词汇量的问题，并实现了像人一样翻译错别字的能力。

    Aug, 2016

  • 神经机器翻译模型的稀疏性

    本研究探讨神经机器翻译模型的超参数化问题，并通过实验证明删除的参数可以被再利用来提高基准模型的性能，其提高的翻译结果可以达到 0.8 个 BLEU 值，再利用的参数被用于增强底层的语义建模能力。

    Oct, 2020

  • 关键学习时期：利用早期训练动态进行高效数据修剪

    我们提出了一种新的数据修剪技术：Checkpoints Across Time (CAT)，通过利用早期模型训练动态来识别对模型性能最相关的数据点，实现了在减少 50% 的训练数据的同时，与使用完整数据集的性能相当，且优于其他数据修剪技术。

    May, 2024

  • 加速 k 最近邻机器翻译

    通过提出的多层感知器神经网络与 kNN-MT 系统结合，成功减少了冗余的检索操作，并显著降低了 kNN 检索的开销，虽然会导致轻微的翻译质量下降，但该方法可以与所有现有的 kNN-MT 系统配合使用。

    Dec, 2023

  • 神经机器翻译卷积编码器模型

    本文提出了一种基于卷积层的神经机器翻译框架，相比双向 LSTM 网络，该框架可以同时编码整个源语句，从而加速了翻译速度，在 WMT'16 数据集上达到了竞争水平的准确性，并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。

    Nov, 2016