ACLApr, 2017

通过二进制代码预测的神经机器翻译

PDF
TL;DR本文提出了一种新的神经机器翻译系统输出层计算方法，基于预测每个单词的二进制码，可以在最佳情况下将输出层的计算时间 / 内存需求缩小到对数级别。此外，本文还介绍了使用纠错码和结合 softmax 和二进制码来提高鲁棒性的两种高级方法。两个英日双向翻译实验表明，所提出的模型在接近 softmax 的 BLEU 分数的同时，将内存使用率降低到不到 1/10，CPU 解码速度提高了 5 到 10 倍。
neural machine translation systembinary codecomputation time/memoryerror-correcting codesbleu score
发现论文，激发创造
  • 神经机器翻译中的词汇选择改进

    本文提出两种方法解决神经机器翻译中罕见单词的误译问题，一为限制向量范数，避免高频词过度约束；二为引入词汇模块与其他模块联合训练得到更好的翻译结果。通过对 8 种语言对的数据进行测试，结果显示本文方法的 BLEU 分数提升了最高可达 +4.3，并且在几乎所有设置中优于基于短语的翻译。

    Oct, 2017

  • 二元和三元自然语言生成

    采用一种基于统计的权重量化和弹性激活量化的方法实现了第一批三元和双元变压器模型，其在摘要和机器翻译的下游任务中达到了较高的得分，同时比全精度模型高效 16 倍以上。

    Jun, 2023

  • 基于单词预测的神经机器翻译

    本文提出了一种通过预测目标语句中词汇的方法，直接对编码器和解码器中隐藏状态向量进行监督，从而提高了表示质量和机器翻译的效率，实验证明在中英翻译任务和德英翻译任务中 BLEU 得分分别提高了 4.53 和 1.3。

    Aug, 2017

  • 神经机器翻译用于代码生成

    本文综述了 NMT 在代码生成中的应用，包括自然语言描述、二进制或汇编语言、源代码部分表示和其他语言的源代码等方面的输入。并且列举了已经探索的多种不同的方法和模型架构、优化技术、数据集和评估方法，最后讨论了现有方法的局限性和未来研究方向。

    May, 2023

  • 线性时间神经机器翻译

    提出一种新颖的神经网络 ByteNet，它是一个一维卷积神经网络，可用于处理序列，且其编码和解码的能力较强，使用字节卷积和动态展开机制，时间复杂度线性，取得了语言建模和机器翻译方面的最佳性能。

    Oct, 2016

  • 基于字节级子词的神经机器翻译

    本篇论文探讨了一种基于字节级子词（BBPE）的机器翻译模型，该模型比字符词汇表更紧凑且没有超出词汇表的令牌，并显示了与 BPE 相当的性能，BBPE 在跨多种语言的情况下最大化词汇共享并实现更好的翻译质量，同时使非重叠字符集的语言之间的模型传递成为可能。

    Sep, 2019

  • 神经机器翻译的词汇操作

    本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

    May, 2016

  • 机器翻译的贝叶斯优化

    本文提出了一种使用贝叶斯优化算法进行最小误差率训练的新型统计机器翻译系统，探索了两类算法来高效地探索翻译空间，其中一类基于 N-best 列表，另一类基于超图表示法，同时介绍了一种随机嵌入算法来扩展我们的方法以处理稀疏高维特征集。

    Dec, 2014

  • 不使用嵌入的神经机器翻译

    通过实现以字节作为序列的计算机文本的表示，同时将深度学习模型中的嵌入层替换为每个字节的一热表示，可以在不影响模型性能的情况下，将最先进的机器翻译模型推广到字节级别。

    Aug, 2020

  • 神经机器翻译的词汇选择策略

    本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

    Oct, 2016