ACLMay, 2022

祸在细节：神经机器翻译中词汇选择的陷阱

PDF
TL;DR本文提出了一种基于神经网络的词汇选择模型，通过对编码器状态的上下文化表示进行预测，来代替传统基于独立对齐模型参数的词汇选择方法，从而更好地处理语言中的词组、成语等非复合的语义现象，从而获得与传统独立对齐选择方法相同甚至更好的翻译质量，并减少了翻译时刻的依赖。
vocabulary selectionneural machine translationidiomatic expressionscontextualized encoder representationsalignment-based selection
发现论文，激发创造
  • 神经机器翻译的词汇选择策略

    本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

    Oct, 2016

  • 神经机器翻译的词汇操作

    本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

    May, 2016

  • 神经机器翻译中的词汇选择改进

    本文提出两种方法解决神经机器翻译中罕见单词的误译问题，一为限制向量范数，避免高频词过度约束；二为引入词汇模块与其他模块联合训练得到更好的翻译结果。通过对 8 种语言对的数据进行测试，结果显示本文方法的 BLEU 分数提升了最高可达 +4.3，并且在几乎所有设置中优于基于短语的翻译。

    Oct, 2017

  • 基于注意力机制的 NMT 词汇选择

    提出一种使用 NMT 训练过程中直接从 attention layer 中学习候选列表的新方法，该方法高度优化当前 NMT 模型的候选列表，无须对候选池进行外部计算并实现了在不降低翻译质量的情况下显著提高解码速度。

    Jun, 2017

  • 神经机器翻译中使用非常大的目标词汇量

    本文提出了一种基于重要性采样的方法，使我们可以使用非常大的目标词汇，有效地进行解码，可以优于基准模型和 LSTM-based 神经机器翻译模型，并使用多个模型集成实现了英 -> 德翻译的最先进性能（由 BLEU 度量）。

    Dec, 2014

  • 基于语言学的土耳其语到英语神经机器翻译词汇量缩减

    本文提出了一种新的神经机器翻译方法，可以考虑语言的词形属性，基于无监督的形态学习在任何速率下减少给定输入语料库的词汇量，并在土耳其语 - 英语 NMT 任务中通过比较生成输出的语义和句法特性来验证方法的效果，与传统词汇量缩减技术相比，显著提高了 2.3 BLEU 分数，表现更好。

    Jul, 2017

  • HanoiT: 通过选择性上下文增强上下文感知翻译

    本文提出了一种使用层间选择机制来筛选和优化长文档上下文的端到端编码器 - 解码器模型，以改善神经机器翻译的质量。 实验证明，该模型通过软选择机制在四组数据集上明显优于以前的模型。

    Jan, 2023

  • 词汇重要性对机器翻译模型盗用的影响

    通过收集输出，攻击者可以提取受害者的词汇表，而词汇本身对本地模型的性能影响不大。这对于黑盒知识蒸馏来说具有重要意义。

    Jan, 2024

  • 使用词汇缩减的大型语言模型推理

    大型语言模型的推理对计算和内存要求较高，因此我们通过词汇筛选改进了其性能，可以显著减少内存使用并提高生成速度。然而，我们也发现了此类词汇选择方法的局限性，并提出了未来研究的方向。

    Nov, 2023

  • 面向开放词汇神经机器翻译的隐变形模型

    本文提出了一种通过分层潜在变量模拟词态变化过程的方法，通过组合两个潜在表示（一个连续的表示和一组（近似）离散特征），逐个字符生成单词，从而使神经机器翻译在三种形态丰富的语言中的精度和资源利用率得到了提高。

    Oct, 2019