Oct, 2023

连续输出神经机器翻译的随机目标嵌入的非凡有效性

PDF
TL;DR连续输出神经机器翻译（CoNMT）通过嵌入预测替代了离散的下一个词预测问题；我们挑战了相关单词间语义结构（即相关单词的接近度）对此的重要性的假设，并展示了完全随机的输出嵌入能够优于经过艰苦预训练的嵌入，尤其在更大的数据集上，对于罕见词而言这种令人惊讶的效果最为显著，这是由于他们嵌入的几何形状造成的；我们通过设计一种混合策略来进一步探究此发现，该策略将随机和预训练嵌入用于不同的标记。
发现论文，激发创造
  • 多模态机器翻译及嵌入预测

    本研究将预训练的词向量与搜索方法相结合，以解决多模态机器翻译中罕见词汇的翻译问题，并通过实验表明，这种方法能够改进机器翻译的性能。

    Apr, 2019

  • 利用神经机器翻译嵌入词汇相似度

    该研究探讨神经机器翻译模型所学到的嵌入，在需要同时考虑概念相似性和词汇 - 句法角色知识的任务中，它们的性能优于单语言模型所学到的嵌入。研究结果还表明，词汇扩展算法对嵌入质量的影响很小。

    Dec, 2014

  • 神经机器翻译的依赖于上下文的单词表示

    本文首次观察了神经机器翻译中不断向量表示的潜在弱点，基于此提出了利用非线性词袋表示法和类型化符号来提高对源语言和目标语言的区分度，从而显著提高了神经机器翻译系统的翻译质量。

    Jul, 2016

  • 不是所有神经嵌入都是平等的

    研究神经机器翻译模型和单语模型在表征词汇相似性和语法角色方面的性能，结果表明，神经翻译模型在捕捉概念的本体论状态方面比单语模型更胜一筹。

    Oct, 2014

  • 神经机器翻译中的词汇选择改进

    本文提出两种方法解决神经机器翻译中罕见单词的误译问题，一为限制向量范数，避免高频词过度约束；二为引入词汇模块与其他模块联合训练得到更好的翻译结果。通过对 8 种语言对的数据进行测试，结果显示本文方法的 BLEU 分数提升了最高可达 +4.3，并且在几乎所有设置中优于基于短语的翻译。

    Oct, 2017

  • 预训练词嵌入何时、为何对神经机器翻译有用？

    本研究分析了预训练词向量在低资源场景下神经机器翻译性能提升方面的作用，通过五组实验结果表明，在某些情况下词向量的使用可以使翻译结果达到最高 20 个 BLEU 分数的提升。

    Apr, 2018

  • 不使用嵌入的神经机器翻译

    通过实现以字节作为序列的计算机文本的表示，同时将深度学习模型中的嵌入层替换为每个字节的一热表示，可以在不影响模型性能的情况下，将最先进的机器翻译模型推广到字节级别。

    Aug, 2020

  • 神经机器翻译覆盖嵌入模型

    本文提出了一种加入显式覆盖嵌入模型来改善注意力机制的神经机器翻译系统，以解决翻译中的重复和遗漏问题。通过在大规模中英翻译任务中的实验，发现该模型相较于大词汇 NMT 系统，在不同的测试集上显著地提高了翻译质量。

    May, 2016

  • 神经机器翻译的语义表征分类

    加入原型引导的源端表示式，减少稀疏性和过拟合，以提高神经机器翻译的组成泛化性能。实验结果表明，该方法在多个机器翻译数据集上比 Transformer 基线方法表现更优。

    Oct, 2022

  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020