ACLApr, 2018

预训练词嵌入何时、为何对神经机器翻译有用？

PDF
TL;DR本研究分析了预训练词向量在低资源场景下神经机器翻译性能提升方面的作用，通过五组实验结果表明，在某些情况下词向量的使用可以使翻译结果达到最高 20 个 BLEU 分数的提升。
neural machine translationpre-trained word embeddingslow-resource scenarioperformance improvementexperimental analysis
发现论文，激发创造
  • 多模态机器翻译及嵌入预测

    本研究将预训练的词向量与搜索方法相结合，以解决多模态机器翻译中罕见词汇的翻译问题，并通过实验表明，这种方法能够改进机器翻译的性能。

    Apr, 2019

  • 利用神经机器翻译嵌入词汇相似度

    该研究探讨神经机器翻译模型所学到的嵌入，在需要同时考虑概念相似性和词汇 - 句法角色知识的任务中，它们的性能优于单语言模型所学到的嵌入。研究结果还表明，词汇扩展算法对嵌入质量的影响很小。

    Dec, 2014

  • 使用 BERT 进行神经机器翻译

    该论文研究了利用 BERT 预训练模型对神经机器翻译任务进行有监督学习，探究整合预训练模型和神经机器翻译模型的方法，以及 BERT 训练中单语数据对最终翻译质量的影响。作者使用了英德和英俄数据集进行评估，并通过在领域外测试集和注入噪声测试集上进行评估以评估 BERT 预训练表示对模型鲁棒性的影响。

    Sep, 2019

  • 自然语言处理任务中的迁移学习监督上下文嵌入

    本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

    Jun, 2019

  • 消除词嵌入中的偏见改善多模式机器翻译

    本研究探讨了预训练词嵌入及其在多模式神经机器翻译模型中的应用，引入两种去偏差技术，并在英德翻译和英法翻译两种语言对上获得了最多 + 1.93 BLEU 和 + 2.02 METEOR 的性能提升。

    May, 2019

  • NMT 衍生的语言中介嵌入的实证分析及其在平行语句识别中的应用

    该研究系统研究了端到端的神经机器翻译的上下文向量作为句子的交互语言表征的功效，并在可比较语料库中取得了较高的平行句子识别准确率。

    Apr, 2017

  • 上下文嵌入：何时值得使用？

    本研究旨在探究深度上下文嵌入（例如 BERT）相对于传统预训练嵌入（例如 GloVe）和一个更简单的基准（随机词嵌入）在训练集大小和语言任务的语言特性等方面，性能是否有大幅提升。我们发现，这两种更简单的基准线上也能匹配行业规模的数据中的上下文嵌入，并且通常在基准任务中具有 5-10％ 左右的精度，此外，我们还确定了一些数据特性，这些特性针对于特定的任务使得上下文嵌入具有大幅提升的表现：包含复杂结构的语言、具有歧义的词汇使用、及在训练中从未出现过的单词。

    May, 2020

  • 电子商务机器学习的预训练嵌入：失败及其原因分析

    本文研究探讨了预训练嵌入在实际生产系统中的挑战及解决方案，找到了预训练和下游模型的编码和解码方式的设计对其性能的巨大影响，提出了一种基于核分析的认识预训练嵌入的方式。以上研究结论通过理论推理、实验和在线测试得到验证。

    Apr, 2023

  • 神经机器翻译共享 - 私有双语词嵌入

    本文介绍一种共享 — 私有双语词嵌入方法，该方法能够在神经机器翻译中提升性能，同时减少模型参数。实验表明，该方法在不同语系和语言字母表的 5 种语言对中大大提高了性能。

    Jun, 2019

  • 预训练语言模型表示用于语言生成

    本文研究了将预训练的语言模型表征集成到序列到序列模型中的不同策略，并将其应用于神经机器翻译和抽象摘要。实验证明，加入编码器网络的预训练表示是最有效的，可以在减慢推理速度仅 14％的情况下获得高达 5.3 BLEU 的增益，并且即使有数百万个句对可用时，仍然可以观察到改进。最后，在 CNN / DailyMail 的完整文本版本上，我们达到了最新的研究成果。

    Mar, 2019