Jul, 2016

神经机器翻译的依赖于上下文的单词表示

PDF
TL;DR本文首次观察了神经机器翻译中不断向量表示的潜在弱点，基于此提出了利用非线性词袋表示法和类型化符号来提高对源语言和目标语言的区分度，从而显著提高了神经机器翻译系统的翻译质量。
neural machine translationcontinuous vector representationword embedding vectorscontextualizationsymbolization
发现论文，激发创造
  • 上下文感知的跨语言映射

    本文提出了一种基于上下文的跨语言映射技术，利用平行语料库中对齐的句子的平均嵌入来替代单词级别映射，从而实现更好的句子级别跨语言相似性，实验证明该方法能够在句子翻译检索中优于独立于语境的单词映射。

    Mar, 2019

  • 上下文编码器：作为 Word2Vec 的简单而强大的扩展

    通过把已学习的 word2vec 词向量矩阵与单词的平均上下文向量相乘，可以创建新的单词词向量并表示多重含义的单词。将这些词向量用作特征，对 CoNLL 2003 命名实体识别任务的改进效果得到了证明。

    Jun, 2017

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 翻译学习：语境化词向量

    本文提出利用深度 LSTM 编码器来对词向量进行上下文增强的方法，并证明了这种方法在自然语言处理任务上，如情感分析、问题分类和问题回答等方面的有效性。

    Aug, 2017

  • NMT 衍生的语言中介嵌入的实证分析及其在平行语句识别中的应用

    该研究系统研究了端到端的神经机器翻译的上下文向量作为句子的交互语言表征的功效，并在可比较语料库中取得了较高的平行句子识别准确率。

    Apr, 2017

  • 利用神经机器翻译嵌入词汇相似度

    该研究探讨神经机器翻译模型所学到的嵌入，在需要同时考虑概念相似性和词汇 - 句法角色知识的任务中，它们的性能优于单语言模型所学到的嵌入。研究结果还表明，词汇扩展算法对嵌入质量的影响很小。

    Dec, 2014

  • 上下文词表示：一个上下文介绍

    这篇论文介绍了自然语言处理领域的一个分支 —— 词向量，它们的产生、作用、历史发展以及现今面对的挑战，同时讨论了最新的研究成果 —— 上下文词向量。

    Feb, 2019

  • BERTTM：利用预训练语言模型的上下文化单词嵌入来进行神经主题建模

    本研究开发了一种新型的神经主题模型，结合了来自预先训练的语言模型 BERT 的上下文化单词嵌入，无需使用任何词袋信息即可推断文档的主题分布，实验表明该模型在文档分类和主题连贯度指标方面优于现有主题模型，并可处理来自新到达文档的未见单词。

    May, 2023

  • 基于单词预测的神经机器翻译

    本文提出了一种通过预测目标语句中词汇的方法，直接对编码器和解码器中隐藏状态向量进行监督，从而提高了表示质量和机器翻译的效率，实验证明在中英翻译任务和德英翻译任务中 BLEU 得分分别提高了 4.53 和 1.3。

    Aug, 2017

  • 利用句子上下文进行神经机器翻译

    本研究提出了利用句子上下文进行神经机器翻译的新方法，并在 WMT14 英德和英法基准测试中进行了实验，结果表明，通过利用句子上下文可以提高翻译性能，深度句子上下文可以形成更全面的上下文表示。

    Jun, 2019