Aug, 2017

翻译学习：语境化词向量

PDF
TL;DR本文提出利用深度 LSTM 编码器来对词向量进行上下文增强的方法，并证明了这种方法在自然语言处理任务上，如情感分析、问题分类和问题回答等方面的有效性。
computer visionnatural language processingdeep learninglog filterfeature extraction
发现论文，激发创造
  • 上下文感知的跨语言映射

    本文提出了一种基于上下文的跨语言映射技术，利用平行语料库中对齐的句子的平均嵌入来替代单词级别映射，从而实现更好的句子级别跨语言相似性，实验证明该方法能够在句子翻译检索中优于独立于语境的单词映射。

    Mar, 2019

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 神经机器翻译的依赖于上下文的单词表示

    本文首次观察了神经机器翻译中不断向量表示的潜在弱点，基于此提出了利用非线性词袋表示法和类型化符号来提高对源语言和目标语言的区分度，从而显著提高了神经机器翻译系统的翻译质量。

    Jul, 2016

  • 上下文编码器：作为 Word2Vec 的简单而强大的扩展

    通过把已学习的 word2vec 词向量矩阵与单词的平均上下文向量相乘，可以创建新的单词词向量并表示多重含义的单词。将这些词向量用作特征，对 CoNLL 2003 命名实体识别任务的改进效果得到了证明。

    Jun, 2017

  • 上下文词表示：一个上下文介绍

    这篇论文介绍了自然语言处理领域的一个分支 —— 词向量，它们的产生、作用、历史发展以及现今面对的挑战，同时讨论了最新的研究成果 —— 上下文词向量。

    Feb, 2019

  • 从对比微调的语言模型中提取语义概念嵌入

    提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

    May, 2023

  • 自然语言处理任务中的迁移学习监督上下文嵌入

    本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

    Jun, 2019

  • 使用临床词汇表增强字向量的 AWE-CM 向量

    文中提出了使用专家领域知识来构建单词嵌入向量的方法，在临床自然语言处理中获得了可观的效果。通过将单词的 “上下文” 概念推广为包括任意特征，我们展示了使用这种方法产生的单词向量在与临床专家的相关性方面普遍优于其纯文本的对应方法。

    Dec, 2017

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 卷积神经网络用于句子分类

    使用预训练字向量对卷积神经网络进行训练，支持 fine-tuning 并结合静态和动态字向量，以提高句子级分类准确率并在多项基准测试中超越现有技术。

    Aug, 2014