此研究综述了分布式语义表示的理论背景,介绍了从单词级别向更精细的词义级别转化的方法,并提供了对两种主要分支进行的广泛技术概述;最终,对其重要方面进行了分析与评估。
May, 2018
该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入,同时介绍了一种修剪嵌入的方法,用于代表每个主题中每个单词的概率表示, 并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性,并优于各种最先进的实现。
Sep, 2019
本篇论文提出了一种新的方法,基于监督式消歧,为每个单词建立多个嵌入向量,从而针对字面意思和文本语境对不同主题进行消歧,以及在神经依赖分析上具有更好的错误率表现。
Nov, 2015
通过深度语义网络来解决语义表达技术中单一代表多个意思的缺陷,提出了一种高覆盖率、能够准确表示不常见词义的技术,并在六个数据集上取得了最先进的结果。
Aug, 2016
本文考察了是否需要先验消除词义歧义,或者词在上下文中可以通过组合来消除歧义。我们评估了现成的单向量和多感知向量模型在基准短语相似性任务和词义判别的新任务中的表现。我们发现,单向量模型的性能比多感知向量模型好,尽管其组成单元表示可能不太规整。此外,我们的研究结果表明,像点对点加法这样的简单组合函数能够从单一向量模型中很好地恢复感官相关信息。
Feb, 2017
该论文提出使用分层狄利克雷过程学习每个单词的多个主题敏感表示的两种方法,通过模拟主题并集成每个文档的主题分布,可以得到能够区分给定单词不同含义的表示。该模型在词汇替换任务中表现出统计学显著的改进,表明常用的单词表示即使与上下文信息结合使用,也不足以完成该任务。
May, 2017
本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架,旨在促进句子中单词之间的交互,并使用环境中的句法信息来增强向量。研究结果表明,该框架在 MSRPar 任务上取得了具有代表性的结果。
Aug, 2015
本文提出了一种三倍增的方法来进行无监督的多义词建模,其中使用低秩子空间来表示包含目标单词的句子,通过对表示的格拉斯曼几何进行聚类算法对目标单词的不同义项进行消歧辨别,最后基于英文维基百科语料库得出了多个词和词义对的表示,这些算法在标准意义识别和消歧辨别数据集上带来了新的最佳成果。
Oct, 2016
使用混合模型来学习多感知词嵌入,取得了比以前更好的效果。
Jun, 2017
提出一种将词向量转换成稀疏(可选二进制)向量的方法,使得词向量更接近于自然语言处理中常用的可解释特征,但这些特征是从原始语料库中自动发现的,并且在基准任务上优于原始向量。
Jun, 2015