词汇语义增强的神经词向量
该研究提出了一种基于向量空间的框架来对词汇包容性建模的分布语义模型,利用伪短语中邻近的两个词向量提出了一种隐向量,并探究了模拟词作为证据或词作为后验分布的优缺点。实验表明,所得到的词嵌入模型优于之前预测词之间下义词关系的最佳结果。
Oct, 2017
本文研究了向量空间模型在自然语言处理领域的一些应用,通过比较不同模型在 TOEFL 同义词检测中的效果,发现在计算分布相似度时,句法依赖可以更好地解释词汇语义,同时将人工语义知识注入到神经嵌入中可以显著提高同义词检测的效果。
Sep, 2022
本论文探讨了计算语义相似度的不同方法,比较了分类和分布式语义相似度的不同特点,提出了类别相似度建模的三种加权因素,发现在不同词频、多义性和相似度强度范围内存在语义相似度计算巨大差距。
Sep, 2022
提出了一种新颖的基于词形的约束方法,通过使用简单的语言特定规则来改进分布向量空间的语义质量,这种方法可以提高低频词估计的准确性,并在解决语言理解任务的长尾现象方面取得显著的效果。
Jun, 2017
本文提出了一种基于神经网络的分布式语义建模技术 SPT,通过自然语言文本中的术语自动提取和应用医学或应用于构建术语向量空间模型的基本实体,实现从分布式词表示向分布式术语表示的转换,从而提高传统本体论开发的准确性。
Mar, 2020
介绍了一种名为 HyperVec 的神经模型,其可以学习分层嵌入,以检测和定向上位词,可以捕捉上位词 - 下位词分布层次结构,以及可以用于跨语言映射。实验结果表明,HyperVec 在上位词检测和定向,以及预测分级词汇蕴涵方面均优于现有的无监督方法和嵌入模型。
Jul, 2017
该研究探讨了一种计算模型,即词嵌入模型,通过将词表示为多维空间中的向量,从词汇共现模式中学习来自语义记忆中的常见知识,并提出了语义投影的解决方案,以检验词嵌入模型是否能够恢复多种语义特征和对象属性的上下文依赖关系。
Feb, 2018
该论文提出了一种新的向量表示方法,将词汇对比整合到分布式向量中,并加强了确定词语相似度度量的最显著特征。改进后的向量模型明显优于标准模型,并且可以跨词类(形容词,名词,动词)将反义词从同义词中区分开来。此外,该论文还将词汇对比向量整合到跳字模型的目标函数中,改进后的嵌入能够超越现有最先进的模型,在预测 SimLex-999 中的词语相似度和区分反义词和同义词方面表现优异。
May, 2016
本文提出了一种神经符号、多关系框架来仅通过自然语言定义学习单词嵌入,特别地,通过在超几何空间中学习,将维护向量空间中的显式概念关系和约束。实验结果表明,这种方法可以帮助强制执行期望的结构约束,同时保留可控和可解释的语义导航,而且超几何词嵌入优于欧几里得空间的词嵌入。
May, 2023
本论文提出了一种基于概率密度的单词嵌入模型 —— 密度顺序嵌入模型。该模型通过实现简单而有效的损失函数和距离度量以及基于图的方案选择负样本,学习到分层的概率密度表示。实验结果表明,此方法在 WordNet 层级关系预测任务和 HyperLex 语义蕴涵数据集上表现出了最先进的性能,并保留了丰富而可解释的密度表示。
Apr, 2018