该研究提出了一种基于向量空间的框架来对词汇包容性建模的分布语义模型,利用伪短语中邻近的两个词向量提出了一种隐向量,并探究了模拟词作为证据或词作为后验分布的优缺点。实验表明,所得到的词嵌入模型优于之前预测词之间下义词关系的最佳结果。
Oct, 2017
本文提出一种新的基于概率框架、结合形式语义和机器学习的方法,通过将谓词与其所指实体分开,利用贝叶斯推断来对逻辑形式进行推理,在使用受限玻尔兹曼机和前馈神经网络的组合实现这一框架之后,最终证明了该方法的可行性。
Jun, 2016
本文提出了一种基于神经网络的分布式语义建模技术 SPT,通过自然语言文本中的术语自动提取和应用医学或应用于构建术语向量空间模型的基本实体,实现从分布式词表示向分布式术语表示的转换,从而提高传统本体论开发的准确性。
Mar, 2020
本文介绍了基于矢量表示的分布语义模型,扩展到短语和句子,提出了分类组合分布语义学理论框架,实现了短语和句子层面的言外推理,并通过实验论证了基于密度矩阵的熵距离在词语和短语、句子层面的言外推理可行性和优越性。
Dec, 2015
扩展基于类别、组成和分布的语义模型,通过将单词表示扩展为概率分布,定义对词汇蕴涵的对称和非对称相似度度量,利用量子变体对 von Neumann 熵进行度量。通过单词表示的组合映射和单词之间的蕴涵关系,提供了一种获取句子水平上的因果关系的方法。
Jun, 2015
分布式语义模型已经广泛应用于自然语言处理系统中,但在语言和认知的更广泛理论范围内,分布式语义模型的理论地位仍不清楚。 然而,我们认为传统答案本质上是一个误解,分布式语义模型本身是表达含义的适当模型。
May, 2019
本文探索了一种替代方案,该方案涉及使用分布邻域明确推断未观察到的共现词,结果表明,分布推断在几个单词相似性基准测试中提高了稀疏的单词表示,并且我们的模型在可解释性的同时,在形容词 - 名词,名词 - 名词和动词 - 对象组合方面与最新技术保持竞争力。
Aug, 2016
论文讨论了张量中的特征包含性质在不同的具体方法中的应用。通过对几种句子级度量方法的评估,证明了基于张量的组合方式可以获得最佳的性能表现。
Oct, 2016
本研究旨在对传统计数模型、预测模型与现代上下文向量模型(由 Transformer 神经语言模型生成)进行遵循语境学习的分布式语义模型(DSM)评估,结果显示在大多数上下文之外的语义任务和数据集中,静态 DSM 优于上下文化代表性,并揭示了 DSM 之间的不同之处,这些不同涉及词汇项的频率和词性,为调查分布式模型生成的语义空间提供了方法。
May, 2021
通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果,并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。
Oct, 2022