介绍了一种扩展基于范畴的表示意义的方法,将其应用于概念空间模型,提出了凸关系范畴,构建了名词、形容词和动词类型的概念空间,通过例子说明了复合短语的构成方式,建立了一种新的认知复合方法。
Mar, 2017
本文提出了一个新的模型框架,使用范畴论的概念空间广义化,并展示了如何从数据中自动地学习概念表示,包括经典和量子两种不同的实例化。通过范畴论的形式化,我们详细阐述了该框架的基本原理。我们认为使用范畴论,特别是使用弦图来描述量子过程,可以帮助阐明我们方法的一些重要特点。在现有的概念空间框架基础上,我们从简单形状的图像中学习了形状、颜色、大小和位置等概念,在经典实现中概念表示为高斯函数,在量子实现中表示为量子效应。在经典情况下,我们开发了一个新的模型,受到概念的 Beta-VAE 模型启发,但更紧密地与语言相连接,使得概念的名称成为图形模型的一部分。在量子情况下,概念通过一个混合的经典 - 量子网络进行学习,该网络通过卷积神经网络进行经典图像处理,并通过参数化量子电路生成量子表示。最后,我们考虑了我们的量子概念模型是否可以被视为 Gardenfors 意义上的概念空间。
Nov, 2023
本研究提出一种基于向量空间嵌入的方法,通过 Wikipedia 学习实体的嵌入并将其限制在某些较低维度子空间中,以解决概念空间表示建模自动化的局限性,实验结果表明这些子空间能够作为近似的概念空间表示,其重要特征可以被建模为方向,而自然属性则往往对应于凸区域。
Feb, 2016
大型语言模型的表示空间中如何编码语义含义是可解释性中的一个根本问题。本文研究了这一领域的两个基本问题:第一,如何表示类别概念,如 “哺乳动物”、“鸟类”、“爬行动物”、“鱼类” 等;第二,如何编码概念之间的层级关系,例如 “狗” 是 “哺乳动物” 的一种。我们通过扩展线性表示假设来回答这些问题,并发现了一个非常简单的结构:简单的类别概念被表示为单纯形,具有层级关系的概念在某种意义上是正交的,并且(作为结果)复杂的概念被表示为由单纯形的直和构成的多面体,反映了其层级结构。我们使用来自 WordNet 的数据验证了这些理论结果,在 Gemma 大型语言模型上估计了 957 个具有层级关系的概念的表示。
Jun, 2024
提出了一种在脉冲神经网络结构中实现复合分布语义、解决概念绑定问题的方法,利用标记图像进行词向量训练。
Jan, 2024
本文提供了一种用于实现分布式语义中语义合成模型的矢量空间的具体方法,实现方法基于结构化向量空间及张量积原理,将所有句子的语义矢量存在同一向量空间,并将提出的句子空间设置为两个名词空间的张量积,并通过它们的向量内积来比较句子的语义。
Dec, 2010
本文研究了分布语义学中的组合性问题,使用 Coek,Sadrzadeh 和 Clark 提出的范畴理论框架,将语法分析形式主义与分布语义表示法相结合,生成具体的组合式分布式模型,并展示它们在自然语言处理领域的有效性。研究的贡献包括将 DisCoCat 框架拓展到在句法和语义上,验证模型的优势以及提出了在本主题上应用范畴论的未来研究方向。
Nov, 2013
本论文提出了三种新的方法,一方面提出了基于 Frobenius 代数的抽象框架的具体实例,另外则提出了一种新的组合算法处理不同级别的词汇歧义,并引入了用于解释词汇歧义的量子力学方法。
May, 2015
本文介绍了一种将概念邻居纳入考虑的方法来学习区域向量表示,从而得到更加准确的基于区域的表示。
Dec, 2019
本文探讨了概念联想在不同情境下的非单调行为,利用基于认知科学和计算语言学的语义空间模型逼近了概念空间。这些模型不仅提供了支撑人类实践推理的认知基础,而且从数学角度上说,它们是实值希尔伯特空间。因此,本文提出了通过量子力学形式化人类实践推理的高度推测性前景,并关注概念情境效应的形式化描述和运算问题。
Dec, 2006