一种分析概念组合的组合性的概率框架
我们证明一个定理,即任何语义都可以被编码为组合语义,这意味着,本质上,组合性的标准定义是形式上的空洞。我们随后证明,当要求组合语义是 “系统化” 的(即意义函数不能是任意的,而必须属于某个类别),就可以区分组合性和非组合性语义。因此,我们相信这篇论文阐明了组合性的概念,并开辟了对不同语法系统进行系统形式比较的可能性。
Mar, 1995
介绍了一种扩展基于范畴的表示意义的方法,将其应用于概念空间模型,提出了凸关系范畴,构建了名词、形容词和动词类型的概念空间,通过例子说明了复合短语的构成方式,建立了一种新的认知复合方法。
Mar, 2017
本文提出了一种基于 contextual word embedding 以及外部知识库的方法,用于实现多词组的非固定组合性自动检测,该方法在数据集测评中表现良好。
Mar, 2019
本研究基于多种语言和哲学理论对构成性的不同解释,提出了五个理论有据的测试方法,用于评估神经语言模型的构成性能力,结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。
Aug, 2019
人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式,展示了复杂的认知行为,为人类认知研究提供了新的视角和可能性。
May, 2024
本文旨在理解语言中组成性结构在模型失败中的作用以及与其表达能力和样本复杂度的关系,并提出了一种神经符号化的组成性函数及其复杂性的定义,并分析了各种现有的通用和特殊目的序列处理模型在该定义下的组成性复杂性,最后基于提出的定义给出了显式地依赖于它的组成性模型的表达能力和系统化泛化的理论保证,并突出了影响实验性能的因素。
May, 2024
本文研究了分布语义学中的组合性问题,使用 Coek,Sadrzadeh 和 Clark 提出的范畴理论框架,将语法分析形式主义与分布语义表示法相结合,生成具体的组合式分布式模型,并展示它们在自然语言处理领域的有效性。研究的贡献包括将 DisCoCat 框架拓展到在句法和语义上,验证模型的优势以及提出了在本主题上应用范畴论的未来研究方向。
Nov, 2013
本文提出了一种能够描述原型概念组合现象的非单调典型性描述逻辑,它基于合理封闭的典型性描述逻辑 ALC TR 和概率描述逻辑的分布式语义,使用了人类用于概念组合的认知启发式。在此基础上,我们还给出了该逻辑的 EXPTIME 完全性推理方法。
Nov, 2018
该文章提出了一种基于数据分布的组合建模通用框架,证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数,可在训练数据上产生新的、格式正确的例子,进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强,在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果,在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。
Jan, 2022