May, 2024

LARS-VSA：用于学习抽象规则的矢量符号架构

PDF
TL;DR人类认知在符号推理方面表现出色，从有限样本中推导出抽象规则。本文通过结合符号和连接主义方法，提出了一种神经符号化结构；同时，在学习有限数据量时，采用了将对象级特征与抽象规则分离的 “关系瓶颈” 策略。此外，本文借助于鲁棒性更强的高维计算方法来构建具有组合性的体系结构，并设计了一种新颖的高维注意机制。相较于现有技术，在各种测试数据集上，本系统具有更高的效率且保持相同或更高的准确性。
symbolic reasoningneuro-symbolic architecturerelational bottleneckhyperdimensional computinghigh-dimensional attention mechanism
发现论文，激发创造
  • 解决渡鸦先知测试的神经矢量符号架构

    利用我们提出的神经向量符号架构（NVSA）对 Raven's 渐进矩阵数据集进行端到端训练，N VSA 的平均准确率达到了 87.7％，而 I-RAVEN 数据集则为 88.1％。与神经符号方法内的符号推理相比，NVSA 的概率推理具有两个数量级的更快速度。

    Mar, 2022

  • 基于自注意力的矢量符号结构的语义分解

    基于自注意力的更新规则和 Hopfield 网络的 log-sum-exp 能量函数及范数限制状态的新变体共振器网络被引入，可显著提高性能和收敛速度，使得算法具有更大的关联记忆能力，可应用于感知基模式识别、场景分解和物体推理等多个任务。

    Mar, 2024

  • 向量符号架构的比较

    本文提出了 11 种可用的 VSA 实现，并讨论了它们在底层向量空间和操作符方面的相似性和差异性，并通过实验比较了它们的容量、非精确解绑操作的逼近质量、混合捆绑和绑定操作对查询响应性能的影响以及在两个示例应用程序中的性能。

    Jan, 2020

  • 矢量符号化架构中基于学习规则的视觉抽象推理的概率推断

    学习向量符号体系在解决抽象推理问题 (Raven's progressive matrices) 方面具有高效性和预测准确性。

    Jan, 2024

  • 稀疏分布式表示的变量绑定：理论与应用

    本文探讨了 Vector Symbolic Architectures 中稀疏分布式表示下的符号推导，通过实验证明了基于块编码进行变量绑定的方法具有良好的性质，并在认知推理和分类等实际应用中展示了它的价值。

    Sep, 2020

  • 基于向量符号架构的非配对图像转换

    使用矢量符号结构（VSA）作为理论框架，将 VSA 约束应用于对抗学习，通过学习矢量映射来反转翻译，以确保与源内容的一致性，从而提高了图像翻译的效果。

    Sep, 2022

  • 稀疏二进制超向量的认知建模与学习

    基于 VSA 理论框架，提出了一种使用稀疏二进制超向量的认知模型，并引入学习算法来从输入数据流中引导模型的训练，在有效性和透明度方面有了显著改进。该模型模拟人类认知过程，在会话中可以进行在线训练，并探索了在自然语言处理领域中利用这些超向量进行词级嵌入的进一步应用。

    Sep, 2023

  • 向量符号架构应对杰肯多夫对认知神经科学的挑战

    该研究挑战性地审视了语言组合性和语言规则对脑功能理论的四个挑战，并探讨了联结主义建模中的技术创新如何解决这些挑战，认为一些鲜为人知的连接主义模型能够满足这些挑战。

    Dec, 2004

  • 超高维计算综述，又称矢量符号架构，第二部分：应用、认知模型和挑战

    本文是第二部分的综述，介绍了高维计算框架 HDC / VSA 的应用、在认知计算和体系结构中的作用，以及未来工作方向；HDC / VSA 由高维分布式表示组成，并依靠其关键操作的代数属性来结合结构化符号表示和向量分布式表示的优点。

    Nov, 2021

  • pix2rule: 端到端的神经符号规则学习

    本文提出了一种完整的神经符号方法，用于以端到端的方式将图像处理为对象，并在学习关系和逻辑规则方面。主要贡献是以可微分层为基础，从而可以通过剪枝和阈值确定符号关系和规则。我们使用两个数据集进行模型评估：符号规则学习的子图同构任务和学习对象，关系和规则的复合关系的图像分类域。结果表明，该模型超越最先进的符号学习者并优于深度关系神经网络架构。

    Jun, 2021