本文探讨了 Vector Symbolic Architectures 中稀疏分布式表示下的符号推导,通过实验证明了基于块编码进行变量绑定的方法具有良好的性质,并在认知推理和分类等实际应用中展示了它的价值。
Sep, 2020
提出一种将词向量转换成稀疏(可选二进制)向量的方法,使得词向量更接近于自然语言处理中常用的可解释特征,但这些特征是从原始语料库中自动发现的,并且在基准任务上优于原始向量。
Jun, 2015
本研究探讨了使用二进制超空间向量直接对神经网络的分类输出信号进行编码的概念,以便在符号层次上将不同的网络结合在一起。这种方法可以迭代地执行,甚至在单个神经网络上进行。我们发现此过程超越了现有技术水平,在几乎没有额外开销的情况下提高了性能。
May, 2022
使用矢量符号结构(VSA)作为理论框架,将 VSA 约束应用于对抗学习,通过学习矢量映射来反转翻译,以确保与源内容的一致性,从而提高了图像翻译的效果。
Sep, 2022
基于自注意力的更新规则和 Hopfield 网络的 log-sum-exp 能量函数及范数限制状态的新变体共振器网络被引入,可显著提高性能和收敛速度,使得算法具有更大的关联记忆能力,可应用于感知基模式识别、场景分解和物体推理等多个任务。
Mar, 2024
我们提出了一种基于课程数据顺序的简单计划的知识蒸馏方法,以使学生能够逐渐从教师模型中建立知识,通过 α 计划控制。同时,我们采用 LDC/VSA 作为学生模型,以增强低延迟要求的微型 BCI 设备的设备内推理效率。实证结果表明,与其他方法相比,我们的方法在精度和硬件效率之间实现了更好的平衡。
人类认知在符号推理方面表现出色,从有限样本中推导出抽象规则。本文通过结合符号和连接主义方法,提出了一种神经符号化结构;同时,在学习有限数据量时,采用了将对象级特征与抽象规则分离的 “关系瓶颈” 策略。此外,本文借助于鲁棒性更强的高维计算方法来构建具有组合性的体系结构,并设计了一种新颖的高维注意机制。相较于现有技术,在各种测试数据集上,本系统具有更高的效率且保持相同或更高的准确性。
May, 2024
本文研究了稠密分布式文本数据表示的两种新型神经模型:一种用于学习文档级表示,另一种用于学习词级表示。我们提出的模型分别在信息检索和语义关系识别等任务中优于现有方法,并且直接从原始文本数据中学习嵌入。其中,词级表示模型不同于以往的模型,可以用梯度下降算法进行训练。
Jan, 2019
本文介绍了 Binary Paragraph Vector 模型,它是一种使用简单的神经网络生成高效信息检索的短二进制编码。我们发现,Binary Paragraph Vector 在使用更少的位数时优于自编码二进制编码,并在转移学习场景中评估它们的精度,结果表明,二元段向量可以捕获与各个特定领域相关的语义。最后,我们提出了一种同时学习短二进制码和长实数表示的模型,可用于在大型文档集合中快速检索高度相关的文档。
Nov, 2016
利用我们提出的神经向量符号架构(NVSA)对 Raven's 渐进矩阵数据集进行端到端训练,N VSA 的平均准确率达到了 87.7%,而 I-RAVEN 数据集则为 88.1%。与神经符号方法内的符号推理相比,NVSA 的概率推理具有两个数量级的更快速度。
Mar, 2022