外部记忆中的绑定视为新符号的产生
在本文中,我们提出了一个统一的框架来解决神经网络在实现人类水平泛化方面的困难,并认为这种组合方法对于实现人类水平泛化是至关重要的。通过从神经科学和认知心理学的丰富研究中获取灵感,并调查机器学习文献中的相关机制,我们确定了一些归纳偏见的组合,让符号信息处理在神经网络中自然地出现。
Dec, 2020
通过提出 SEA-net 方案,使神经网络拥有符号创造、语义理解和通信的能力,并通过符号操作和通信获得新的功能。这些和人脑中的符号生成和理解有着共通的框架,有望在未来生产更加强大的人工智能系统。
Apr, 2023
通过神经 - 符号过渡性字典学习(TDL)框架,以一种自监督的方式学习数据的过渡性表示,将高维度的视觉输入信息压缩为一组张量作为神经变量,并发现隐含的谓词结构。通过原型聚类学习谓词,并使用扩散模型实现框架,通过合作博弈学习输入的分解,在 3 个抽象组合视觉对象数据集和 3 个神经 / 符号下游任务上进行了广泛实验,展示了学习到的表示能够对视觉输入进行可解释的分解,并且对于现有方法无法实现的下游任务具有平滑适应性。
Aug, 2023
该研究探讨了语言模型的内部表示和超出表面统计信息的能力,并使用 Othello 棋盘游戏作为示例,发现神经网络对于棋盘状态具有一种非线性内部表示,可以用于解释和控制其输出。
Oct, 2022
该论文提出了一种新的基于晦涩数据生成分层概念结构的符号方法,不需要训练即能生成丰富易读的概念表示,并具有高组合性、正式推理和泛化和分布式学习的内在能力。
Jul, 2023
本研究开发了一种结合符号逻辑和神经网络自动生成生物学知识图谱节点的向量嵌入方法,用于生物知识图谱的边预测,并实现了优于人工特征方法的表现,该方法可应用于任何生物知识图谱中,并开放性的提供了生物领域中基于语义 Web 技术的知识库的机器学习和数据分析。
Dec, 2016
通过符号自动编码器模型,以及弱监督和新兴语言框架的指导,我们提出了一种新的体系结构,用于在脑网络中生成层次化的群集和相应的图像,从而改善神经影像分析中深度学习模型的可解释性。
Apr, 2024
本文提出了一种基于元学习的能量记忆模型,通过使用任意神经结构作为能量模型并快速将图案存储在其权重中,实现了对合成和自然数据的压缩记忆,并在重构误差和压缩率方面优于现有的记忆系统。
Oct, 2019
本研究提出了一种基于能量的图嵌入算法来描述工业自动化系统,学习多个领域的知识,从而可以进行上下文感知预测和评估异常严重性,该模型可以应用于机器学习和神经形态计算等领域。
Oct, 2021