用概念器控制递归神经网络
本文展示了通过将网络的某些部分保持适应性,即使在训练之后,增强了其功能和稳健性,并且展示了适应性网络在插值、网络部分退化稳定化和输入扭曲鲁棒性方面的计算功能,同时强调了适应性网络在机器学习中的潜力,使其不仅能学习复杂模式,还能动态调整以适应不断变化的环境,从而扩大其适用范围。
May, 2024
概念学习是人类认知的基本方面,与分类、推理、记忆和决策等心理过程密切相关。通过研究计算神经科学和认知心理学的发现,本文发现大脑对概念的表示依赖于多感官表示和文本派生表示两个关键组成部分,并通过语义控制系统协调这两种表示,最终实现概念的获取。借鉴这一机制,本研究基于脉冲神经网络开发了一种人类类似的概念学习计算模型,有效应对多样化来源和不平衡维度的概念表示所带来的挑战,并成功获得了类似人类认知的概念表示。类似概念的测试表明,我们的模型模拟了人类学习概念的方式,得到了与人类认知密切吻合的表示结果。
Jan, 2024
本研究提出了关于符号概念的理论,并使用一个简单的视觉概念学习任务来评估多个现代神经结构与该理论的一致程度,发现这些模型可以成功通过测验,但在因果关系方面仍然存在重要的问题。
Jul, 2022
综述了最近的方法来解释神经网络中的概念,强调了将学习和推理结合起来的重要性,并探讨了将概念知识插入神经网络架构的可能性,为实现基于可解释概念的神经符号人工智能迈出重要一步。
Oct, 2023
在现代架构上,使用随机梯度下降算法训练模型可以更好地了解抽象概念,但仍然需要不断交互和验证以理解物理概念,并通过控制数据采集过程获得积极的观察结果。然而,使用有限的资源和时间将物理实体绑定到数字身份是解决信号到符号障碍问题的一个潜在方法,但需要不断的验证和咨询。
Jul, 2022
本文提出了一种基于 conceptors 的反向传播算法,可以在深度前馈网络中抵御以往学习结果的退化,解决连续学习中的 catastrophic interference 问题,并在 MNIST 任务中表现出了优越性。
Jul, 2017
通过一个称为 Concept-Monitor 的框架以及一个新的统一的嵌入空间和概念多样性度量方法,我们提出了一个通用的框架,可以自动帮助我们了解黑箱 DNN 训练进程,并且对 DNN 培训过程进行可解释的可视化,还提出了一个新的训练正则化器,以激励隐藏神经元学习不同的概念,从而改善培训表现,并应用于敌对培训、微调和网络修剪等几个情景中。
Apr, 2023
本研究介绍了两种神经网络的概念视图,即多值视图和符号视图,并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外,论文还展示了这些视图可以量化不同学习架构之间的概念相似度,并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则,从而为全局解释神经网络模型做出贡献。
Sep, 2022
通过分析深度线性网络中的非线性动态,我们找到了确切的解决方案,从而解释了语义认知中许多不同现象的普遍性,包括概念的分层差异、语义错觉、项目典型性和类别一致性的出现,以及发展过程中归纳投射模式的变化,以及跨物种的神经表示中语义相似性的保持。
Oct, 2018
本研究采用时间分辨脑成像和深度学习的方法,探究人脑视觉处理的层次动态及信息流向,结果表明,回归深度神经网络模型比参数匹配前馈模型更能准确捕捉人脑视觉处理的多区域功能
Mar, 2019