ICLRFeb, 2023

通过神经元活动感知可塑性实现无监督的 3D 物体学习

PDF
TL;DR本文提出一种无监督的深度学习模型用于 3D 物体分类，该模型采用新颖的神经元活动感知 Hebbian 学习规则，可以动态地调整神经元的 Hebbian 学习或反 Hebbian 学习，以适应复杂几何物体的任务，并通过理论分析和实验结果证明该模型优于其他 Hebbian 学习模型并且在训练数据受限的情况下表现更好。
unsupervised deep learning model3d object classificationneuron activity aware hebbian learninggeometric objectslimited training data
发现论文，激发创造
  • 神经元为中心的赫布学习

    脑的学习机制中最引人注目的能力之一是通过结构和功能可塑性对其突触进行适应。然而，大多数用于人工神经网络的可塑性模型专注于突触而非神经元，因此优化了突触特定的 Hebbian 参数。为了克服这个限制，我们提出了一种新的可塑性模型，称为神经元为中心的 Hebbian 学习 (NcHL)，其中优化专注于神经元特定的 Hebbian 参数。和 ABCD 规则相比，NcHL 将参数数量从 5W 减少到 5N，其中 W 和 N 分别为权重和神经元的数量，通常 N 远小于 W。在两个机器人运动任务的实验证明，尽管使用的参数数量少得多（约为 97 倍），但 NcHL 与 ABCD 规则的性能相当，因此具有可扩展的可塑性。

    Feb, 2024

  • 随机网络中基于赫比塞塑性的元学习

    受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。

    Jul, 2020

  • 通过本地竞争来实现激活学习

    本文提出了一种生物可行的局部学习规则，利用神经元之间的局部竞争完成无监督特征发现，使用称为激活学习的正向学习范例对样本进行分类，在一些小数据集上能够与反向传播相媲美；同时在实现异常检测时表现出色。

    Sep, 2022

  • StarCraft II 中基于点集的无监督 Hebbian 学习

    本文介绍了一种新颖的 Hebbian 学习方法，以提取 StarCraft II 游戏单位中的点集的全局特征，并将其应用于预测点的移动，实验证明该模型比自监督学习方法具有更低的预测损失和更低的计算成本。

    Jul, 2022

  • 本地可塑性规则可使用自监督对比预测学习深度表征

    这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

    Oct, 2020

  • 基于海布学习的正交投影，用于脉冲神经网络的持续学习

    基于侧向连接和赫比学习的神经操作提供对脑回路的新见解，并展示了如何在神经系统中实现正交投影，由此解决了关于神经形态计算的遗忘问题。

    Feb, 2024

  • 带有赫比塞义可塑性的尖峰神经网络用于无监督表征学习

    介绍了一种新颖的脉冲神经网络模型，用于从数据中学习分布式内部表示，通过将之前已被证明可以执行表示学习的非脉冲前馈贝叶斯置信传播神经网络（BCPNN）模型转换为脉冲神经网络，并采用基于在线相关性的 Hebbian-Bayesian 学习和重连机制，呈现出在生物皮层锥体神经元中与 in vitro 低发射率相当的 Poisson 统计量。我们使用线性分类器评估了我们的脉冲模型学习的表示，并展示了与非脉冲 BCPNN 接近，以及当对 MNIST 和 F-MNIST 机器学习基准进行训练时，与其他基于 Hebbian 的脉冲网络竞争力相当。

    May, 2023

  • 走向生物学可行的深度学习

    本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

    Feb, 2015

  • 单相对比赫布学习的两个故事

    通过将梯度表示为活动差异的方法进行生物合理性学习算法的搜索，提出了名为 “双向传播” 的完全本地学习算法，弥补了与反向传播的性能差距，无需分离的学习阶段或无穷小的盯人，在稳定性方面仍然与对称盯人无关。

    Feb, 2024

  • Hebbian 学习网络中的主动推断

    本文研究了如何通过具有局部 Hebbian 可塑性的脑启发式神经编码器来执行主动推断，进而控制动态智能体，并证明该方法在不需要重访过去经历的情况下，可以优于 Q-learning 等传统强化学习方法。

    Jun, 2023