Feb, 2024

神经元为中心的赫布学习

PDF
TL;DR脑的学习机制中最引人注目的能力之一是通过结构和功能可塑性对其突触进行适应。然而，大多数用于人工神经网络的可塑性模型专注于突触而非神经元，因此优化了突触特定的 Hebbian 参数。为了克服这个限制，我们提出了一种新的可塑性模型，称为神经元为中心的 Hebbian 学习 (NcHL)，其中优化专注于神经元特定的 Hebbian 参数。和 ABCD 规则相比，NcHL 将参数数量从 5W 减少到 5N，其中 W 和 N 分别为权重和神经元的数量，通常 N 远小于 W。在两个机器人运动任务的实验证明，尽管使用的参数数量少得多（约为 97 倍），但 NcHL 与 ABCD 规则的性能相当，因此具有可扩展的可塑性。
structural and functional plasticityneuron activationsplasticity modelsynaptic-specific hebbian parametersscalable plasticity
发现论文，激发创造
  • 随机网络中基于赫比塞塑性的元学习

    受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。

    Jul, 2020

  • 通过神经元活动感知可塑性实现无监督的 3D 物体学习

    本文提出一种无监督的深度学习模型用于 3D 物体分类，该模型采用新颖的神经元活动感知 Hebbian 学习规则，可以动态地调整神经元的 Hebbian 学习或反 Hebbian 学习，以适应复杂几何物体的任务，并通过理论分析和实验结果证明该模型优于其他 Hebbian 学习模型并且在训练数据受限的情况下表现更好。

    Feb, 2023

  • 基于 Hebbian 和梯度的可塑性实现 RNNs 的强大记忆与快速学习

    本文提出了一种使用可塑性规则的基于循环神经网络的模型，能够自适应地根据不断变化的经验调整参数，并在关联学习和有限次学习等方面表现出色，其中全局梯度可塑性规则比局部 Hebbian 可塑性规则能更好地推断底层映射。

    Feb, 2023

  • 仿生学的神经元适应提高神经网络的学习能力

    通过多层感知器和卷积神经网络，研究对比黑比学习和平衡传播算法及其加宽自适应能力的表现及其仿生学上的意义。

    Apr, 2022

  • 生物可信神经网络的研究：大脑启发机制在持续学习中的作用和交互

    通过生物学上的神经元网络组合中的多种互补机制，可以在人工神经网络中实现连续学习。

    Apr, 2023

  • 全测试时间适应的神经调制 Hebbian 学习

    本文研究了深度神经网络领域中跨域性能退化问题，提出了一种基于完全测试时间自适应方法来提高网络适应性能的方法，其中采用了软式 Hebbian 学习过程和反馈神经调节层来辅助在线适应。实验结果表明，该方法可以显著改善网络模型的适应性能并超越现有的最新方法。

    Mar, 2023

  • 通过强化学习和无监督学习的融合控制神经网络的突触可塑性

    提出了一种基于突触可塑性动态的学习规则，该规则通过融合强化学习和非监督学习模拟误差反馈机制和两个重要机制，包括错误反馈系统以及非监督学习。

    Mar, 2023

  • 具备复杂突触的持续强化学习

    本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。

    Feb, 2018

  • 自构建神经网络

    为了在任务执行期间自动构建神经网络结构提出了一种自构建神经网络（SBNN）。 该模型采用 Hebbian 学习和修剪相结合的方法，以拟合神经元的突触形成过程。 在与传统神经网络的比较中，结果表明其表现通常优于传统神经网络，并且在验证测试中 SBNNs 比传统神经网络更适应新任务，特别是在注重权重修剪的情况下。

    Apr, 2023

  • 编程分子系统以模拟学习尖峰神经元

    论文探讨了如何设计分子系统以展现类似于自主学习的行为，提出了一种可对任意多个输入通道展现自主型 Hebb 学习的化学反应网络，并指出在构建新的化学系统和 DNA 系统中如何实现神经元动力学。

    May, 2022