本文提出了一种基于贝叶斯学习规则的方法来解决训练二进制神经网络的有限制的问题。该算法不仅能够获得最先进的性能，而且还能够估计不确定性以避免灾难性遗忘。

Feb, 2020

本文探讨了大脑如何使用 Hebbian 学习规则来避免高维稀疏分布表示的 “维度灾难” 问题，并使用特定的稀疏数据集来证实使用 Restricted Boltzmann Machines 分类器的好处。

Jul, 2022

使用相似性匹配的规范方法，我们探索了监督学习算法，并阐明了神经架构的出现和加性与乘性更新规则，并展示了代表定理在推动我们对神经计算的理解中的关键作用。

Aug, 2023

本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。

Oct, 2021

通过研究生物神经网络中监督学习的随机模型，我们发现随机梯度下降法可能在优化生物神经网络中扮演角色。

Sep, 2023

受生物神经元可塑性启发，我们提出了一种搜索方法，通过寻找突触特异的赫比学习规则，使网络能在智能体的生命周期内持续自组织其权重，从而实现在一些强化学习任务中取得成功，同时对多种感官模态处理方式具有适应性。

Jul, 2020

脑的学习机制中最引人注目的能力之一是通过结构和功能可塑性对其突触进行适应。然而，大多数用于人工神经网络的可塑性模型专注于突触而非神经元，因此优化了突触特定的 Hebbian 参数。为了克服这个限制，我们提出了一种新的可塑性模型，称为神经元为中心的 Hebbian 学习 (NcHL)，其中优化专注于神经元特定的 Hebbian 参数。和 ABCD 规则相比，NcHL 将参数数量从 5W 减少到 5N，其中 W 和 N 分别为权重和神经元的数量，通常 N 远小于 W。在两个机器人运动任务的实验证明，尽管使用的参数数量少得多（约为 97 倍），但 NcHL 与 ABCD 规则的性能相当，因此具有可扩展的可塑性。

Feb, 2024

本文将 learning to learn（L2L）框架扩展到零阶（ZO）优化设置，其中没有明确的梯度信息，并将学习的优化器建模为循环神经网络（RNN），通过 ZO 梯度估算器近似梯度，并利用以前迭代的知识产生参数更新，进一步引入另一个 RNN 来学习高斯采样规则并动态指导查询方向采样。我们的学习优化器在合成和实际 ZO 优化任务中表现出优异的收敛率和最终解决方案，特别是在 Black-box Adversarial Attack 任务中。

Oct, 2019

本文提出了一种基于线性回归的方法来学习神经网络的权重和偏置，与标准的基于梯度的反向传播相比更为快速、稳定，但仅限于简单前馈神经网络、标量回归问题和可逆激活函数。

Jul, 2023

提出一种基于信息瓶颈原理的学习规则，结合了核方法，并采用 3 要素的 Hebbian 结构，其不需要精确标签，且在图像分类任务上表现与反向传播算法接近。

Jun, 2020