通过分析权重空间结构得到 Franz-Parisi 势能解决二元感知器问题，发现权重空间由孤立解构成，而不是非常接近的集群，这些点状集群在权重空间中相距很远，解释了以前观察到的随机局部搜索启发式算法的玻璃态行为。

Aug, 2014

通过统计学习理论的通用结论，我们提出了一个模型，即通过采样网络结构的后验分布，突触可塑性和神经元网络可以进行概率推断，这个模型比现有的模型更好地解释了网络可塑性的随机特性对神经可塑性的影响。

Apr, 2015

介绍了一种模仿生物神经可塑性的新型自然启发式优化算法，在三个数据集上进行了测试，并与梯度下降优化进行了比较。

Apr, 2022

利用突触可塑性，采用梯度下降算法优化反馈网络的连接权重和可塑性，使得大型反馈可塑网络可以学习、记忆、重构以及元学习各类任务。

Apr, 2018

通过利用人工神经元中合成的梯度来近似梯度反向传播算法，研究人员在脉冲神经网络中实现了深度连续的本地学习，从而得出由用户定义的成本函数和神经动力学导出的突触可塑性规则，拟合生物和支持事件驱动、低功耗计算机视觉架构的精度与常规计算机相当的性能。

Nov, 2018

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015

本文尝试回答生物神经系统是否可以采用梯度的一阶自适应优化方法，通过在突触内使用生物合理的机制呈现了 Adam 优化器的实现，提出了一个新的方法应用于生物合理的 Adam 学习规则，这些机制可能有助于阐明生物突触动力学如何促进学习。

Dec, 2022

脑的学习机制中最引人注目的能力之一是通过结构和功能可塑性对其突触进行适应。然而，大多数用于人工神经网络的可塑性模型专注于突触而非神经元，因此优化了突触特定的 Hebbian 参数。为了克服这个限制，我们提出了一种新的可塑性模型，称为神经元为中心的 Hebbian 学习 (NcHL)，其中优化专注于神经元特定的 Hebbian 参数。和 ABCD 规则相比，NcHL 将参数数量从 5W 减少到 5N，其中 W 和 N 分别为权重和神经元的数量，通常 N 远小于 W。在两个机器人运动任务的实验证明，尽管使用的参数数量少得多（约为 97 倍），但 NcHL 与 ABCD 规则的性能相当，因此具有可扩展的可塑性。

Feb, 2024

在神经网络的设计、初始化和优化的过程中，损失可塑性问题是一个关键因素。通过组合使用层归一化和权重衰减技术，可以在各种非平稳学习任务中有效地维持网络的可塑性，从而实现高度稳健的学习算法。

Feb, 2024

对称性在当代神经网络中普遍存在，本文揭示了损失函数对学习模型的学习行为影响的重要性，证明了损失函数的每个镜像对称性都会带来一种结构约束，当权重衰减或梯度噪音较大时，这种约束成为一种被偏爱的解决方案。作为直接的推论，我们展示了重新缩放对称性导致稀疏性，旋转对称性导致低秩性，置换对称性导致同质集成。然后，我们展示了理论框架可以解释神经网络中可塑性的丧失和各种崩溃现象，并提出如何使用对称性来设计能够以可微分方式实施硬约束的算法建议。

Sep, 2023