深度模型中的神经元平衡问题：更新与否？

Jul, 2022

深度模型中的神经元平衡问题：更新与否？

To update or not to update? Neurons at equilibrium in deep models

Andrea Bragagnolo, Enzo Tartaglione, Marco Grangetto

TL;DR通过利用神经元平衡的概念，从单个参数转向整个神经元的行为，实施参数训练，并测试不同的学习策略和任务，验证神经元平衡，并观察神经元平衡取决于特定的学习设置，从而达到与现有技术同等性能的研究。

Abstract

Recent advances in deep learning optimization showed that, with some a-posteriori information on fully-trained models, it is possible to match the same performance by simply training a subset of their parameters. Such a discovery has a broad impact from theory to applications, driving

deep learning optimization neuronal equilibrium parameter training state-of-the-art performance learning strategies

发现论文，激发创造

边缘上的设备学习：在预算约束下选择要更新的神经元的方法

挤压在极端存储和计算约束下的设备学习所需资源，提出了一种利用动态神经元选择和有效学习的新方法。

Dec, 2023

软委员会机器的统计物理学和实践培训

通过 replica formalism，研究了具有可微激活函数和单个线性输出单元的大型分层神经网络的平衡状态。在学习完全匹配复杂度规则的非常多的隐藏单元的学生网络的基础上，计算了定量的冻结自由能，发现系统在训练集的临界大小下从不专业化到专业化的学生配置的一级相变。通过固定的训练集进行随机梯度下降的计算机模拟表明，平衡结果在实际训练过程中的平台状态中得到了定量描述。

Dec, 1998

机器学习的平衡状态内外

本研究探索了神经网络训练算法与自然过程如蛋白质折叠和进化之间的相似性，使用统计物理中 Fokker-Planck 方法将它们在一个统一的框架下探索，研究了在长时间极限下系统的稳态和出现的熵产生率，验证了涉及到这些数值的图谱存在扰动定理，提出了一种新的随机梯度 Langevin 动力学（SGLD）算法，可以应用于贝叶斯机器学习中从后验分布中获取网络权重。

Jun, 2023

深度平衡模型的高效训练

本篇文章介绍了一个简单而有效的策略，通过 Broyden's Method 的 Jacobian 估计来避免 DEQ 网络层的反向传播过程中需要解决的昂贵 Jacobian-based 方程。实验证明，仅通过再次使用此估计，就能显著加速训练同时不会导致任何性能退化。

Apr, 2023

深度平衡模型

本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。

Sep, 2019

元学习双向更新规则

本研究提出了一种广义神经网络，其中神经元和突触维护多个状态，通过基于链式法则的二值网络来推导出更新规则，并使用共享的低维 “基因组” 进行参数化，证明了该方法的泛化性和训练速度优于梯度下降优化器，可用于计算机视觉和合成任务。

Apr, 2021

优化引发的平衡网络

本研究探讨深度神经网络通过对隐含凸函数的 Proximal 操作构建 Optimization Induced Equilibrium Networks (OptEq) 的平衡点是否能作为优化问题的解，进而引入先验属性以便优化设计深度模型。该研究发现优化辅助设计的 OptEq 优于以往的隐式模型，是设计深度模型的重要一步。

May, 2021

平衡传播：量子和热力学案例

均衡传播是最近介绍的一种使用和训练人工神经网络的方法，在该方法中，网络处于能量泛函的极小值（更一般地是极值）状态。均衡传播在许多基准任务上显示出良好的性能。本文将均衡传播在两个方面进行了扩展。首先，我们展示了均衡传播的一个自然量子泛化，其中量子神经网络被认为处于网络哈密顿算子的基态（更一般地说是任意的特征态）状态，并利用了均能量在特征态上的极值训练机制。其次，我们扩展了均衡传播的温度有限的分析，显示了热波动使得在训练过程中无需夹紧输出层的网络自然训练。我们还研究了均衡传播的低温极限。

May, 2024

仿生学的神经元适应提高神经网络的学习能力

通过多层感知器和卷积神经网络，研究对比黑比学习和平衡传播算法及其加宽自适应能力的表现及其仿生学上的意义。

Apr, 2022

正凸深层均衡模型

通过引入一种名为正凹深度平衡 (pcDEQ) 模型的新型 DEQ 模型类，通过基于非线性 Perron-Frobenius 理论的方法强制非负权重和激活函数，可以简化训练过程并且保证了固定点的存在和唯一性，进而解决了 DEQ 模型存在的固定点唯一性和收敛性问题，实验证明了 pcDEQ 模型在隐式模型中的竞争力。

Feb, 2024