ICLRJun, 2017

Proximal Backpropagation

PDF
TL;DR提出了一种新的算法 ProxProp，它通过隐式步骤而不是显式步骤更新神经网络训练期间的网络参数，该算法从后向传播算法的一般观点出发设计，将预测误差的反向传播与序列梯度下降步骤等效对应到二次惩罚能量上，具有下降方向的参数空间和与常见的一阶优化器 Adam 等相结合的优点。
proximal backpropagationneural network traininggradient descentquadratic penalty energydeep learning
发现论文，激发创造
  • MuProp: 随机神经网络的无偏反向传播

    MuProp 是一种无偏的梯度估计器，用于训练包含离散采样操作的随机网络，并通过控制变量基于平均场网络的一阶泰勒展开来减少方差，其结果是无偏且经过良好的验证。

    Nov, 2015

  • 通过临近算子进行量化神经网络的 ProxQuant

    通过发现直通渐变法与 Nesterov 双平均算法相同，提出了一种更加合理的替代方法 ProxQuant，将基于量化网络的训练问题转化为规则化学习问题，并通过 Prox - 梯度方法进行优化。对于二元量化，ProxQuant 在稳定性上优于直通渐变法，并提供了一种强有力的替代方法。在将 ResNets 和 LSTMs 量化为二元和多位之后，ProxQuant 能在二元量化上实现优于现有水平的结果，并且在多位量化上与现有技术持平。

    Oct, 2018

  • 量子深度学习通用训练算法

    介绍了 Baqprop 并提出了两种优化策略：Quantum Dynamical Descent （QDD）和 Momentum Measurement Gradient Descent （MoMGrad），这两种策略可以用于量子计算的参数优化和神经网络的优化。

    Jun, 2018

  • GAIT-prop：一种源自误差反向传播的生物合理的学习规则

    提出了 GAIT-Prop 算法，该算法是目标传播算法的一种改进形式，并与 Backpropagation 算法在某些条件下等价。该算法在神经网络训练中可以产生与传统 Backpropagation 算法几乎相同的性能表现，尤其在软正交性约束得到应用时。

    Jun, 2020

  • 反向误差传播进化

    本文提出了一种基于演化算法和特定领域语言的 Back-propagation 算法变体发现方法，发现了多个更新方程式，这些方程式在训练时间更短时能够比标准的 Back-propagation 算法具有更快的训练速度，并在收敛后表现相似。

    Aug, 2018

  • 具收敛保证的解耦并行反向传播算法

    我们提出了一种去耦合的并行反向传播算法，利用延迟梯度解除了反向锁定，保证了深度学习的优化收敛性，并在标准数据集上展示了该算法的实验结果。

    Apr, 2018

  • meProp: 稀疏化反向传播，加速深度学习，降低过拟合

    通过保留权重矩阵的前 k 个元素并实现前向传播和反向传播来减少计算成本，该方法可以提高神经网络的学习效率并改善其准确性。

    Jun, 2017

  • 连续反向传播：带有持续随机性的随机梯度下降

    在神经网络的反向传播算法中，初始随机权重对于其整个训练过程至关重要，但在不断学习的设置下，其学习性能会逐渐下降，为了解决这个问题，提出了一种名为 Continual Backprop 的新算法，通过连续注入随机特征，它在有监督和增强学习问题中均能够不断适应。

    Aug, 2021

  • 一种用于深度神经网络训练的近端块坐标下降算法

    提出了一种基于块坐标下降算法的深度神经网络优化算法，并提供了全局收敛结果，数值实验证明其与基于反向传播的标准优化器竞争力强。

    Mar, 2018

  • 随机反向传播权重的梯度下降的收敛和对齐

    该论文研究 “反馈对齐” 算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法，具有与非本地反向传播算法相当的性能提供了方法。

    Jun, 2021