Feb, 2024

反向 - 前向微分

PDF
TL;DR该研究论文探索了前向梯度计算作为可替代的反向传播方法，在可逆网络中减少内存占用的潜力，并引入了一种基于矢量 - 逆雅可比积的新技术，加速前向梯度计算并保持真实梯度的保真度。该方法在网络深度的时间复杂度是线性的，相比朴素前向传播的二次时间复杂度，计算时间可以显著降低，且不需要分配更多内存。通过将其与反向传播相结合，进一步加速了 Moonwalk，并在保持更小内存占用的同时达到与反向传播相当的时间复杂度。最后，论文展示了该方法在多种架构选择下的稳健性。Moonwalk 是第一个在可逆网络中计算真实梯度的前向方法，其计算时间与反向传播相当，并且占用的内存显著较少。
发现论文，激发创造
  • 基于前向梯度级联法的高效深度神经网络训练优化

    使用前向模式自动微分进行梯度计算的 Frank-Wolfe 算法具有次线性收敛速度，并优于使用后向传播方法的标准 Frank-Wolfe 算法，同时研究了深度神经网络和梯度计算的性能。

    Mar, 2024

  • 用于优化算法的随机前向模式自动微分

    神经网络的反向传播过程利用了自动微分的基本要素，通过前向模式的自动微分或 Jacobian 向量乘积 (JVP) 来计算损失函数的方向导数，并使用随机采样的不同概率分布计算这些方向导数，本文对这些方法进行了严格的分析并给出了收敛速率，同时还进行了在科学机器学习中部署的计算实验，特别是应用于物理信息神经网络和深度算子网络。

    Oct, 2023

  • Few-Bit Backward: 激活函数的量化梯度用于减少内存占用

    本篇论文研究了神经网络训练中的内存占用问题，在点乘非线性函数导数的逼近上采用动态规划算法等方法进行量化，以显著减少内存占用和保证相同的收敛性能。

    Feb, 2022

  • 正向梯度匹配反向传播？

    本研究提出了一种使用反馈获得的局部辅助网络实现前向梯度方法的优化方案，能够显著改善标准计算机视觉神经网络中前向梯度方法中由步长难以猜测所需付出的代价。

    Jun, 2023

  • 倒推学习倒推

    本文提出了一种具有恒定内存的迭代逆模型，利用可逆网络避免存储中间激活数据，可以在 MRI 图像重建任务中训练具有 400 层的模型，并在公共数据集上证明这些更深、更具表现力的网络实现了最先进的图像重建。

    Nov, 2019

  • 非光滑自动微分的复杂度

    本文提出了一种用保守梯度模型来估计算法分化的计算成本的方法，并且较为详细地描述了其在反向传播和前向传播中的应用。主要方法是基于局部 Lipschitz 半代数或可定义基本函数的方法，可以极大地加速了反向传播过程。

    Jun, 2022

  • 使用无雅各比传递正向传播训练隐式网络进行图像去模糊

    通过在图像去模糊问题的背景下探索最近提出的无雅可比反向传播（Jacobian-free Backpropagation，JFB）方法，本文展示了 JFB 在减少计算成本方面与优化方案、最先进的前馈网络以及现有的隐式网络具有可比性。

    Feb, 2024

  • 正向和反向基于梯度的超参数优化

    研究了计算任何迭代学习算法（如随机梯度下降）超参数的验证误差梯度的两种方法（反向模式和正向模式），这些程序镜像了递归神经网络计算梯度的两种方法，并具有不同的运行时间和空间要求。

    Mar, 2017

  • DrMAD：使用反向模式自动微分优化深度神经网络超参数的蒸馏

    DrMAD 是一种通过优化同时保证模型效果的简单高效的方法，可以在超参数优化中通过近似反转训练轨迹最大化地利用前向传递的知识，是第一个实现自动调整深度神经网络数千个超参数的研究尝试。

    Jan, 2016

  • 关于隐式模型的训练

    该论文探讨了训练无限层次的隐式模型的方法，提出了一种新的梯度估计方法 —— 幻影梯度，该方法通过对精确梯度的计算进行优化，可以加速模型训练，并提高模型性能。

    Nov, 2021